So scrapen Sie Samsung-Produkte

Der Zugriff auf Produktdaten von offiziellen Websites ist in verschiedenen Bereichen eine wichtige Aufgabe, darunter Marktanalyse, E-Commerce und Trendprognosen. Innerhalb des Technologiesektors ist Samsung ein bedeutender Akteur, der für seine umfangreiche Produktpalette bekannt ist, insbesondere für seine beliebte Smartphone-Reihe.

Der Prozess des Scrapings der offiziellen Website von Samsung nach Produktinformationen, insbesondere Telefonmodelle und die damit verbundenen Details dienen dazu, wertvolle Erkenntnisse für verschiedene Analysezwecke zu gewinnen, darunter Marktforschung, Preisvergleich und Trendanalyse.

In diesem Blog demonstrieren wir eine einfache Methode zum Scrapen solcher Daten mithilfe von JavaScript in Verbindung mit Crawlbase. Dieser Ansatz gewährleistet Anonymität und verringert das Risiko einer IP-Sperre oder -Blockierung, sodass eine nahtlose Datenextraktion möglich ist.

Inhaltsverzeichnis

I. Projektumfang

II. Warum Samsung-Produkte verschrotten?

III. Was kann man von der Samsung-Produktseite scrapen?

IV. Voraussetzungen

V. Einrichten eines Crawlbase-Kontos

VI. Crawlen der Samsung-Produktseite

Schritt 1: Projektverzeichnis erstellen
Schritt 2: JavaScript-Datei erstellen
Schritt 3: Crawlbase-Paket installieren
Schritt 4: JavaScript-Code schreiben

VII. Scraping von Samsung-Produkten mit Cheerio

Schritt 1: Cheerio installieren
Schritt 2: Bibliotheken importieren
Schritt 3: Hinzufügen Crawling API
Schritt 4: Scraping des Produkttitels
Schritt 5: Produktfarbe abkratzen
Schritt 6: Produktvariante scrapen
Schritt 7: Produktbewertungen scrapen
Schritt 8: Scraping-Spezifikationen
Schritt 9: Scraping der Produkt-URL
Schritt 10: Produktbilder scrapen
Schritt 11: Vervollständigen Sie den Code

VIII. Fazit

IX. Häufig gestellte Fragen

I. Projektumfang

Der Umfang dieses Projekts umfasst die Verwendung von JavaScript zusammen mit einem Crawling API um den vollständigen HTML-Code der Samsung-Produktsuchseite abzurufen. Danach integrieren wir Cheerio, eine leichte und schnelle Bibliothek, um den spezifischen Inhalt, den wir benötigen, aus der HTML-Struktur zu analysieren und zu extrahieren.

Ziel:

Nutzen Sie JavaScript, um auf die gewünschte Webseite zuzugreifen und nutzen Sie Crawling API um den gesamten HTML-Code der Seite anonym und effizient zu erhalten.
Integrieren Sie Cheerio, eine leistungsstarke HTML-Parsing-Bibliothek für Node.js, um zu navigieren und den relevanten Inhalt aus den abgerufenen HTML-Daten zu extrahieren.
Konzentrieren Sie sich auf das Scraping von Samsung-Produktinformationen, insbesondere von Telefonmodellen und zugehörigen Details, aus der HTML-Struktur, die über die Crawling API.

Ergebnisse:

Implementierung von JavaScript-Code zur Interaktion mit dem Crawling API und rufen Sie den vollständigen HTML-Code der Zielwebseite ab.
Integration der Cheerio-Bibliothek zum Parsen und Extrahieren gewünschter Inhalte, wie etwa Telefonmodelle und Details, aus den HTML-Daten.
Beschreibung des schrittweisen Prozesses zur Nutzung von JavaScript. Crawling API, und Cheerio für das effektive Daten-Scraping von Samsung-Produkten.

Ergebnis:

Indem wir uns an den skizzierten Projektumfang halten, wollen wir eine robuste und effiziente Lösung zum Scrapen von Samsung-Produktdaten von der offiziellen Website entwickeln. Die Kombination aus JavaScript, Crawling API, und Cheerio ermöglicht die nahtlose Extraktion relevanter Informationen und damit verschiedene Analyseprojekte wie Marktforschung und Trendanalysen.

II. Warum Samsung-Produkte verschrotten?

Samsungs weltweite Verkäufe und Lieferungen: Samsung nimmt eine bedeutende Position auf dem globalen Smartphone-Markt ein und hat einen Anteil von 21 % an den weltweiten Auslieferungen. Das bedeutet, dass etwa 2 von 10 weltweit ausgelieferten Telefonen Samsung-Geräte sind. Allein im Jahr 2022 wurden beeindruckende 258.20 Millionen Samsung-Smartphones verkauft. Darüber hinaus deuten Berichte darauf hin, dass Samsung im Jahr 270 das ehrgeizige Ziel hat, 2023 Millionen Geräte auszuliefern.

wie viele Samsung-Handys werden jedes Jahr verkauft

Quelle

Markteinblicke: Das Scraping von Samsung-Produktdaten liefert wertvolle Einblicke in Markttrends, das Verständnis von Verbraucherpräferenzen und die Durchführung detaillierter Wettbewerbsanalysen. Das Verständnis der Marktdynamik ermöglicht es Unternehmen, ihre Strategien effektiv anzupassen und in einem hart umkämpften Umfeld die Nase vorn zu behalten.

Preisanalyse: Durch die Analyse der Preistrends von Samsung-Produkten auf verschiedenen Plattformen können Unternehmen fundierte Preisentscheidungen treffen. Indem sie die Reaktion des Marktes auf unterschiedliche Preisstrategien messen, können Unternehmen ihre Preisstrukturen optimieren, um die Rentabilität zu maximieren und gleichzeitig wettbewerbsfähig zu bleiben.

Produktvergleich: Das Scraping von Samsung-Produktdaten ermöglicht einen direkten Vergleich mit den Angeboten der Konkurrenz. Diese vergleichende Analyse ermöglicht es Unternehmen, Stärken, Schwächen und Verbesserungsbereiche von Produkten zu identifizieren, Produktentwicklungsstrategien zu entwickeln und die allgemeine Wettbewerbsfähigkeit zu steigern.

Bestandsverwaltung: Eine effiziente Bestandsverwaltung ist für Unternehmen von entscheidender Bedeutung, um die Nachfrage der Verbraucher zu erfüllen und gleichzeitig die Kosten zu minimieren. Durch das Scraping von Samsung-Produktdaten können Produktverfügbarkeit und Lagerbestände in Echtzeit überwacht werden. Auf diese Weise können Unternehmen ihre Bestandsverwaltungsprozesse optimieren, Lagerausfälle vermeiden und stabile Lieferkettenabläufe sicherstellen.

Marketing Strategien: Die Nutzung von Scraped-Daten von Samsung-Produkten ermöglicht es Unternehmen, Marketingkampagnen präzise zu gestalten. Durch die Analyse der Verbraucherpräferenzen und des Verbraucherverhaltens können Unternehmen ihre Zielgruppe effektiv segmentieren, Marketingbotschaften personalisieren und gezielte Marketingstrategien entwickeln. Dies ermöglicht eine stärkere Kundenbindung und einen verbesserten Marketing-ROI.

III. Was kann man von der Samsung-Produktseite scrapen?

Bevor Sie mit dem Scraping der Samsung-Produktlistenseite fortfahren, ist es wichtig, die HTML-Struktur zu studieren, um Einblicke in die Organisation der Informationen zu erhalten. Dieses Verständnis ist entscheidend für die Entwicklung eines Scrapers, der die von uns benötigten spezifischen Daten effizient und genau extrahieren kann.

Beginnen wir mit der Erkundung der Samsung-Produktlistenseite um die HTML-Struktur zu verstehen. Unser Ziel ist es, Schlüsselelemente zu identifizieren, die die Daten enthalten, die wir scrapen müssen.

Wir möchten verschiedene Datentypen von der Samsung-Produktlistenseite extrahieren:

Titel: Die Titel von Samsung-Produkten finden sich häufig in HTML-Elementen wie <h1>, <h2>, <h3>usw., die normalerweise Überschriften oder Titel auf einer Webseite darstellen. Darüber hinaus <title> Element innerhalb der <head> Der Abschnitt des HTML-Codes enthält häufig den Titel der gesamten Webseite, der auch den Produktnamen enthalten kann.
Technische Daten: Produktspezifikationen werden üblicherweise in bestimmten Abschnitten oder Containern auf der Webseite präsentiert. Diese können verschachtelt sein in <div>, <ul>, <dl>oder andere Strukturelemente. Suchen Sie nach konsistenten Mustern oder Klassen, die diesen Elementen zugewiesen sind, um zu ermitteln, wo sich Spezifikationen befinden.
URLs: URLs, die auf einzelne Produktseiten verweisen, finden sich normalerweise unter <a> (Anker-)Elemente. Diese Elemente haben oft ein href-Attribut, das die URL enthält. Sie können je nach Layout der Webseite in Listen, Tabellen oder anderen Containern verschachtelt sein.
Eigenschaften: Zusätzliche Eigenschaften oder Spezifikationen, die mit jedem Produkt verknüpft sind, können in bestimmte HTML-Elemente eingebettet werden. Diese könnten wie folgt dargestellt werden: <span>, <div>oder andere Elemente mit Klassen- oder ID-Attributen, die den Typ der Eigenschaft angeben.
Produktbilder: Bilder von Produkten sind typischerweise enthalten in <img> Elemente. Diese Elemente haben oft ein src-Attribut, das die URL der Bilddatei enthält. Suchen Sie nach konsistenten Mustern oder Klassen, die diesen Elementen zugewiesen sind, um zu ermitteln, wo sich Produktbilder befinden.
Bewertungen: Bewertungen oder Rezensionen können in bestimmten Abschnitten der Webseite angezeigt werden, oft begleitet von Textinhalten. Achten Sie auf Elemente wie <span>, <div>, oder auch <p> mit numerischen Bewertungen oder beschreibenden Rezensionen. Diese Elemente können auch Klassenattribute haben, die ihren Zweck angeben.

Indem wir den HTML-Code der Samsung-Produktlistenseite untersuchen und die im vorherigen Abschnitt erwähnten Muster und Strukturen identifizieren, können wir die relevanten Daten effektiv lokalisieren und einen Scraper entwickeln, um sie programmgesteuert zu extrahieren.

IV. Voraussetzungen

Nachdem wir nun die HTML-Codestruktur der Zielseite verstanden haben, ist es an der Zeit, unsere Entwicklungsumgebung vorzubereiten, bevor wir mit dem Programmieren beginnen. Nachfolgend sind die Voraussetzungen aufgeführt, die wir erfüllen müssen:

Auf Ihrem PC installiertes Node.js:

Node.js ist eine Laufzeitumgebung, die es Ihnen ermöglicht, JavaScript-Code außerhalb eines Webbrowsers auszuführen.
Durch die Installation von Node.js auf Ihrem PC können Sie JavaScript-basierte Anwendungen und Tools direkt auf Ihrem Computer ausführen.
Es bietet über npm (Node Package Manager) Zugriff auf ein riesiges Ökosystem aus Paketen und Bibliotheken, mit dem Sie Ihren Entwicklungsworkflow verbessern können.

Grundlagen von JavaScript:

JavaScript ist eine Programmiersprache, die häufig für die Webentwicklung verwendet wird.
Um die Grundlagen von JavaScript zu verstehen, müssen Sie sich mit der Syntax, den Datentypen, Variablen, Operatoren, Kontrollstrukturen (wie Schleifen und Bedingungen), Funktionen und Objekten vertraut machen.
Durch Kenntnisse in JavaScript können Sie Webseiteninhalte bearbeiten, mit Benutzern interagieren und verschiedene Aufgaben innerhalb von Webanwendungen ausführen.

Crawlbase API-Token:

Crawlbase ist ein bekannter Dienst, der APIs für Web-Crawling- und Scraping-Aufgaben bereitstellt.
Ein API-Token ist eine eindeutige Kennung, die Zugriff auf die Dienste von Crawlbase gewährt.
Mit einem Crawlbase API-Token können Sie Ihre Anfragen authentifizieren und autorisieren, wenn Sie Crawlbases Crawling API Endpunkt für Web Scraping und Crawling.
Dieses Token dient als Schlüssel für den sicheren Zugriff auf die Funktionen und Dienste von Crawlbase.

V. Einrichten eines Crawlbase-Kontos

API-Anmeldeinformationen abrufen: Melden Sie sich zunächst bei Crawlbase an und erhalten Sie Ihre API-Anmeldeinformationen von Kontodokumente. Diese Anmeldeinformationen sind für die Anforderung ihres Dienstes unerlässlich. Crawlbase API-Anmeldeinformationen, die Ihnen die Interaktion mit dem Crawling API Service und Scraping von Inhalten der Samsung-Produktseite. Diese Anmeldeinformationen sind ein entscheidender Teil des Web-Scraping-Prozesses. Bewahren Sie sie daher unbedingt sicher auf.

VI. Seite mit Samsung-Produkten durchsuchen

Nachdem wir nun die Einrichtung unserer Codierungsumgebung abgeschlossen haben, können wir uns nun an das Schreiben des Codes zum Crawlen der Samsung-Produktseite machen. Wir verwenden die Crawling API wird von Crawlbase bereitgestellt, um den HTML-Inhalt der Zielseite effizient abzurufen.

Schritt 1: Projektverzeichnis erstellen:

Führen Sie mkdir scrape-samsung-products , um einen leeren Ordner mit dem Namen zu erstellen scrape-samsung-products.
Navigieren Sie in das Projektverzeichnis, indem Sie cd ausführen scrape-samsung-products.

Schritt 2: JavaScript-Datei erstellen:

Verwenden Sie die touch index.js um eine neue JavaScript-Datei mit dem Namen zu erstellen index.js. Diese Datei enthält unseren Code zum Crawlen der Samsung-Produktseite.

Schritt 3: Crawlbase-Paket installieren:

Ausführen npm install crawlbase um das Crawlbase-Paket zu installieren, das Zugriff auf die Crawling API zum effizienten Abrufen von HTML-Inhalten von Websites.

Schritt 4: Schreiben Sie JavaScript-Code:

Öffnen Sie den Microsoft Store auf Ihrem Windows-PC. index.js Datei in einem Texteditor und fügen Sie den folgenden JavaScript-Code hinzu:

// CrawlingAPI aus dem Crawlbase-Paket importieren
const { CrawlingAPI } = erfordern(„Crawlbase“),
  // Importieren des fs-Moduls für Dateisystemoperationen
  fs = erfordern('fs'),
  // Initialisieren von CrawlingAPI mit Ihrem Crawlbase-Token
  API = neu CrawlingAPI({ Zeichen: 'Crawlbase_Token' }),
  // URL der Samsung-Produktseite
  samsungProductsURL = „https://www.samsung.com/levant/smartphones/all-smartphones/“;

// Eine GET-Anfrage an die URL der Samsung-Produkte senden
Bienen
  .bekommen(samsungProductsURL, {
    ajax_wait: was immer dies auch sein sollte.,
    Seite_warten: 10000,
  })
  .dann((Antwort) => {
    //Verarbeitung der Antwort
    if (Antwort.Statuscode === 200) {
      // Wenn der Antwortstatuscode 200 ist
      trösten.Log(Antwort.Körper); // Erfolgsmeldung protokollieren
    } sonst {
      // Wenn der Antwortstatuscode nicht 200 ist, werfen Sie einen Fehler
      werfen neu Fehler(`HTML konnte nicht abgerufen werden. Statuscode: ${response.statusCode}`);
    }
  })
  .Fang(trösten.Fehler); // Eventuelle Fehler abfangen und protokollieren

Erklärung des Codes:

Dieser Code richtet die Crawling API Instanz mit Ihrem Crawlbase-Token und definiert die URL der Samsung-Produktseite.
Anschließend wird eine GET-Anfrage an die angegebene URL gesendet, und zwar unter Verwendung der get() Methode der CrawlingAPI-Instanz, mit Optionen zum Warten auf AJAX-Anfragen (ajax_wait: true) und warten Sie, bis die Seite vollständig gerendert ist (page_wait: 10000 Millisekunden).
Nach Erhalt der Antwort wird der Statuscode überprüft. Wenn der Statuscode 200 ist (was Erfolg anzeigt), wird der HTML-Text in der Konsole protokolliert. Andernfalls wird ein Fehler ausgegeben und die Fehlermeldung protokolliert.

Ergebnis:

Ausführen dieses Codes mit dem Befehl node index.js wird den Crawling-Prozess einleiten und den HTML-Inhalt der Samsung-Produktseite abrufen. Dies geschieht mithilfe der Crawling APIDies ist der erste Schritt zum Abrufen der erforderlichen Daten für unsere Scraping-Aufgabe.

VII. Scraping von Samsung-Produkten mit Cheerio

In diesem Abschnitt und darüber hinaus untersuchen wir den Prozess der Extraktion wichtiger Details aus der Samsung-Produktseite. Unser Ziel ist es, wertvolle Daten abzurufen, wie z. B. titles, color, variants, specifications, URLs, product images und ratings.

Um dies zu erreichen, erstellen wir einen JavaScript-Scraper mit zwei wichtigen Bibliotheken: Cheerio, das sich ideal für Web-Scraping-Aufgaben eignet, und fs, das Dateioperationen verarbeitet. Das von uns entwickelte Skript analysiert die HTML-Struktur der Samsung-Produktseite, extrahiert die erforderlichen Informationen und speichert sie zur weiteren Analyse und Verarbeitung in einer JSON-Datei.

Wir werden auf dem vorherigen Code aufbauen, daher müssen wir dieses Mal nur Cheerio installieren. Um Cheerio zu installieren, führen Sie den folgenden Befehl aus:

Schritt 1: Cheerio installieren

1	npm, ich jubele

Schritt 2: Bibliotheken importieren

Als nächstes importieren wir die Bibliotheken und definieren die erforderlichen Variablen.

const { CrawlingAPI } = erfordern(„Crawlbase“),
  fs = erfordern('fs'),
  tschüss = erfordern("Tschüs"),
  samsungProductsURL = „https://www.samsung.com/levant/smartphones/all-smartphones/“, // URL der Samsung-Produktseite
  API = neu CrawlingAPI({ Zeichen: 'Crawlbase_Token' }); // Initialisieren von CrawlingAPI mit Ihrem Crawlbase-Token

Schritt 3: Hinzufügen Crawling API

Dann fügen wir hinzu: Crawling API Rufen Sie auf und übergeben Sie die gecrawlten Daten an eine Funktion.

Bienen
  .bekommen(samsungProductsURL, {
    ajax_wait: was immer dies auch sein sollte.,
    Seite_warten: 10000,
  }) // Eine GET-Anfrage an die URL der Samsung-Produkte senden
  .dann((Antwort) => {
    //Verarbeitung der Antwort
    if (Antwort.Statuscode === 200) {
      // Wenn der Antwortstatuscode 200 ist
      const analysierteDaten = scrapeProdukte(Antwort.Körper);

      trösten.Log(analysierte Daten);
      fs.SchreibeFileSync(„samsung-scraped.json“, JSON.stringifizieren(analysierteDaten, null, 2), 'utf-8');
    } sonst {
      werfen neu Fehler( // Wenn der Antwortstatuscode nicht 200 ist, werfen Sie einen Fehler
        `HTML konnte nicht abgerufen werden. Statuscode: ${response.statusCode}`,
      );
    }
  })
  .Fang(trösten.Fehler); // Eventuelle Fehler abfangen und protokollieren

Schritt 4: Scraping des Samsung-Produkttitels

Suchen Sie im HTML-Quellcode den Abschnitt oder Container, der die jeweilige Produktkarte darstellt. Dazu müssen Sie normalerweise die Struktur der Webseite mithilfe von Browser-Entwicklertools überprüfen oder den Seitenquelltext anzeigen.

Suchen Sie in jeder Produktkarte das HTML-Element, das dem Produkttitel entspricht. Klicken Sie dazu in Ihrem Browser mit der rechten Maustaste auf den Titel und wählen Sie „Untersuchen“, um die Seitenquelle anzuzeigen und den Container hervorzuheben.

Verwenden Sie Cheerio-Selektoren, um das Titelelement innerhalb der Produktkarte anzusprechen. Dazu müssen Sie die entsprechende Klasse angeben, die dem gewünschten Element entspricht.

Sobald das Titelelement ausgewählt ist, verwenden Sie die .text() von Cheerio bereitgestellte Methode, um den darin enthaltenen Textinhalt zu extrahieren. Dadurch wird der Produkttitel als Zeichenfolgewert abgerufen, wie Sie im folgenden Codeausschnitt sehen können.

1
2
3

Titel = $(Element)
    .gefunden(".pd03-Produktkarte__Produktname-Text")
    ?.Text()

Schritt 5: Farbe des Samsung-Produkts abkratzen

Suchen Sie wie beim vorherigen Element den Abschnitt, in dem die Farbe des Produkts angezeigt wird, klicken Sie mit der rechten Maustaste und überprüfen Sie, ob der Quellcode angezeigt wird.

Wählen Sie die HTML-Elemente aus, die den Farbnamen in der Produktkarte darstellen, extrahieren Sie den Textinhalt (d. h. den Farbnamen) und ordnen Sie ihn dem color variabel.

Farbe = $(Element)
          .gefunden(
            „.option-selector-v2__color-name-text .option-selector-v2__color-name-text-in“)
          ?.Text()

Schritt 6: Scraping der Samsung-Produktvariante

Suchen Sie dieses Mal nach der Produktvariante und finden Sie sie innerhalb der Seitenquelle.

Kopieren Sie dann das entsprechende Element und verwenden Sie die find Methode in Cheerio, wie im folgenden Codeausschnitt gezeigt:

Varianten = $(Element)
    .gefunden(„.option-selector-v2__size-text“)
    .Karte((_, Element) => $(Element).Text())
    .bekommen()

Schritt 7: Scrapen Sie Samsung-Produktbewertungen

Suchen Sie als Nächstes nach der Produktbewertung. Dabei handelt es sich in der Regel um die numerischen oder qualitativen Bewertungen von Kunden oder Benutzern bezüglich ihrer Zufriedenheit oder Erfahrung mit dem Produkt. Diese Bewertungen werden häufig mithilfe einer Skala wie Sternen, numerischen Werten oder beschreibenden Bezeichnungen (z. B. „ausgezeichnet“, „gut“, „durchschnittlich“, „schlecht“) dargestellt.

Initialisieren Sie eine Variable mit dem Namen ratings und weisen Sie ihm den Wert zu, der aus dem HTML-Element extrahiert wurde, das die Produktbewertungen darstellt. Die Methode .text() extrahiert den Textinhalt des Elements, der den mit dem Produkt verknüpften numerischen Wert darstellt.

1	Bewertungen = $(Element).gefunden(„.rating__point span:letztes-Kind“)?.Text()

Schritt 8: Scraping der Samsung-Produktspezifikationen

Verwenden Sie erneut die Entwicklertools des Browsers, um die HTML-Struktur zu überprüfen und den Abschnitt mit den Produktspezifikationen zu identifizieren. Suchen Sie nach einer Klasse oder einem Bezeichner, der mit diesem Abschnitt verknüpft ist.

Produktspezifikationen von Samsung abkratzen

Suche nach HTML-Elementen innerhalb der Produktkarte, die dem angegebenen CSS-Selektor entsprechen .pd03-product-card__spec-list .pd03-product-card__spec-item, welche die einzelnen Spezifikationselemente darstellt.

Extrahieren Sie für jedes übereinstimmende Element den Textinhalt mithilfe der .text() Methode.

Abschließend können die extrahierten Spezifikationsinformationen in einem Array gespeichert werden. Dazu verwenden Sie .map() und .get() Methoden.

Der folgende Codeausschnitt ermöglicht die Extraktion von Produktspezifikationen aus dem HTML-Quellcode jedes Produktkartenelements auf der Zielwebsite.

Spezifikationen = $(Element)
    .gefunden(„.pd03-Produktkarte__Spezifikationsliste .pd03-Produktkarte__Spezifikationselement“)
    .Karte((_, Element) => $(Element).Text())
    .bekommen()

Schritt 9: Scraping der Samsung-Produkt-URL

Untersuchen Sie für die Produkt-URL das HTML-Markup, um zu verstehen, wie der Produktlink innerhalb der Seite strukturiert ist. Stellen Sie fest, ob er als Anker dargestellt wird (<a>)-Tag oder ein anderes HTML-Element. Suchen Sie nach einer Klasse oder einem Bezeichner, der den Link von anderen Elementen auf der Seite unterscheidet.

Der folgende Codeausschnitt ermöglicht die Extraktion der mit jedem Produkt verknüpften URL aus dem HTML-Quellcode des Produktkartenelements auf der Website.

1
2
3

URL = $(Element)
    .gefunden(„.pd03-Produktkarte__Produktbild-Link“)
    ?.attr("href"),

Schritt 10: Scraping von Samsung-Produktbildern

Suchen Sie schließlich bei den Produktbildern nach bestimmten Klassen, IDs oder Attributen, die die Bilder unterscheiden. Untersuchen Sie das HTML-Markup, um zu verstehen, wie die Bilder auf der Seite dargestellt werden. Stellen Sie fest, ob sie dargestellt werden als <img> Tags, Hintergrundbilder oder andere HTML-Elemente.

Dieser Codeausschnitt dient dazu, die URLs von Bildern, die mit Produkten verknüpft sind, aus dem HTML-Quellcode einer Website zu extrahieren.

1	Bild = $(Element).gefunden(„.image__main.responsive-img.image – geladen“)?.attr('Quelle');

Schritt 11: Vervollständigen Sie den Code

Mithilfe von Cheerio haben wir Details wie die product's name, color variations, available options, ratings, features, web links und images. Cheerio vereinfacht die Navigation durch die HTML-Auszeichnung und ermöglicht es uns, die gewünschten Informationen mühelos zu finden.

Unten seht ihr die complete code. Sie können es gerne kopieren und auf Ihrem lokalen Computer speichern:

// Benötigte Module und Bibliotheken importieren
const { CrawlingAPI } = erfordern("Crawlbase" - Übersetzung), // CrawlingAPI aus dem Crawlbase-Paket importieren
  fs = erfordern("fs"), // Importieren des fs-Moduls für Dateisystemoperationen
  tschüss = erfordern("Prost"), // Cheerio zum Parsen von HTML importieren
  samsungProductsURL =
    „https://www.samsung.com/levant/smartphones/all-smartphones/“, // URL der Samsung-Produktseite
  API = neu CrawlingAPI({ Zeichen: „Crawlbase_Token“ }); // Initialisieren von CrawlingAPI mit Ihrem Crawlbase-Token

// Eine GET-Anfrage an die URL der Samsung-Produkte senden
Bienen
  .bekommen(samsungProductsURL, {
    ajax_wait: was immer dies auch sein sollte.,
    Seite_warten: 10000,
  })
  .dann((Antwort) => {
    //Verarbeitung der Antwort
    if (Antwort.Statuscode === 200) {
      // Wenn der Antwortstatuscode 200 ist
      const analysierteDaten = scrapeProdukte(Antwort.Körper); // HTML-Antwort analysieren
      trösten.Log(analysierte Daten); // Protokollieren analysierter Daten in der Konsole
      //Schreiben der analysierten Daten in eine JSON-Datei
      fs.SchreibeFileSync(
        „samsung-scraped.json“,
        JSON.stringifizieren(analysierteDaten, null, 2),
        "utf-8"
      );
    } sonst {
      // Wenn der Antwortstatuscode nicht 200 ist, werfen Sie einen Fehler
      werfen neu Fehler(
        `HTML konnte nicht abgerufen werden. Statuscode: ${response.statusCode}`
      );
    }
  })
  .Fang(trösten.Fehler); // Eventuelle Fehler abfangen und protokollieren

// Funktion zum Scrapen von Produktdaten aus HTML
Funktion scrapeProdukte(html) {
  versuchen {
    const $ = Prost.Belastung(html), // HTML in Cheerio laden
      scrapeDaten = {
        Produkte[],
        Gesamtergebnisse: "",
      };

    // Extrahieren der Gesamtzahl der Ergebnisse
    scrapeDaten["GesamtErgebnisse"] = $(„.js-pfv2-result-total-count“).Text();

    // Durchlaufen jeder Produktkarte und Extrahieren von Produktdetails
    $(„.js-pfv2-content-wrap .js-pfv2-product-card“).jeder((_, Element) => {
      const Titel = $(Element)
          .gefunden(".pd03-Produktkarte__Produktname-Text")
          ?.Text()
        Farbe = $(Element)
          .gefunden(
            „.option-selector-v2__color-name-text .option-selector-v2__color-name-text-in“
          )
          ?.Text()
        Varianten = $(Element)
          .gefunden(„.option-selector-v2__size-text“)
          .Karte((_, Element) => $(Element).Text())
          .bekommen()
        Bewertungen = $(Element).gefunden(„.rating__point span:letztes-Kind“)?.Text()
        Spezifikationen = $(Element)
          .gefunden(„.pd03-Produktkarte__Spezifikationsliste .pd03-Produktkarte__Spezifikationselement“)
          .Karte((_, Element) => $(Element).Text())
          .bekommen()
        URL = $(Element)
          .gefunden(„.pd03-Produktkarte__Produktbild-Link“)
          ?.attr("href"),
        Bild = $(Element)
          .gefunden(„.image__main.responsive-img.image – geladen“)
          ?.attr("Quelle");

      // Produktdetails in das Scraped-Daten-Array übertragen
      scrapeDaten["Produkte"].drücken({
        Titel,
        Farbe, Farbe,
        Varianten: Varianten.join(""),
        Bewertungen,
        Spezifikationen: Spezifikationen.join(""),
        URL: URL.Dazu gehören("http") ? URL: `https://www.samsung.com/$ {url}`,
        Image: Bild.Dazu gehören("http") ? Bild : `https://www.samsung.com/${image}`,,
      });
    });

    Rückkehr Daten abkratzen; // Rückgabe der Scraped-Daten
  } Fang (äh) {
    Rückkehr ähm; // Bei Auftreten eines Fehlers wird dieser zurückgegeben
  }
}

Ausführen des Codes mit dem Befehl node index.js sollte eine ähnliche Ausgabe wie unten gezeigt liefern:

{
  "Produkte": [
    {
      „Titel“: "Galaxy A04s",
      "Farbe": "Schwarz",
      "Varianten": "64 GB, 128 GB",
      "Bewertungen": "5.0",
      "Spezifikationen": „6.5-Zoll-Infinity-V-Display, 50-MP-Kamera, 5000-mAh-Akku“,
      "URL": „https://www.samsung.com//levant/smartphones/galaxy-a/galaxy-a04s-black-64gb-sm-a047fzkgmeb/“,
      "Bild": "https://images.samsung.com/is/image/samsung/p6pim/levant/sm-a047fzkgmeb/gallery/levant-galaxy-a04s-a047-sm-a047fzkgmeb-thumb-533934965?$172_172_PNG$"
    },
    {
      „Titel“: „Galaxy Z Flip“,
      "Farbe": "Spiegel Lila",
      "Varianten": "256 GB",
      "Bewertungen": "4.2",
      "Spezifikationen": „Das Vollbildtelefon, das sich zusammenfalten lässt, um in Ihre Tasche zu passen. Das Smartphone, das von alleine stehen kann. Ein Doppelakku, der den ganzen Tag hält.“,
      "URL": „https://www.samsung.com//levant/smartphones/galaxy-z-flip/“,
      "Bild": "https://images.samsung.com/is/image/samsung/levant/galaxy-s20/gallery/levant-galaxy-z-flip-sm-f700-sm-f700fzpdmid-frontmirrorpurple-thumb-207727543?$172_172_PNG$"
    },
    {
      „Titel“: "Galaxy Fold",
      "Farbe": "Schwarz",
      "Varianten": "512 GB",
      "Bewertungen": "",
      "Spezifikationen": „Das faltbare Infinity Flex Display, futuristische Farben passend zu Ihrem Stil, die Zukunft von Geschwindigkeit und Speicher“,
      "URL": „https://www.samsung.com//levant/smartphones/galaxy-fold“,
      "Bild": "https://images.samsung.com/is/image/samsung/levant-galaxy-fold-f900-sm-f900fzkdmid-frontblack-thumb-200056227?$172_172_PNG$"
    },
    {
      „Titel“: „Galaxy Note10+“,
      "Farbe": "Aura-Glühen",
      "Varianten": "256 GB",
      "Bewertungen": "4.5",
      "Spezifikationen": „Leistungsstarker Akku mit superschneller Aufladung, größerer Bildschirm mit schlankerem und leichterem Gehäuse, S Pen mit Air-Aktionen mithilfe intuitiver Gesten“,
      "URL": „https://www.samsung.com//levant/smartphones/galaxy-note10/“,
      "Bild": "https://images.samsung.com/is/image/samsung/levant-galaxy-note10-plus-n975-sm-n975fzsdmid-frontauraglow-thumb-182079715?$172_172_PNG$"
    },
    {
      „Titel“: "Galaxy Note10",
      "Farbe": "Aura-Glühen",
      "Varianten": "256 GB",
      "Bewertungen": "4.2",
      "Spezifikationen": „Leistungsstarker Akku mit superschneller Aufladung, größerer Bildschirm mit schlankerem und leichterem Gehäuse, S Pen mit Air-Aktionen mithilfe intuitiver Gesten“,
      "URL": „https://www.samsung.com//levant/smartphones/galaxy-note10/“,
      "Bild": "https://images.samsung.com/is/image/samsung/levant-galaxy-note10-n970-sm-n970fzsdmid-frontauraglow-thumb-182079652?$172_172_PNG$"
    },
    {
      „Titel“: "Galaxy S24 Ultra",
      "Farbe": "Titangelb",
      "Varianten": "256 GB, 512 GB, 1 TB",
      "Bewertungen": "4.3",
      "Spezifikationen": „Branchenführende Hardware trifft auf weltverändernde KI, hergestellt aus Titan. Langlebig, 200 MP hochauflösende Fotografie und hyperrealistisches Gameplay“,
      "URL": „https://www.samsung.com//levant/smartphones/galaxy-s24-ultra/“,
      "Bild": "https://images.samsung.com/is/image/samsung/p6pim/levant/2401/gallery/levant-galaxy-s24-s928-sm-s928bzycmea-thumb-539426278?$172_172_PNG$"
    }
    ...
  ]
}

VIII. Fazit

In diesem Tutorial haben wir eine umfassende Anleitung zum Crawlen und Scrapen von Samsung-Produktdaten von der offiziellen Website bereitgestellt. Es ist wichtig zu beachten, dass der hier gezeigte Code kostenlos verwendet werden kann und die Leser ermutigt werden, ihn zu ändern oder zu erweitern, um ihn ihren spezifischen Anforderungen anzupassen. Die in diesem Tutorial vorgestellten Techniken können nicht nur zum Scrapen der Samsung-Website, sondern auch zum Crawlen und Extrahieren von Daten von anderen Websites angewendet werden.

Durch die Verwendung von JavaScript zusammen mit Crawlbases Crawling API und Cheerio haben Benutzer die Flexibilität, wertvolle Erkenntnisse effizient aus Webseiten zu gewinnen. Ob es um die Analyse von Markttrends, die Durchführung von Preisrecherchen oder den Vergleich von Produkten geht, die hier besprochenen Methoden bieten einen vielseitigen Ansatz für Web Scraping-Aufgaben.

Passen Sie den hier gezeigten Code und die Techniken nach Belieben an, um Daten von verschiedenen Websites zu extrahieren und an Ihre spezifischen Anforderungen anzupassen. Mit dem in diesem Tutorial erworbenen Grundwissen können Benutzer mit dem Scraping in verschiedenen Domänen beginnen und verwertbare Informationen für ihre Projekte extrahieren.

Wenn Sie an ähnlichen Projekten interessiert sind, empfehlen wir Ihnen, die folgenden Tutorials zu durchsuchen:

So scrapen Sie Alibaba-Suchergebnisdaten

So scrapen Sie Google (SERP)-Suchergebnisse

So scrapen Sie Daten aus dem Apple App Store

Haben Sie Fragen zu Crawlbase oder diesem Artikel? Kontaktieren Sie unser Support-Team. Viel Spaß beim Schaben!

IX. Häufig gestellte Fragen

F: Kann ich große Datenmengen von der Samsung-Website scrapen, ohne blockiert zu werden?

Ja, es ist möglich, große Datenmengen von der Samsung-Website zu scrapen, ohne auf Blockaden oder CAPTCHAs zu stoßen. Dies wird durch die Nutzung der Crawling API bereitgestellt von Crawlbase. Die Crawling API verwendet Tausende von Proxys und verbirgt so effektiv die echte IP-Adresse des Scrapers. Darüber hinaus simuliert es eine menschliche Interaktion mit der Website und ahmt so das natürliche Surfverhalten nach. Diese Maßnahmen helfen, Blockaden und CAPTCHAs zu verhindern und ermöglichen die nahtlose Extraktion großer Datenmengen.

F: Ist es legal, Daten von der Samsung-Website zu scrapen?

Die Rechtmäßigkeit des Web Scrapings von der Samsung-Website hängt von verschiedenen Faktoren ab, darunter den Nutzungsbedingungen der Website, Urheberrechtsgesetzen und geltenden Vorschriften in Ihrer Region. Während einige Websites das Scraping in ihren Nutzungsbedingungen ausdrücklich verbieten, erlauben es andere möglicherweise oder haben keine klaren Richtlinien.

Es ist wichtig, die Servicebedingungen von Samsung und alle relevanten rechtlichen Richtlinien zu überprüfen, um festzustellen, ob das Scraping der Website zulässig ist. Berücksichtigen Sie außerdem den Zweck des Scrapings, die Art und Weise, wie die Daten verwendet werden und ob möglicherweise geistige Eigentumsrechte oder Datenschutzbedenken verletzt werden.

In vielen Fällen ist Web Scraping für den persönlichen Gebrauch oder zu Forschungszwecken zulässig. Für die kommerzielle Nutzung oder die Weiterverteilung der Scraped-Daten ist jedoch möglicherweise die ausdrückliche Genehmigung des Websitebesitzers erforderlich. Es ist ratsam, Rechtsexperten zu konsultieren oder sich direkt an Samsung zu wenden, um die Einhaltung der geltenden Gesetze und Vorschriften sicherzustellen.

F: Kann ich mit ähnlichen Techniken Daten von anderen Websites extrahieren?

Ja, die zum Scraping der Samsung-Website gezeigten Techniken können auch zum Scraping von Daten anderer Websites angewendet werden. Der Prozess umfasst normalerweise:

Identifizieren der Zielwebsite und Verstehen ihrer HTML-Struktur.
Verwenden Sie Bibliotheken wie Cheerio oder BeautifulSoup, um das HTML zu analysieren und relevante Informationen zu extrahieren.
Durch die Nutzung von Diensten wie dem Crawling API von Crawlbase, um Blockierungen und CAPTCHAs beim Scraping verschiedener Websites zu vermeiden.
Stellen Sie HTTP-Anfragen, um Webseiten abzurufen, oder verwenden Sie APIs (sofern verfügbar), um auf strukturierte Daten zuzugreifen.
Implementieren von Strategien zur Bewältigung von Herausforderungen wie dynamischen Inhalten, Paginierung und Anti-Scraping-Maßnahmen.
Speichern der Scraped-Daten in einem strukturierten Format wie JSON, CSV oder einer Datenbank zur weiteren Analyse oder Verwendung.

Indem Sie diese Techniken verwenden und sie an die spezifischen Anforderungen anderer Websites anpassen, können Sie je nach Ihrem Ziel oder Zweck Daten aus verschiedenen Quellen extrahieren.

So scrapen Sie Samsung-Produkte

Inhaltsverzeichnis

I. Projektumfang

II. Warum Samsung-Produkte verschrotten?

III. Was kann man von der Samsung-Produktseite scrapen?

IV. Voraussetzungen

V. Einrichten eines Crawlbase-Kontos

VI. Seite mit Samsung-Produkten durchsuchen

VII. Scraping von Samsung-Produkten mit Cheerio

VIII. Fazit

IX. Häufig gestellte Fragen

unsere Lösung

Crawling API

Meistgelesen aus fortgeschrittenen Web Scraping Tutorials

So erstellen Sie AliExpress Web Scraper mit Python und Smart Proxy

So scrapen Sie Airbnb-Immobilienangebote mit Rust

Halloween-Special: AliExpress-Suchseiten-Scraping mit Schlüsselwörtern

Beginnen Sie noch heute mit dem Crawlen und Scrapen des Webs

So scrapen Sie Samsung-Produkte

Inhaltsverzeichnis

I. Projektumfang

II. Warum Samsung-Produkte verschrotten?

III. Was kann man von der Samsung-Produktseite scrapen?

IV. Voraussetzungen

V. Einrichten eines Crawlbase-Kontos

VI. Seite mit Samsung-Produkten durchsuchen

VII. Scraping von Samsung-Produkten mit Cheerio

VIII. Fazit

IX. Häufig gestellte Fragen

unsere Lösung

Crawling API

Teilen Sie diesen Beitrag

Meistgelesen aus fortgeschrittenen Web Scraping Tutorials

So erstellen Sie AliExpress Web Scraper mit Python und Smart Proxy

So scrapen Sie Airbnb-Immobilienangebote mit Rust

Halloween-Special: AliExpress-Suchseiten-Scraping mit Schlüsselwörtern

Beginnen Sie noch heute mit dem Crawlen und Scrapen des Webs