In unserer zunehmend datenzentrierten Welt ist der Zugriff auf Echtzeitinformationen nicht nur von Vorteil, sondern oft eine Notwendigkeit. Dies gilt insbesondere für Unternehmen und Forscher, die immer einen Schritt voraus sein wollen. Glücklicherweise sind E-Commerce-Websites eine reichhaltige Datenquelle und bieten eine wahre Fundgrube an Produktdetails, Preisdynamiken und wertvollen Markteinblicken. Um diese immense Informationsfülle effektiv zu nutzen, greifen wir jedoch auf Web-Crawling zurück.

Dieser umfassende Leitfaden ist Ihr Leitfaden zur Beherrschung der Kunst des Web-Crawlings für E-Commerce-Websites mit JavaScript in Kombination mit dem vielseitigen Crawlbase Crawling API. Während wir uns mit den Feinheiten des Web-Crawlings befassen, erfahren Sie, wie Sie auf diesen dynamischen Online-Marktplätzen navigieren und wertvolle Daten daraus extrahieren können. Zur Veranschaulichung unseres Ansatzes verwenden wir Daraz.pk, eine bekannte und weit verbreitete E-Commerce-Plattform, als unser Paradebeispiel.

In den folgenden Abschnitten erhalten Sie ein tiefes Verständnis der Grundlagen des Web-Crawlings und praktische Einblicke in die Erstellung Ihres eigenen Web-Crawlers. Am Ende dieses Handbuchs sind Sie in der Lage, E-Commerce-Daten effizient abzurufen und zu analysieren, sodass Sie fundierte Geschäftsentscheidungen treffen und Ihre Recherchen vorantreiben können. Begeben wir uns also auf diese Reise in die Welt des Web-Crawlings und erschließen wir die Fülle an Informationen, die E-Commerce-Websites zu bieten haben.

Inhaltsverzeichnis

  1. Erste Schritte
  • Was ist eine E-Commerce-Website?
  • Die Rolle des Web-Crawlings im E-Commerce
  1. Erste Schritte mit Crawlbase Crawling API
  • Einführung von Crawlbase Crawling API
  • Vorteile der Verwendung von Crawlbase Crawling API
  • Crawlbase NodeJS-Bibliothek
  1. Einrichten Ihrer Entwicklungsumgebung
  • Installieren von NodeJS und NPM
  • Festlegen des Projektverzeichnisses
  • Erforderliche Bibliotheken installieren
  • Auswahl der richtigen Entwicklungs-IDE
  • Token für Crawlbase erhalten Crawling API
  1. Auswahl Ihrer Ziel-E-Commerce-Website
  • Bedeutung des Crawlens der Daraz.pk-Website
  • Verstehen der Suchseitenstruktur der Daraz.pk-Website
  1. Schreiben des JavaScript-Crawling-Skripts
  • Importieren wichtiger NodeJS-Module
  • Konfigurieren Ihres Crawlbase API-Tokens
  • Identifizieren von Selektoren für wichtige Informationen
  • Crawlen der ausgewählten E-Commerce-Website
  • In der Paginierung versteckte Produkte crawlen
  1. Daten effizient speichern
  • Herunterladen der Scraped-Daten als CSV-Datei
  • Einbinden von SQLite-Datenbanken zur Datenspeicherung
  1. Schlussfolgerung
  2. Häufig gestellte Fragen

Erste Schritte

Bevor wir uns in die technischen Details vertiefen, ist es wichtig, das Konzept von E-Commerce-Websites zu verstehen und ihre Bedeutung im digitalen Zeitalter zu beleuchten. Durch die Untersuchung der Rolle des Web-Crawlings im E-Commerce werden die Leser verstehen, wie wichtig Datenextraktion, -organisation und -nutzung sind, um einen Wettbewerbsvorteil auf dem Online-Markt zu erlangen.

Was ist eine E-Commerce-Website?

Eine E-Commerce-Website (kurz für Electronic Commerce Website) ist eine Online-Plattform, die den Kauf und Verkauf von Produkten oder Dienstleistungen über das Internet ermöglicht. Diese Websites gibt es in allen Formen und Größen, von kleinen unabhängigen Boutiquen bis hin zu riesigen multinationalen Konzernen. Was sie alle vereint, ist die digitale Natur ihrer Geschäftstätigkeit, die es Kunden ermöglicht, Produkte zu durchsuchen, Einkäufe zu tätigen und Lieferungen zu vereinbaren – und das alles über das Internet.

Die Rolle des Web-Crawlings im E-Commerce

Das Web-Crawling spielt im E-Commerce-Ökosystem eine zentrale Rolle, da es wie ein stiller Motor fungiert, der Produktinformationen und Marktdaten in Echtzeit bereitstellt. Und so funktioniert es: Web-Crawler, auch Web-Spider oder Bots genannt, sind automatisierte Skripte, die systematisch durch Websites navigieren und Daten sammeln. Diese Daten können Produktdetails, Preisinformationen, Kundenbewertungen und mehr umfassen.

Rolle des Web-Crawlings im E-Commerce

Für E-Commerce-Unternehmen ist Web-Crawling unverzichtbar. Es ermöglicht ihnen, wettbewerbsfähig zu bleiben, indem sie die Preise ihrer Produkte und die ihrer Konkurrenten überwachen. Dieser datengesteuerte Ansatz ermöglicht dynamische Preisstrategien und stellt sicher, dass die Produkte in Echtzeit wettbewerbsfähige Preise haben. Darüber hinaus unterstützt Web-Crawling die Bestandsverwaltung und stellt sicher, dass Produkte auf Lager und für Kunden verfügbar sind, wenn sie einen Kauf tätigen möchten.

Auch Forscher und Analysten verlassen sich bei Marktstudien und Trendanalysen auf das Web-Crawling. Durch die Zusammenführung von Daten verschiedener E-Commerce-Websites erhalten sie Einblicke in das Verbraucherverhalten, Marktschwankungen und die Beliebtheit bestimmter Produkte. Diese Informationen sind von unschätzbarem Wert, um fundierte Geschäftsentscheidungen zu treffen, Markttrends vorherzusagen und der Konkurrenz einen Schritt voraus zu sein.

Erste Schritte mit Crawlbase Crawling API

Nachdem wir nun die Bedeutung des Web-Crawlings im E-Commerce festgestellt haben, ist es an der Zeit, sich mit den Tools und Techniken zu befassen, die Sie in die Lage versetzen, E-Commerce-Websites effektiv zu crawlen. In diesem Abschnitt stellen wir Ihnen die Crawlbase vor. Crawling API, beleuchten Sie die Vorteile der Nutzung seiner Leistungsfähigkeit und erkunden Sie die Crawlbase NodeJS-Bibliothek, die uns auf dieser Web-Crawling-Reise als treuer Begleiter dienen wird.

Einführung von Crawlbase Crawling API

Die Crawlbase Crawling API ist eine robuste, entwicklerfreundliche Lösung, die Web-Crawling- und Scraping-Aufgaben vereinfacht. Es bietet eine breite Palette an Features und Funktionen und ist damit die ideale Wahl für die Datenextraktion von E-Commerce-Websites wie Amazon, eBay, Daraz.pk, Alibaba und weiteren.

Im Kern ist die Crawlbase Crawling API ermöglicht es Ihnen, HTTP-Anfragen an Zielwebsites zu senden, HTML-Inhalte abzurufen und programmgesteuert durch Webseiten zu navigieren. Das bedeutet, dass Sie auf die zugrunde liegenden Daten einer Website zugreifen können, ohne manuell suchen, kopieren und einfügen zu müssen. Stattdessen können Sie den Prozess automatisieren und so Zeit und Aufwand sparen. Weitere Informationen finden Sie unter Crawlbase Crawling API Dokumentation.

Vorteile der Verwendung von Crawlbase Crawling API

Warum Sie sich für die Crawlbase entscheiden sollten Crawling API wenn Sie mit dem Web-Crawling beginnen? Hier sind einige überzeugende Gründe:

  1. Datengenauigkeit und -konsistenz: Die Crawlbase Crawling API stellt sicher, dass die von Ihnen erfassten Daten genau und konsistent sind. Im Gegensatz zur manuellen Dateneingabe, die anfällig für Fehler und Inkonsistenzen ist, ruft die API die Daten direkt von der Quelle ab und reduziert so die Wahrscheinlichkeit von Ungenauigkeiten.
  2. Skalierbarkeit: Egal, ob Sie eine Handvoll Seiten oder Tausende von Seiten crawlen müssen, die Crawlbase Crawling API ist auf Ihre Bedürfnisse zugeschnitten. Es ist hochgradig skalierbar und eignet sich daher für Projekte jeder Größe.
  3. Echtzeitdaten: In der schnelllebigen Welt des E-Commerce kann der Zugriff auf Echtzeitdaten den entscheidenden Unterschied ausmachen. Die API liefert die aktuellsten Informationen, sodass Sie der Konkurrenz immer einen Schritt voraus sind.
  4. Proxy-Verwaltung: Wenn es um die Anti-Scraping-Abwehr von Websites geht, wie z. B. IP-Blockierung, bietet Crawlbase ein effizientes Proxy-Managementsystem mit IP-Rotation. Diese besondere Funktion hilft dabei, IP-Sperren zu umgehen und einen konsistenten und zuverlässigen Zugriff auf Ihre gewünschten Daten sicherzustellen.
  5. Bequemlichkeit: Die Crawlbase-API sorgt für ein Gefühl von Einfachheit und Komfort, da Sie keinen eigenen Scraper oder Crawler erstellen und verwalten müssen. Sie funktioniert nahtlos als Cloud-basierte Lösung, übernimmt alle technischen Feinheiten und ermöglicht es Ihnen, sich ausschließlich auf das Extrahieren wertvoller Daten zu konzentrieren.
  6. Kosteneffizienz: Die Einrichtung und Aufrechterhaltung einer internen Web Scraping-Lösung kann Ihr Budget erheblich belasten. Im Gegenteil, die Crawlbase Crawling API bietet eine wirtschaftlich sinnvolle Alternative, bei der Sie nur für die Dienste bezahlen, die Sie tatsächlich benötigen, und Ihre Ausgaben so an Ihren individuellen Bedürfnissen ausrichten.

Crawlbase NodeJS-Bibliothek

Um das Beste aus der Crawlbase herauszuholen Crawling API, benötigen Sie eine Programmiersprache, die nahtlos interagieren kann. Hier kommt die Crawlbase NodeJS-Bibliothek ins Spiel. NodeJS ist eine beliebte Laufzeitumgebung zum Ausführen von JavaScript-Code außerhalb eines Webbrowsers und eine ausgezeichnete Wahl zum Erstellen von Webcrawlern.

Die Crawlbase NodeJS-Bibliothek vereinfacht die Integration der Crawlbase Crawling API in Ihre Web-Crawling-Projekte. Es bietet Funktionen und Dienstprogramme, die das Senden von Anfragen, die Bearbeitung von Antworten und das Parsen von Daten zum Kinderspiel machen. Egal, ob Sie ein erfahrener Entwickler sind oder gerade erst mit dem Web-Crawling beginnen, die Crawlbase NodeJS-Bibliothek ist Ihr bevorzugtes Tool zum Erstellen leistungsstarker und effizienter Web-Crawler.

In den folgenden Abschnitten führen wir Sie durch die Einrichtung Ihrer Entwicklungsumgebung, die Konfiguration der Crawlbase Crawling API, und schreiben Sie Ihr erstes JavaScript-Crawling-Skript. Gemeinsam erkunden wir die unglaublichen Möglichkeiten des Web-Crawlings im E-Commerce-Bereich.

Einrichten Ihrer Entwicklungsumgebung

Bevor Sie mit JavaScript und der Crawlbase in das Web-Crawling eintauchen können Crawling APIist es wichtig, Ihre Entwicklungsumgebung vorzubereiten. Dieser Abschnitt bietet eine kurze und dennoch detaillierte Anleitung, die Ihnen beim Einrichten der erforderlichen Tools und Bibliotheken für ein reibungsloses Crawling von E-Commerce-Websites hilft.

Installieren von NodeJS und NPM

NodeJS und NPM (Node Package Manager) sind das Rückgrat der modernen JavaScript-Entwicklung. Sie ermöglichen es Ihnen, JavaScript-Code außerhalb der Grenzen eines Webbrowsers auszuführen und Abhängigkeiten mühelos zu verwalten. Hier ist eine einfache Installationsanleitung:

  1. Das ist NodeJS: Besuchen Sie die offizielle NodeJS-Website und laden Sie die neueste LTS-Version (Long-Term Support) herunter, die auf Ihr Betriebssystem zugeschnitten ist. Führen Sie die Installation gemäß den bereitgestellten plattformspezifischen Anweisungen aus.
  2. NPM: NPM ist im Lieferumfang von NodeJS enthalten. Nach der Installation von NodeJS steht Ihnen NPM automatisch zur Verfügung.

Um eine erfolgreiche Installation zu bestätigen, öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung und führen Sie die folgenden Befehle aus:

1
2
Knotenversion
npm -version

Diese Befehle zeigen die installierten Versionen von NodeJS und NPM an und gewährleisten so eine reibungslose Einrichtung.

Festlegen des Projektverzeichnisses

Erstellen Sie zunächst mit dem Befehl mkdir ein Verzeichnis. In diesem Tutorial wird es „ecommerce crawling“ genannt, Sie können den Namen jedoch durch einen anderen Namen Ihrer Wahl ersetzen:

1
mkdir E-Commerce\ Crawling

Wechseln Sie anschließend mit dem Befehl cd in das neu erstellte Verzeichnis:

1
cd E-Commerce\ Crawling/

Initialisieren Sie das Projektverzeichnis als npm-Paket mit dem npm-Befehl:

1
npm init -y

Der Befehl erstellt eine Datei package.json, die wichtige Metadaten für Ihr Projekt enthält. Die Option -y weist npm an, alle Standardwerte zu akzeptieren.

Nach dem Ausführen des Befehls wird die folgende Ausgabe auf Ihrem Bildschirm angezeigt:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Geschrieben in /home/hassan/Desktop/ecommerce crawling/package.json:

{
  "Name": "E-Commerce-Crawling",
  "Ausführung": "1.0.0",
  „Beschreibung“: "",
  "Main": "index.js",
  „Skripte“: {
    "Prüfung": "echo \"Fehler: kein Test angegeben\" && exit 1"
  },
  "Keywords": [],
  "Autor": "",
  "Lizenz": "ISC"
}

Erforderliche Bibliotheken installieren

Statten Sie Ihr Projekt mithilfe von NPM mit den folgenden JavaScript-Bibliotheken aus, um ein effizientes Web-Crawling und API-Interaktionen zu ermöglichen:

1
2
3
4
5
# Navigieren Sie zu Ihrem Projektverzeichnis
cd Ihr Projektverzeichnis

# Installieren Sie die erforderlichen Bibliotheken
npm install cheerio crawlbase sqlite3 csv-writer

Hier ist ein kurzer Überblick über diese wichtigen Bibliotheken:

  • Tschüss: Als agile und leistungsstarke Bibliothek ist Cheerio für die effiziente Analyse von HTML- und XML-Dokumenten konzipiert. Es spielt eine entscheidende Rolle beim einfachen Extrahieren wertvoller Daten aus Webseiten.
  • Crawlbase: Crawlbase vereinfacht die Interaktion mit der Crawlbase Crawling API, wodurch der Prozess des Website-Crawlings und der Datenextraktion optimiert wird.
  • SQLite3: SQLite3 ist eine eigenständige, serverlose SQL-Datenbank-Engine ohne Konfiguration. Sie dient als Repository zum Speichern der beim Crawling gesammelten Datenmengen.
  • CSV-Writer: Es vereinfacht das Schreiben von Daten in CSV-Dateien und erleichtert das Erstellen strukturierter Datendateien zur Speicherung oder weiteren Analyse in Ihren Anwendungen. Es bietet eine intuitive API zum Definieren von Headern und Schreiben von Datensätzen in CSV-Dateien mit minimalem Code.

Auswahl der richtigen Entwicklungs-IDE

Die Auswahl der richtigen integrierten Entwicklungsumgebung (IDE) kann die Produktivität erheblich steigern. Sie können JavaScript-Code zwar in einem einfachen Texteditor schreiben, aber die Verwendung einer dedizierten IDE bietet Funktionen wie Codevervollständigung, Debugging-Tools und Versionskontrollintegration.

Zu den beliebtesten IDEs für die JavaScript-Entwicklung zählen:

  • Visual Studio-Code (VS-Code): VS Code ist ein kostenloser, quelloffener Code-Editor, der von Microsoft entwickelt wurde. Er verfügt über eine aktive Community und bietet eine breite Palette an Erweiterungen für die JavaScript-Entwicklung.
  • WebStorm: WebStorm ist eine kommerzielle IDE von JetBrains, die für ihre intelligente Codierungsunterstützung und robuste JavaScript-Unterstützung bekannt ist.
  • Erhabener Text: Sublime Text ist ein leichter und anpassbarer Texteditor, der bei Entwicklern wegen seiner Geschwindigkeit und Erweiterbarkeit beliebt ist.

Wählen Sie eine IDE, die Ihren Vorlieben und Ihrem Arbeitsablauf entspricht.

Einen Token für Crawlbase erhalten Crawling API

Um auf die Crawlbase-Crawling-API zuzugreifen, benötigen Sie ein Zugriffstoken. Um das Token zu erhalten, müssen Sie zunächst ein Konto bei Crawlbase erstellen. Jetzt richten wir Ihnen ein Crawlbase-Konto ein. Folgen Sie diesen Schritten:

  1. Besuchen Sie die Crawlbase-Website: Öffnen Sie Ihren Webbrowser und navigieren Sie zur Crawlbase-Anmeldeseite, um den Registrierungsprozess zu starten.
  2. Geben Sie Ihre Daten an: Sie werden aufgefordert, Ihre E-Mail-Adresse anzugeben und ein Passwort für Ihr Crawlbase-Konto zu erstellen. Geben Sie die erforderlichen Informationen ein.
  3. Überprüfung: Nach dem Absenden Ihrer Daten müssen Sie möglicherweise Ihre E-Mail-Adresse bestätigen. Suchen Sie in Ihrem Posteingang nach einer Bestätigungs-E-Mail von Crawlbase und folgen Sie den Anweisungen.
  4. Anmeldung: Sobald Ihr Konto verifiziert ist, kehren Sie zur Crawlbase-Website zurück und melden Sie sich mit Ihren neu erstellten Anmeldeinformationen an.
  5. Greifen Sie auf Ihr API-Token zu: Sie benötigen ein API-Token zur Nutzung der Crawling API. Unter diesem Link finden Sie Ihre Token.

Crawlbase bietet zwei Arten von Token: den Normal Token (TCP) für statische Webseiten und den JavaScript Token (JS) für dynamische oder mit JavaScript gerenderte Webseiten. Weitere Informationen finden Sie hier.

Mit NodeJS, NPM, wichtigen Bibliotheken und Ihrem API-Token sind Sie nun bereit, in die Welt des Crawlings von E-Commerce-Websites mit JavaScript und der Crawlbase einzutauchen. Crawling APIIn den folgenden Abschnitten führen wir Sie Schritt für Schritt durch den Vorgang.

Auswahl Ihrer Ziel-E-Commerce-Website

Die Wahl der richtigen E-Commerce-Website für Ihr Crawling-Projekt ist eine wichtige Entscheidung. In diesem Abschnitt untersuchen wir die Bedeutung der Auswahl von Daraz.pk als Zielwebsite und vertiefen uns in die Struktur ihrer Suchseiten.

Bedeutung des Crawlens der Daraz.pk-Website

Daraz.pk, einer der größten Online-Marktplätze Südasiens, ist eine ausgezeichnete Wahl für unsere Web-Crawling-Demonstration. Hier ist der Grund:

  1. Fülle an Daten: Daraz.pk bietet einen umfangreichen Produktkatalog und ist damit eine wahre Fundgrube an Informationen für Datenliebhaber. Von Elektronik bis Mode finden Sie hier eine breite Produktpalette, die Sie erkunden können. Dies ist ein umfassendes Beispiel für das Crawlen von E-Commerce-Daten.
  2. Relevanz für die reale Welt: Das Crawlen eines E-Commerce-Giganten wie Daraz.pk ist ein praktisches Beispiel, das mit realen Szenarien übereinstimmt. Egal, ob Sie ein Unternehmen sind, das die Preise der Konkurrenz überwachen möchte, ein Forscher, der Verbrauchertrends untersucht, oder ein Entwickler, der ein Preisvergleichstool erstellen möchte, die Daten, die Sie aus einer solchen Plattform extrahieren können, sind von unschätzbarem Wert.
  3. Abwechslungsreiche Seitenstrukturen: Die Website von Daraz.pk bietet eine Vielzahl von Seitenstrukturen, darunter Produktlisten, Suchergebnisse und einzelne Produktseiten. Diese Vielfalt ermöglicht es uns, ein breites Spektrum an Web Scraping-Szenarien abzudecken, was sie zu einem idealen Spielplatz zum Lernen und für die praktische Anwendung macht.
  4. Regionale Bedeutung: Daraz.pk ist in Südasien präsent und damit regional bedeutend. Wenn Sie sich für regionale Markttrends interessieren, kann es sehr hilfreich sein, die für diese Region spezifischen Produkte und Preise zu kennen.

Verstehen der Suchseitenstruktur der Daraz.pk-Website

Um Daraz.pk effektiv crawlen zu können, ist es wichtig, die Struktur der Suchseiten zu verstehen. Diese Seiten sind der Ausgangspunkt für viele E-Commerce-bezogene Abfragen und daher ein Hauptfokus des Web-Crawlings. Daraz.pk zeigt normalerweise 40 Ergebnisse pro Seite an.

Daraz-Suchseite

Hier ist eine detaillierte Aufschlüsselung:

  1. Suchleiste: Auf der Homepage von Daraz.pk befindet sich eine prominente Suchleiste, in die Benutzer Schlüsselwörter eingeben können, um Produkte zu finden. Diese Suchleiste dient als Einstiegspunkt für Kunden, die nach bestimmten Artikeln suchen, und ist daher eine wichtige Komponente, die verstanden werden muss.
  2. Search Results: Wenn Sie eine Suchanfrage eingeben, zeigt Daraz.pk eine Liste relevanter Produkte an. Jede Produktliste enthält normalerweise ein Bild, einen Titel, einen Preis und Benutzerbewertungen. Für eine effektive Datenextraktion ist es wichtig zu verstehen, wie diese Daten strukturiert sind.
  3. Produktseiten: Wenn Sie in den Suchergebnissen auf ein Produkt klicken, gelangen Sie zu einer einzelnen Produktseite. Diese Seiten enthalten detaillierte Informationen zu einem bestimmten Produkt, einschließlich Beschreibung, Spezifikationen, Kundenbewertungen und verwandten Artikeln. Das Verständnis der Struktur dieser Seiten ist für eine detailliertere Datenextraktion von entscheidender Bedeutung.
  4. Seitennummerierung: Angesichts der potenziell großen Anzahl von Suchergebnissen ist die Paginierung auf diesen Seiten üblich. Benutzer können durch mehrere Ergebnisseiten navigieren, um ein breiteres Produktspektrum zu erkunden. Die Handhabung der Paginierung ist beim Web-Crawling von entscheidender Bedeutung, insbesondere auf E-Commerce-Websites, auf denen sich die Daten über mehrere Seiten erstrecken können.
  5. Footer: Die Fußzeile der Suchseiten von Daraz.pk enthält häufig nützliche Links und Informationen. Obwohl sie nicht direkt mit den Suchergebnissen in Zusammenhang steht, kann sie eine wertvolle Ressource sein, um zusätzliche Daten zu extrahieren oder effizient auf der Website zu navigieren.

Es ist erwähnenswert, dass Daraz.pk Suchergebnisse dynamisch mit JavaScript lädt. Um solche Seiten effektiv zu crawlen, müssen Sie die Crawlbase verwenden Crawling API mit einem JavaScript-Token (JS-Token). Mit einem JS-Token können Sie Abfrageparameter verwenden wie ajaxWait und pageWait, die für die Handhabung des JavaScript-Renderings und des AJAX-Ladens unerlässlich sind. Weitere Informationen finden Sie unter Crawlbase Crawling API Abfrageparametern. Diese Funktion ermöglicht Ihnen die Interaktion mit dynamisch generierten Inhalten und stellt sicher, dass Sie auf die Daten zugreifen können, die Sie für Ihr Web-Crawling-Projekt benötigen.

Das Verständnis der Dynamik von JavaScript-Rendering und AJAX-Laden ist bei modernen, interaktiven Websites wie Daraz.pk von entscheidender Bedeutung. Indem Sie sich auf die Struktur der Suchseite konzentrieren, sind Sie gut darauf vorbereitet, wertvolle Daten von Daraz.pk zu extrahieren und Einblicke in das E-Commerce-Web-Scraping zu gewinnen.

Schreiben des JavaScript-Crawling-Skripts

Sehen wir uns an, wie man das JavaScript-Crawling-Skript für Daraz.pk mithilfe der Crawlbase NodeJS-Bibliothek schreibt. In diesem Abschnitt wird jeder Schritt anhand von Codebeispielen ausführlich behandelt.

Importieren wichtiger NodeJS-Module

NodeJS glänzt mit seinem umfassenden Modul-Ökosystem in der Welt des Web-Crawlings und -Scrapings. Diese Module vereinfachen komplexe Aufgaben und erleichtern das Extrahieren und Bearbeiten von Daten aus Webseiten. Beginnen wir mit dem Importieren der wesentlichen Module:

1
2
3
4
5
// Erforderliche Node.js-Module importieren
const { CrawlingAPI } = erfordern(„Crawlbase“); // Zum Stellen von HTTP-Anfragen
const tschüss = erfordern("Tschüs"); // Zum Parsen von HTML
const sqlite3 = erfordern('sqlite3').ausführlich(); // Für die Arbeit mit SQLite-Datenbanken
const Erstellen Sie einen CsvWriter. erfordern(„CSV-Writer“).ObjektCsvWriter erstellen; // Für die Arbeit mit CSV-Dateien

Konfigurieren Ihres Crawlbase API-Tokens

Konfigurieren wir nun Ihr Crawling API Token. Dieses Token ist das Gateway zur Verwendung der Crawlbase-Crawling-API.

1
2
const crawlbaseApiToken = 'IHR_CRAWLBASE_JS_TOKEN'; // Ersetzen Sie es durch Ihr tatsächliches Crawlbase API-Token
const API = neu CrawlingAPI({ Zeichen: crawlbaseApiToken });

Indem Sie hier Ihr einzigartiges API-Token einfügen, erhält Ihr Skript die Möglichkeit, Crawlbase zu nutzen Crawling API Dienste nahtlos während des gesamten Crawling-Prozesses. Durch die Nutzung der Crawling API mit einem JS-Token stattet uns nicht nur mit wesentlichen Funktionen für die effiziente Navigation auf JavaScript-gerenderten Websites aus, sondern garantiert auch eine nahtlose IP-Rotation und schützt so vor potenziellen Blockierungsproblemen.

Identifizieren von Selektoren für wichtige Informationen

Beim Crawlen von E-Commerce-Websites wie Daraz.pk besteht einer der wichtigsten Schritte darin, die genauen HTML-Elemente zu identifizieren, die die Informationen enthalten, die Sie extrahieren möchten. In diesem Abschnitt führen wir Sie durch den Prozess zum Auffinden dieser Elemente, indem wir die Webseite untersuchen und die richtigen CSS-Selektoren für die Verwendung mit Cheerio auswählen.

  1. Überprüfen Sie die Webseite:

Bevor Sie die Selektoren genau bestimmen können, müssen Sie die Suchseite von Daraz.pk überprüfen. Klicken Sie mit der rechten Maustaste auf das Element, das Sie interessiert (z. B. einen Produkttitel, Preis oder eine Bewertung) und wählen Sie „Überprüfen“ aus dem Kontextmenü. Dadurch werden die Entwicklertools Ihres Browsers geöffnet, sodass Sie die HTML-Struktur der Seite erkunden können.

Daraz-Suchseite prüfen
  1. Suchen Sie die relevanten Elemente:

In den Entwicklertools sehen Sie die HTML-Struktur der Seite. Beginnen Sie mit der Identifizierung der HTML-Elemente, die die Daten enthalten, die Sie scrapen möchten. Produkttitel können beispielsweise eingeschlossen sein in <h2> Tags, während die Preise innerhalb liegen könnten <span> Elemente mit bestimmten Klassen.

  1. CSS-Selektoren bestimmen:

Sobald Sie die relevanten Elemente gefunden haben, ist es an der Zeit, CSS-Selektoren zu erstellen, die sie gezielt ansprechen. CSS-Selektoren sind Muster, mit denen Sie die gewünschten Elemente basierend auf ihren Attributen, Klassen oder der Hierarchie in der HTML-Struktur auswählen können.

Hier sind einige gängige CSS-Selektoren:

  • Elementauswahl: Wählt HTML-Elemente direkt aus. Beispiel: h2 wählt alle aus <h2> Elemente.
  • Klassenauswahl: Wählt Elemente nach ihrem Klassenattribut aus. Beispiel: .product-title wählt alle Elemente mit der Klasse „Produkttitel“ aus.
  • ID-Selektor: Wählt ein eindeutiges Element anhand seines ID-Attributs aus. Beispiel: #product-123 wählt das Element mit der ID „product-123“ aus.
  1. Testen Sie die Selektoren:

Nachdem Sie Ihre Selektoren definiert haben, können Sie sie in der Entwicklerkonsole des Browsers testen, um sicherzustellen, dass sie die richtigen Elemente ansprechen. Verwenden Sie JavaScript, um Ihre Selektoren auszuführen und zu prüfen, ob sie die erwarteten Ergebnisse zurückgeben. In den folgenden Abschnitten haben wir beim Schreiben dieses Blogs die aktuellsten verfügbaren CSS-Selektoren verwendet, um die Genauigkeit und Wirksamkeit unserer Demonstrationen sicherzustellen.

Crawlen der ausgewählten E-Commerce-Website

In diesem Abschnitt werden wir uns anhand eines praktischen Beispiels mit dem Crawlen der E-Commerce-Website von Daraz mit dem zuvor erstellten Setup befassen. Das bereitgestellte Beispiel zeigt, wie Suchergebnisse für die Abfrage „Uhren für Männer“ von Daraz.pk abgerufen und wichtige Produktinformationen extrahiert werden.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
// Erforderliche Node.js-Module importieren
const { CrawlingAPI } = erfordern(„Crawlbase“);
const tschüss = erfordern("Tschüs");
const sqlite3 = erfordern('sqlite3').ausführlich();
const Erstellen Sie einen CsvWriter. erfordern(„CSV-Writer“).ObjektCsvWriter erstellen;

// Ersetzen Sie es durch Ihr tatsächliches Crawlbase API-Token
const crawlbaseApiToken = 'IHR_CRAWLBASE_JS_TOKEN';
const API = neu CrawlingAPI({ Zeichen: crawlbaseApiToken });

async Funktion kriechenDaraz(query) {
  versuchen {
    // Definieren Sie die URL für die Suche auf Daraz.pk
    const Such-URL = `https://www.daraz.pk/catalog/?q=${query}`;

    // Machen Sie eine GET-Anfrage an die Such-URL mit der Crawlbase-API
    const Antwort = – warten auf Sie! api.bekommen(SuchURL, { SeiteWarten: 5000 });

    //Überprüfen Sie, ob die Anfrage erfolgreich war
    if (Antwort.Statuscode === 200) {
      // Analysieren Sie den HTML-Inhalt der Seite mit Cheerio
      const $ = Prost.Belastung(Antwort.Körper);

      // Extrahieren und verarbeiten Sie die Suchergebnisse
      const Ergebnisse = [];

      // Produktdaten extrahieren
      $('div[data-qa-locator="allgemeine-produkte"] div[data-qa-locator="produkt-artikel"]').jeder((Index, Element) => {
        const Produkt = {};

        Produkt.Produktseiten-URL = $(Element).gefunden('.mainPic--ehOdr a').attr('href');
        Produkt.Miniaturansicht = $(Element).gefunden(„.mainPic--ehOdr img“).attr('Quelle');
        Produkt.Titel = $(Element).gefunden('.info--ifj7U .title--wFj93 a').Text();
        Produkt.Preis  = $(Element).gefunden(„.info--ifj7U .price--NVB62 span“).Text();
        Produkt.Anzahl der Bewertungen = $(Element).gefunden(„.info--ifj7U .rateAndLoc--XWchq .rating__review--ygkUy“).Text();
        Produkt.Standort = $(Element).gefunden(„.info--ifj7U .rateAndLoc--XWchq .location--eh0Ro“).Text();

        Ergebnisse angezeigtdrücken(Produkt);
      });

      Rückkehr Ergebnisse;
    } sonst {
      trösten.Fehler(„Die Seite konnte nicht abgerufen werden.“);
    }
  } Fang (Fehler) {
    trösten.Fehler(„Ein Fehler ist aufgetreten:“, Fehler);
  }
}

async Funktion mit dem Crawlen beginnen() {
  const Ergebnisse = – warten auf Sie! kriechenDaraz('Uhren für Männer');
  trösten.Log(Ergebnisse);
}

mit dem Crawlen beginnen();

Die crawlDaraz Funktion initiiert den Crawling-Prozess. Sie erstellt zunächst die URL für die Daraz.pk-Suche basierend auf der bereitgestellten Abfrage. Dann verwendet sie die Crawlbase-API, um eine GET-Anfrage an diese URL zu senden, wobei eine Seitenwartezeit von 5000 Millisekunden (5 Sekunden) eingebaut wird, um sicherzustellen, dass die JavaScript-Wiedergabe abgeschlossen wird. Wenn die Anfrage erfolgreich ist (HTTP-Statuscode 200), analysiert das Skript den HTML-Inhalt der Seite mithilfe von „cheerio“. Anschließend extrahiert es Produktinformationen, indem es die HTML-Struktur mit vordefinierten Selektoren durchläuft. Die extrahierten Daten, einschließlich Produkt-URLs, Bildern, Titeln, Preisen, Bewertungszahlen und Standorten, werden in Objekten organisiert und einem Array hinzugefügt. Schließlich wird dieses Array mit Produktdaten zurückgegeben.

Der zweite Teil des Codes ruft die Funktion startCrawling auf, die den Crawling-Prozess durch den Aufruf von crawlDaraz mit der Abfrage „Uhren für Männer“. Die extrahierten Ergebnisse werden in der Konsole protokolliert und stehen so zur weiteren Verarbeitung oder Analyse zur Verfügung. Dieser Code zeigt eine technische Implementierung von Web-Crawling und Scraping, die für das dynamische Laden von Inhalten auf der Daraz.pk-Website mithilfe von Crawlbase ausgestattet ist Crawling API.

Ausgabe-Screenshot:

Durchsuchte Daraz-Suchergebnisse

In der Paginierung versteckte Produkte crawlen

Beim Crawlen einer E-Commerce-Website wie Daraz.pk stößt man häufig auf Suchergebnisseiten, die aufgrund der großen Produktmenge über mehrere Seiten verteilt sind. Um eine umfassende Datenerfassung zu gewährleisten, müssen wir diese Paginierung effektiv handhaben.

Die Seitennummerierung wird über numerische Seitenlinks oder „Nächste Seite“-Schaltflächen verwaltet. So gehen wir vor:

  1. Ermittlung der Gesamtseitenzahl: Zunächst holen wir uns die erste Suchseite und untersuchen sie, um die Gesamtzahl der verfügbaren Ergebnisseiten zu ermitteln. Dieser Schritt ist entscheidend, um zu wissen, wie viele Seiten wir crawlen müssen.
  2. Durch Seiten iterieren: Mit der Gesamtzahl der Seiten in der Hand durchlaufen wir dann jede Seite und stellen Anfragen zum Abrufen der Produktdaten. Wir folgen der Paginierungsstruktur, indem wir die Seitenzahl an die Such-URL anhängen. Zum Beispiel von Seite 1 bis Seite N, wobei N die Gesamtzahl der Seiten ist.
  3. Daten extrahieren: Wir extrahieren die Produktdaten auf jeder Seite, wie wir es auf der ersten Seite getan haben. Dazu gehören Details wie Produkt-URLs, Bilder, Titel, Preise, Bewertungen und Standorte.
  4. Ergebnisse aggregieren: Abschließend fassen wir die Ergebnisse jeder Seite in einem einzigen Datensatz zusammen. Dadurch stellen wir sicher, dass wir Daten von jeder Seite mit Suchergebnissen erfassen und einen umfassenden Datensatz für die Analyse bereitstellen.

Aktualisieren wir unseren vorherigen Code, um die Paginierung auf den Suchseiten von Daraz.pk zu handhaben.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
// Erforderliche Node.js-Module importieren
const { CrawlingAPI } = erfordern(„Crawlbase“);
const tschüss = erfordern("Tschüs");
const sqlite3 = erfordern('sqlite3').ausführlich();
const Erstellen Sie einen CsvWriter. erfordern(„CSV-Writer“).ObjektCsvWriter erstellen;

// Ersetzen Sie es durch Ihr tatsächliches Crawlbase API-Token
const crawlbaseApiToken = 'IHR_CRAWLBASE_JS_TOKEN';
const API = neu CrawlingAPI({ Zeichen: crawlbaseApiToken });

async Funktion getTotalPages(query) {
  versuchen {
    // Definieren Sie die URL für die Suche auf Daraz.pk
    const Such-URL = `https://www.daraz.pk/catalog/?q=${query}`;

    // Machen Sie eine GET-Anfrage an die Such-URL mit der Crawlbase-API
    const Antwort = – warten auf Sie! api.bekommen(SuchURL, { SeiteWarten: 5000 });

    //Überprüfen Sie, ob die Anfrage erfolgreich war
    if (Antwort.Statuscode === 200) {
      // Analysieren Sie den HTML-Inhalt der Seite mit Cheerio
      const $ = Prost.Belastung(Antwort.Körper);

      // Ermitteln Sie die Gesamtzahl der Seiten
      const Gesamtseiten = parseInt($(„ul.ant-pagination li:nth-last-child(2)“).attr(‚Titel‘));
      Rückkehr Gesamtseiten;
    } sonst {
      trösten.Fehler(„Die Seite konnte nicht abgerufen werden.“);
      Rückkehr 0;
    }
  } Fang (Fehler) {
    trösten.Fehler(„Ein Fehler ist aufgetreten:“, Fehler);
    Rückkehr 0;
  }
}

async Funktion crawlDarazSeite(Abfrage, Seite) {
  versuchen {
    // Definieren Sie die URL für die jeweilige Seite
    const Such-URL = `https://www.daraz.pk/catalog/?q=${query}&Seite=${page}`;

    // Machen Sie eine GET-Anfrage an die Seiten-URL mit der Crawlbase-API
    const Antwort = – warten auf Sie! api.bekommen(SuchURL, { SeiteWarten: 5000 });

    //Überprüfen Sie, ob die Anfrage erfolgreich war
    if (Antwort.Statuscode === 200) {
      // Analysieren Sie den HTML-Inhalt der Seite mit Cheerio
      const $ = Prost.Belastung(Antwort.Körper);

      // Extrahieren und verarbeiten Sie die Suchergebnisse dieser Seite
      const Ergebnisse = [];

      // Produktdaten von dieser Seite extrahieren
      $('div[data-qa-locator="allgemeine-produkte"] div[data-qa-locator="produkt-artikel"]').jeder((Index, Element) => {
        const Produkt = {};

        Produkt.Produktseiten-URL = $(Element).gefunden('.mainPic--ehOdr a').attr('href');
        Produkt.Miniaturansicht = $(Element).gefunden(„.mainPic--ehOdr img“).attr('Quelle');
        Produkt.Titel = $(Element).gefunden('.info--ifj7U .title--wFj93 a').Text();
        Produkt.Preis  = $(Element).gefunden(„.info--ifj7U .price--NVB62 span“).Text();
        Produkt.Anzahl der Bewertungen = $(Element).gefunden(„.info--ifj7U .rateAndLoc--XWchq .rating__review--ygkUy“).Text();
        Produkt.Standort = $(Element).gefunden(„.info--ifj7U .rateAndLoc--XWchq .location--eh0Ro“).Text();

        Ergebnisse angezeigtdrücken(Produkt);
      });

      Rückkehr Ergebnisse;
    } sonst {
      trösten.Fehler(`Seite konnte nicht abgerufen werden ${page}.`);
      Rückkehr [];
    }
  } Fang (Fehler) {
    trösten.Fehler(„Ein Fehler ist aufgetreten:“, Fehler);
    Rückkehr [];
  }
}

async Funktion mit dem Crawlen beginnen() {
  const Abfrage = 'Uhren für Männer';
  const Gesamtseiten = – warten auf Sie! getTotalPages(Abfrage);

  if (GesamtzahlSeiten > 0) {
    const Ergebnisse = [];

    // Alle verfügbaren Seiten crawlen
    
für (lassen Seite = 1; Seite <= Gesamtseiten; Seite++) {
      const Seitenergebnisse = – warten auf Sie! crawlDarazSeite(Abfrage, Seite);
      Ergebnisse angezeigtdrücken(...Seitenergebnisse);
    }
    // Datensatzlänge drucken
    trösten.Log(Ergebnisse.Länge);
  }
}

mit dem Crawlen beginnen();

Der Code besteht aus zwei Hauptfunktionen: getTotalPages und crawlDarazPage.

  • getTotalPages ruft die ursprüngliche Suchseite ab, extrahiert die Gesamtzahl der für die angegebene Abfrage verfügbaren Seiten und gibt diese Zahl zurück. Es verwendet Cheerio zum Parsen der Seite und extrahiert die Gesamtzahl der Seiten aus der Paginierungssteuerung.
  • crawlDarazPage ist für das Crawlen einer bestimmten Seite mit Suchergebnissen verantwortlich. Es übernimmt die query und page als Parameter, erstellt die URL für die jeweilige Seite und extrahiert Produktdaten von dieser Seite.

Im startCrawling Funktion ermitteln wir die Gesamtzahl der Seiten mit getTotalPages. Wenn Seiten gecrawlt werden müssen (z. B. totalPages größer als Null ist), initialisieren wir ein leeres results Array. Wir durchlaufen dann die gewünschte Anzahl von Seiten (in diesem Fall die ersten 5 Seiten) und verwenden crawlDarazPage um Produktdaten von jeder Seite abzurufen und zu extrahieren. Die Ergebnisse werden im results Array.

Indem Sie die Paginierung auf diese Weise handhaben, können Sie sicherstellen, dass Ihr Webcrawler umfassend Produktdaten von allen verfügbaren Suchergebnisseiten auf Daraz.pk oder ähnlichen Websites sammelt. Dieser Ansatz macht Ihre Web Scraping-Bemühungen gründlicher und effektiver.

Daten effizient speichern

Nachdem Sie erfolgreich Daten von einer E-Commerce-Website wie Daraz gescrapt haben, besteht der nächste Schritt darin, diese wertvollen Informationen effizient zu speichern. Die ordnungsgemäße Datenspeicherung stellt sicher, dass Sie effektiv auf die gescrapten Daten zugreifen und sie für verschiedene Zwecke nutzen können. In diesem Abschnitt werden zwei Methoden zum Speichern Ihrer gescrapten Daten erläutert: Herunterladen als CSV-Datei und Integrieren von SQLite-Datenbanken zum Speichern der Daten.

Herunterladen der Scraped-Daten als CSV-Datei

CSV (Comma Separated Values) ist ein weit verbreitetes Format zum Speichern strukturierter Daten. Es ist einfach zu handhaben und kann von verschiedenen Tabellenkalkulationsprogrammen wie Microsoft Excel und Google Sheets geöffnet werden. Um Scraped-Daten als CSV-Datei in Ihre NodeJS-Anwendung herunterzuladen, können Sie Bibliotheken wie verwenden: csv-writer. Hier ist ein Beispiel für die Verwendung gemäß unserem Beispiel:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
const Erstellen Sie einen CsvWriter. erfordern(„CSV-Writer“).ObjektCsvWriter erstellen;

//Erstellen Sie einen CSV-Writer
const csvWriter = CsvWriter erstellen({
  Weg: „daraz_products.csv“, // Geben Sie den Dateipfad an
  Kopfzeile: [
    { id: 'Produktseiten-URL', Titel: 'Produktseiten-URL' },
    { id: „Vorschaubild“, Titel: „URL des Miniaturbilds“ },
    { id: ‚Titel‘, Titel: 'Titel' },
    { id: 'Preis', Titel: 'Preis' },
    { id: „Keine Bewertungen“, Titel: 'Anzahl der Bewertungen' },
    { id: 'Standort', Titel: 'Standort' },
  ],
});

//Daten in die CSV-Datei schreiben
async Funktion Speichern in CSV(die Datenerfassung) {
  – warten auf Sie! csvWriter.Datensätze schreiben(Daten);
}

In diesem Beispiel haben wir einen CSV-Writer mit Headern erstellt, die den von uns gescrapten Feldern entsprechen: „productPageUrl“, „thumbnailImage“, „title“, „price“, „noOfReviews“ und „location“. Sie können dann den saveToCsv Funktion zum Speichern Ihrer Daten als CSV-Datei.

Einbinden von SQLite-Datenbanken zur Datenspeicherung

SQLite ist eine leichte, serverlose und in sich geschlossene SQL-Datenbank-Engine, die sich ideal zum Einbetten in Anwendungen eignet. Sie bietet eine zuverlässige Möglichkeit, strukturierte Daten zu speichern. Um SQLite-Datenbanken in Ihre Web-Scraping-Anwendung zur Datenspeicherung zu integrieren, können Sie Folgendes verwenden: sqlite3 Bibliothek. So können wir sie in unserem Beispiel verwenden:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
const sqlite3 = erfordern('sqlite3').ausführlich();

//Öffnen Sie eine SQLite-Datenbank
const db = neu sqlite3.Database(„daraz_products.db“); // Datenbankdatei angeben

//Erstellen Sie eine Tabelle zum Speichern der Daten
db.Serialisierung(() => {
  db.Lauf(`
    Tabelle erstellen, wenn keine Produkte vorhanden sind (
      ID INTEGER PRIMARY KEY AUTOINCREMENT,
      Produktseiten-URL-Text,
      Miniaturbild-Text,
      Titel TEXT,
      Preis TEXT,
      noOfReviews TEXT,
      Standort TEXT
    )
  `);
});

// Funktion zum Speichern von Daten in der Datenbank
async Funktion InDatenbank speichern(die Datenerfassung) {
  
für (const PRODUKTE of Daten) {
    db.Lauf(
      `
      INSERT INTO products (Produktseiten-URL, Miniaturbild, Titel, Preis, Anzahl der Bewertungen, Standort)
      WERTE (?, ?, ?, ?, ?, ?)
    `,
      [
        Produkt.Produktseiten-URL,
        Produkt.Miniaturansicht,
        Produkt.Titel,
        Produkt.Preis ,
        Produkt.Anzahl der Bewertungen,
        Produkt.Standort,
      ],
      (sich irren) => {
        if (äh) {
          trösten.Fehler(„Fehler beim Einfügen der Daten:“, äh);
        }
      },
    );
  }
}

// Schließen Sie die Datenbankverbindung
db.schließen();

In diesem Beispiel öffnen wir zunächst eine SQLite-Datenbank und erstellen eine Tabelle namens „products“, um die Scraped-Daten zu speichern. Anschließend definieren wir eine Funktion saveToDatabase um Daten in diese Tabelle einzufügen. Denken Sie nach dem Einfügen der Daten daran, die Datenbankverbindung mit db.close().

Darüber hinaus finden Sie hier ein Beispiel, wie Sie diese Datenspeichermethoden in Ihren Web-Scraping-Code integrieren können:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// ... (Bisheriger Code für Web Scraping inklusive neuer Funktionen zum Speichern der gescrapten Daten)

async Funktion mit dem Crawlen beginnen() {
  const Abfrage = 'Uhren für Männer';
  const Gesamtseiten = – warten auf Sie! getTotalPages(Abfrage);

  if (GesamtzahlSeiten > 0) {
    const Ergebnisse = [];

    // Alle verfügbaren Seiten crawlen
    
für (lassen Seite = 1; Seite <= Gesamtseiten; Seite++) {
      const Seitenergebnisse = – warten auf Sie! crawlDarazSeite(Abfrage, Seite);
      Ergebnisse angezeigtdrücken(...Seitenergebnisse);

      // Speichern Sie die Daten in einer CSV-Datei und einer SQLite-Datenbank
      – warten auf Sie! Speichern in CSV(Seitenergebnisse);
      – warten auf Sie! InDatenbank speichern(Seitenergebnisse);
    }
    // Schließen Sie die Datenbankverbindung
    db.schließen();
    // Datensatzlänge drucken
    trösten.Log(Ergebnisse.Länge);
  }
}

mit dem Crawlen beginnen();

In diesem aktualisierten Code saveToCsv Funktion wird aufgerufen, um Daten in einer CSV-Datei zu speichern, und die saveToDatabase Funktion wird aufgerufen, um Daten in einer SQLite-Datenbank zu speichern, nachdem jede Seite gecrawlt wurde. Dadurch wird sichergestellt, dass Ihre Daten während des Scraping-Prozesses effizient gespeichert werden.

Schlussfolgerung

Web Crawling, ein Held im Hintergrund des digitalen Zeitalters, spielt in der florierenden Welt des E-Commerce eine unverzichtbare Rolle. In der Welt des E-Commerce fungiert Web Crawling als stiller Wächter, der unermüdlich die Fülle an Daten sammelt, die diesen digitalen Marktplatz antreiben. E-Commerce-Websites wie Amazon, eBay, Daraz.pk und andere haben unsere Einkaufsgewohnheiten revolutioniert und bieten uns eine riesige Auswahl an Produkten und Dienstleistungen. Diese Plattformen verdanken ihren Erfolg zum Teil dem Web Crawling, das eine entscheidende Rolle dabei spielt, sicherzustellen, dass Produktinformationen, Preise und Trends auf dem neuesten Stand sind.

Die Bedeutung des Web-Crawlings im E-Commerce kann nicht genug betont werden. Es ermöglicht Unternehmen die Echtzeitüberwachung von Preisen, Wettbewerbsanalysen und Bestandsverwaltung. Forscher profitieren von der Durchführung von Marktstudien und dem Gewinn von Einblicken in das Verbraucherverhalten. Ausgestattet mit den richtigen Tools wie der Crawlbase Crawling API und NodeJS können Entwickler leistungsstarke Webcrawler erstellen, um wertvolle Daten zu extrahieren und innovative Lösungen zu erstellen.

Während wir diesen Leitfaden durchgingen, untersuchten wir die Bedeutung der Auswahl einer Ziel-E-Commerce-Website und vertieften uns in die Struktur der Suchseiten von Daraz.pk. Mit einem JavaScript-Crawling-Skript, das von Crawlbase unterstützt wird Crawling API und Datenmanagementstrategien sind Sie nun in der Lage, sich in der E-Commerce-Landschaft zurechtzufinden und ihre Reichtümer zu erschließen. Web Crawling ist Ihr Tor zur Welt der E-Commerce-Intelligenz, wo datengesteuerte Entscheidungen und Innovationen auf Sie warten.

Häufig gestellte Fragen

F: Was ist der Unterschied zwischen Web Crawling und Web Scraping?

Web-Crawling ist der Prozess des systematischen Navigierens auf Websites und Sammelns von Daten von mehreren Seiten. Dabei werden automatisierte Skripte, sogenannte Webcrawler oder Spider, eingesetzt, die Links folgen und Webseiten indizieren.
Auf der anderen Seite, Web Scraping ist die Extraktion spezifischer Daten aus Webseiten. Dabei werden in der Regel bestimmte Elemente wie Produktpreise, -namen oder -bewertungen extrahiert. Web Scraping ist häufig eine Web-Crawling-Komponente, die wertvolle Informationen aus gecrawlten Seiten extrahiert.

F. Warum ist Web-Crawling für E-Commerce-Websites wie Daraz.pk wichtig?

Web-Crawling ist für E-Commerce-Sites wie Daraz.pk von entscheidender Bedeutung, da es ihnen ermöglicht, Preise zu überwachen, die Produktverfügbarkeit zu verfolgen und Marktdaten zu sammeln. Diese Informationen sind entscheidend für wettbewerbsfähige Preisstrategien, Bestandsverwaltung und Trendanalyse. Es hilft Unternehmen auch, über sich ändernde Marktbedingungen auf dem Laufenden zu bleiben.

F. Wie kann ich mit dem Web-Crawling mithilfe von Crawlbase beginnen? Crawling API und NodeJS?

Um mit dem Webcrawling mit Crawlbase und NodeJS zu beginnen, befolgen Sie diese Schritte:

  1. Registrieren Sie sich für ein Crawlbase-Konto und erhalten Sie ein API-Token.
  2. Richten Sie Ihre Entwicklungsumgebung mit NodeJS und den erforderlichen Bibliotheken wie Cheerio und SQLite3 ein.
  3. Schreiben Sie ein JavaScript-Crawling-Skript, das die Crawlbase verwendet Crawling API um Webseiten abzurufen, Daten mit Cheerio zu extrahieren und die Seitennummerierung zu handhaben.
  4. Speichern Sie Ihre Scraped-Daten effizient als CSV-Dateien oder in einer SQLite-Datenbank.

F. Welche Vorteile bietet die Verwendung von Crawlbase? Crawling API?

Die Crawlbase Crawling API bietet mehrere Vorteile, darunter:

Datengenauigkeit und -konsistenz: Es gewährleistet eine genaue und konsistente Datenerfassung.
Skalierbarkeit: Es kann Projekte jeder Größenordnung bewältigen, vom kleinen Crawling bis hin zu groß angelegten Operationen.
Echtzeitdaten: Es bietet Zugriff auf aktuelle Informationen, die für den E-Commerce von entscheidender Bedeutung sind.
Proxy-Verwaltung: Es handhabt Proxys und IP-Rotation effizient, um Anti-Scraping-Abwehrmaßnahmen zu umgehen.
Bequemlichkeit: Es macht den Bau benutzerdefinierter Scraper überflüssig und kümmert sich um technische Feinheiten.
Kosteneffizienz: Es bietet eine kostengünstige Alternative zu internen Scraping-Lösungen mit Pay-as-you-go-Preisen.