Halloween-Special: AliExpress-Suchseiten-Scraping mit Schlüsselwörtern

In diesem Blog geht es um das Scraping von AliExpress-Suchseiten mithilfe von JavaScript. AliExpress ist ein riesiger Marktplatz mit nützlichen Produktinformationen, die für Online-Unternehmen von entscheidender Bedeutung sind. Es ist eine wahre Goldgrube für diejenigen, die Daten für Zwecke wie Produktanalysen und Marktforschung suchen. AliExpress verfügt jedoch über einige starke Abwehrmechanismen. Wenn Sie versuchen, Daten ohne Vorsicht zu extrahieren, werden Sie wahrscheinlich auf Blockaden, Bot-Erkennung und möglicherweise CAPTCHAs stoßen – jene Rätsel, die die automatisierte Datenerfassung stoppen.

Aber keine Sorge! Wir führen Sie durch jeden Schritt und zeigen Ihnen, wie Sie Daten effektiv erfassen und die Hindernisse umgehen, ohne zu viel Zeit und Geld zu investieren. Es ist, als hätten Sie einen freundlichen Tutor an Ihrer Seite, der Ihnen jeden Teil des Prozesses erklärt.

Am Ende dieses Blogs werden Sie besser verstehen, wie Sie Crawling-Werkzeuge um von AliExpress die benötigten Daten zu erhalten, die Ihrem Unternehmen dabei helfen, in der Welt des Online-Shoppings kluge Entscheidungen zu treffen.

Falls Sie Video-Tutorials mögen, haben wir in diesem Blog ein Video-Tutorial erstellt.

Oh, und viel Spaß beim Scrappen dieses Halloween!

Inhaltsverzeichnis

I. So suchen Sie mithilfe von Schlüsselwörtern in AliExpress

II. Projektumfang und -struktur

III. Einrichten Ihrer Umgebung

IV. AliExpress-Suchseiten-Scraping

V. Akzeptieren von Schlüsselwörtern über Postman

VI. Daten im JSON-Format speichern

VII. Fazit

VIII. Häufig gestellte Fragen

I. So suchen Sie mithilfe von Schlüsselwörtern in AliExpress

Die Suche auf der AliExpress-Suchmaschinen-Ergebnisseite (SERP) mit Schlüsselwörtern ist ein unkomplizierter Vorgang. So suchen Sie mit Schlüsselwörtern nach Produkten auf AliExpress:

1. Besuchen Sie AliExpress: Öffnen Sie Ihren Webbrowser und gehen Sie zur AliExpress-Website (www.aliexpress.com).
2. Geben Sie Schlüsselwörter: Auf der AliExpress-Startseite finden Sie oben eine Suchleiste. Geben Sie Ihre gewünschten Schlüsselwörter in diese Suchleiste ein. Diese Schlüsselwörter sollten das gesuchte Produkt beschreiben. Wenn Sie beispielsweise nach „roten Turnschuhen“ suchen, geben Sie einfach „rote Turnschuhe“ in das Suchfeld ein.
3. Klicken Sie auf „Suchen“: Nachdem Sie Ihre Schlüsselwörter eingegeben haben, klicken Sie auf die Schaltfläche „Suchen“ oder drücken Sie die Eingabetaste auf Ihrer Tastatur. AliExpress verarbeitet dann Ihre Suchanfrage.
4. Suchergebnisse durchsuchen: Die AliExpress SERP zeigt eine Liste mit Produkten an, die Ihren Schlüsselwörtern entsprechen. Sie können durch die Suchergebnisse scrollen, um verschiedene Produkte zu entdecken. Die Ergebnisse enthalten Bilder, Produkttitel, Preise, Verkäuferbewertungen und andere relevante Informationen.

Das Durchsuchen einzelner Produkte auf AliExpress ist ein Kinderspiel. Wenn Sie jedoch vor der entmutigenden Aufgabe stehen, Tausende von Schlüsselwörtern zu durchforsten und Daten aus den Suchergebnissen zu extrahieren, kann die Sache recht mühsam werden. Wie bewältigen Sie diese Herausforderung? Wie können Sie Produktinformationen von AliExpress in kürzester Zeit extrahieren? Die Lösung liegt nur einen Scrollvorgang entfernt, also lesen Sie weiter, um die Geheimnisse zu lüften.

II. Projektumfang und -struktur

Unser Ziel ist es, Ihren Prozess der Produktsuche bei AliExpress zu vereinfachen und zu skalieren, die Ergebnisse zu scrapen und sie zur Verwendung zu speichern. Egal, ob Sie Daten für Analysezwecke, Marktforschung oder Preisstrategien benötigen. Das Projekt ermöglicht Ihnen die Eingabe von Schlüsselwörtern, die dann in gültige URLs für die Suchmaschinenergebnisseite (SERP) von AliExpress umgewandelt werden. Diese URLs werden dann für effizientes Web Scraping an die Crawlbase-API weitergeleitet.

Um dies zu erreichen, verwenden wir Postman, um Benutzereingaben zu akzeptieren, JavaScript in Verbindung mit Bun (JavaScript Runtime), das Express-Paket und schließlich die Crawlbase Crawling API um AliExpress zu crawlen und zu scrapen. Dieser Ansatz gewährleistet einen nahtlosen Datenabruf und minimiert gleichzeitig das Risiko, während des Scraping-Prozesses blockiert zu werden.

Nachfolgend finden Sie eine vereinfachte Darstellung der Projektstruktur.

III. Einrichten Ihrer Umgebung

Sie haben also Ihre Schlüsselwörter vorbereitet und sind bereit, kopfüber in das Reich der AliExpress-Daten einzutauchen. Aber bevor wir mit unserem Web Scraping-Abenteuer fortfahren, müssen wir uns um ein wenig Organisation kümmern – wir müssen unsere Umgebung einrichten. Dies ist eine wichtige Vorbereitungsarbeit, um eine reibungslose Reise zu gewährleisten.

1. Erwerben Sie Ihr Crawlbase JavaScript-Token

Um zu beginnen, müssen wir ein kostenloses Crawlbase-Konto und erwerben Sie eine JavaScript-Token. Dieses Token ist für die effiziente Datenerfassung von AliExpress-Seiten erforderlich. Headless-Browser-Infrastruktur und ein spezialisierter Crawling API Daten-Scraper, speziell für AliExpress-SERPs entwickelt.

2. Einrichten Ihrer JavaScript-Umgebung

Jetzt, da Sie das JavaScript-Token sicher im Griff haben, ist es an der Zeit, die Bühne für unsere Programmierreise zu bereiten. Beginnen Sie mit der Erstellung eines neuen Projektverzeichnisses für Ihre Scraping-Anwendung. In diesem Beispiel erstellen wir einen Ordner mit dem Namen „Crawlbase“.

mkrdir Crawlbase

3. Die Kraft des Brötchens nutzen

In diesem Projekt nutzen wir die Kraft von gut, daher ist es wichtig, sicherzustellen, dass Sie Bun richtig installiert haben. Bun ist ein vielseitiges All-in-One-Toolkit, das auf JavaScript- und TypeScript-Anwendungen zugeschnitten ist.

Das Herzstück von Bun ist die Bun-Runtime, eine leistungsstarke JavaScript-Runtime, die sorgfältig entwickelt wurde, um Node.js zu ersetzen. Was sie auszeichnet, ist ihre Implementierung in der Programmiersprache Zig und ihre Nutzung von JavaScriptCore im Hintergrund. Diese Faktoren wirken harmonisch zusammen, um Startzeiten und Speicherverbrauch deutlich zu reduzieren, was sie zu einem bahnbrechenden Tool für Ihre Entwicklungs- und Web Scraping-Anforderungen macht.

Führen Sie die folgende Zeile aus:

cd Crawlbase und Bun-Init

Mit diesem Befehl wird ein neues Projekt mit Bun initialisiert. Wenn Sie bun init In Ihrer Befehlszeile oder Ihrem Terminal richtet es die grundlegende Struktur und Konfiguration für Ihr Web Scraping-Projekt ein. Dies kann das Erstellen von Verzeichnissen und Dateien umfassen, die für die ordnungsgemäße Funktion Ihres Projekts erforderlich sind.

4. Crawlbase JavaScript-Bibliothek und Express

Wir werden zwei wichtige Bibliotheken vorstellen: Crawlbase und Express. Die Crawlbase JavaScript-Bibliothek ist in diesem Zusammenhang ein absolutes Juwel, das es uns ermöglicht, die Crawling API in unser JavaScript-Projekt und Express ist ein beliebtes Web-Anwendungs-Framework, das wir zum Erstellen unseres Scraping-Servers verwenden werden.

Um diese wichtigen Bibliotheken zu Ihrem Projekt hinzuzufügen, führen Sie einfach den folgenden Befehl in Ihrem Terminal aus:

Brötchen hinzufügen Crawlbase Express

Mit der Crawlbase-Bibliothek und Express im Mix sind Sie auf dem besten Weg, das volle Potenzial der Crawling API und erstellen eine robuste Scraping-Anwendung. Wir machen Fortschritte, also bleiben Sie dran, während wir bei diesem spannenden Projekt weiter vorankommen.

IV. Ergebnisse des Scrapings von AliExpress-Suchseiten

Nachdem die Entwicklungsumgebung nun vollständig eingerichtet ist, können wir uns nun mit der Kernfunktion unseres Codes befassen. Sie können den folgenden Codeblock kopieren und einfügen und ihn anhand der folgenden Erklärung verstehen.

const ausdrücken = erfordern('äußern'); // Importieren Sie das Modul „Express“
const { CrawlingAPI } = erfordern(„Crawlbase“); // Importieren Sie das Modul 'crwalbase' für Crawling API
const fs = erfordern('fs'); // Importieren Sie das Modul „fs“

// Crawlbase wird initialisiert Crawling API um das HTML zu crawlen
const API = neu CrawlingAPI({ Zeichen: „Crawlbase_JS_Token“ }); // Ersetzen Sie es durch Ihr Crawlbase JS-Token

// Haupt-App
const app = express();
const PORT = Prozess.env.PORT || 3000;

App.bekommen('/scrape-produkte', async (erf, res) => {
  versuchen {
    const Antwort = – warten auf Sie! api.bekommen(
      `https://aliexpress.com/w/wholesale-${req.query.keywords.split('').verbinden('-')}.html`,
      {
        Schaber: 'aliexpress-serp',
      },
    );

    if (Antwort.Statuscode === 200) {
      const scrapeProducts = Antwort.JSON.Körper;
      trösten.Log(„Produkte scrapen:“, ScrapeProdukte);

      // Antworten mit Scraped JSON
      res.Status(200).senden(Produkte abkratzen);
    } sonst {
      werfen neu Fehler(`API-Anforderung fehlgeschlagen mit Status: ${response.statusCode}`);
    }
  } Fang (Fehler) {
    trösten.Fehler(`API-Aufruf fehlgeschlagen: ${Fehlernachricht}`);
    Rückkehr res.Status(500).senden({ Status: 'Fehlgeschlagen', msg: „Daten nicht gespeichert“ });
  }
});

App.hören(PORT, () => trösten.Log(`Server läuft auf Port ${PORT}`));

1. Wir beginnen mit dem Import der notwendigen Module: express, CrawlingAPI von Crawlbase und fs für Dateisystemoperationen.
2. Wir initialisieren die Crawlbase Crawling API mit Ihrem Crawlbase JavaScript-Token. Dieses Token gewährt Zugriff auf die Crawlbase-Dienste.
3. Eine Express-App wird erstellt und wir geben die Portnummer für den Server an. Wenn in den Umgebungsvariablen nichts anderes definiert ist, wird standardmäßig Port 3000 verwendet.
4. Wir definieren eine Route, „/scrape-products“, mit app.get. Diese Route wartet auf GET-Anfragen und ist für den Web-Scraping-Prozess verantwortlich.
5. Innerhalb dieser Route verwenden wir api.get um den HTML-Inhalt von einer AliExpress-URL anzufordern, die dynamisch basierend auf den Suchbegriffen des Benutzers generiert wird. Wir ersetzen Leerzeichen in den Schlüsselwörtern durch Bindestriche, um die entsprechende URL-Struktur zu erstellen.
6. Wir geben den Scraper „aliexpress-serp“ an, um Crawlbase anzuweisen, den AliExpress-SERP-Scraper für diese bestimmte URL zu verwenden.
7. Wenn die Antwort der API den Statuscode 200 hat (was auf Erfolg hindeutet), extrahieren wir die gescrapten Produktdaten und protokollieren sie in der Konsole. Die gescrapten Daten werden dann als JSON-Antwort an den Client zurückgesendet.
8. Wenn die API-Antwort einen anderen Statuscode hat, wird ein Fehler mit einer Meldung ausgegeben, die den Fehlerstatus angibt.
9. Im Falle von Fehlern oder Ausnahmen behandeln wir diese, indem wir eine Fehlermeldung protokollieren und eine 500 Internal Server Error-Antwort mit einer Meldung senden, die angibt, dass die Daten nicht gespeichert wurden.
10. Schließlich starten wir die Express-App und sie beginnt, auf dem angegebenen Port zu lauschen. In der Konsole wird eine Meldung angezeigt, die bestätigt, dass der Server betriebsbereit ist.

Um die App auszuführen, führen Sie einfach den folgenden Befehl aus:

bun index.js

Der Server ist einsatzbereit:

Dieser Code richtet einen funktionsfähigen Webserver ein, der Produktdaten aus AliExpress-Suchergebnissen anhand benutzerdefinierter Schlüsselwörter extrahieren kann. Er verwendet die Crawlbase-Bibliothek und Express, um einen einfachen API-Endpunkt für Web Scraping bereitzustellen, wodurch Ihr Projekt noch dynamischer und interaktiver wird.

Wie gibt ein Benutzer die Schlüsselwörter nun genau ein? Das finden wir im nächsten Abschnitt des Blogs heraus.

V. Akzeptieren von Schlüsselwörtern über Postman

Nachdem wir unseren Web Scraping Server eingerichtet haben, um Daten aus den AliExpress-Suchergebnissen zu extrahieren, ist es an der Zeit, ihn mit Postman, ein beliebtes und intuitives API-Testtool.

In diesem Abschnitt zeigen wir Ihnen, wie Sie mit Postman Keyword-Abfragen an unsere /scrape-products Route und erhalte die Scraped-Daten. Denken Sie daran, dass Sie für diesen Test beliebige Schlüsselwörter verwenden können. In unserem Beispiel suchen wir auf AliExpress nach „Halloween-Kostümen“.

1. Öffnen Sie Postman: Wenn Sie es noch nicht getan haben, Postman herunterladen und installieren, und starten Sie es.
2. Wählen Sie den Anfragetyp aus: Wählen Sie in Postman den Typ der HTTP-Anfrage aus, die Sie stellen möchten. In unserem Fall wählen wir „GET“, da wir Daten abrufen.
3. Geben Sie die URL ein: Geben Sie im URL-Feld den Endpunkt für Ihre Scraping-Route ein. Vorausgesetzt, Ihr Server läuft lokal auf Port 3000, wäre das etwa so: http://localhost:3000/scrape-products. Stellen Sie sicher, dass Sie die URL entsprechend Ihrem Setup anpassen.

1. Fügen Sie Schlüsselwörter als Abfrageparameter hinzu: Um Schlüsselwörter für Ihre Suche bereitzustellen, fügen Sie sie als Abfrageparameter ein. In Postman können Sie diese Parameter zur Anforderungs-URL hinzufügen. Für unser Beispiel fügen wir hinzu: keywords als Parameter mit dem Wert „Halloween-Kostüme“. In der URL sieht das dann ungefähr so ​​aus: http://localhost:3000/scrape-products?keywords=Halloween%20costumes.

2. Senden Sie die Anfrage: Klicken Sie in Postman auf die Schaltfläche „Senden“, um Ihre Anfrage abzuschicken. Ihr Server antwortet, indem er die gescrapten Daten zurücksendet.

3. Sehen Sie sich die Antwort an: Postman zeigt die Antwort im unteren Bereich an. Sie sollten die von AliExpress extrahierten Daten sehen, die je nach Konfiguration Ihres Servers im JSON-Format oder einem anderen Format vorliegen können.

{
  "Produkte": [
    {
      „Titel“: "Gruselige rote Augen für Kinder, die ein- und ausblenden, Phantom Sensenmann, im Dunkeln leuchtender Kostümanzug, Cosplay, Kinder, Halloween, Karnevalsparty",
      "Preis": {
        "aktuell": "12.96 €"
      },
      "URL": "https://www.aliexpress.com/item/1005005690275912.html?algo_pvid=75293079-e13c-4c40-9e48-9607bc2bf4c5&algo_exp_id=75293079-e13c-4c40-9e48-9607bc2bf4c5-0&pdp_npi=4%40dis%21EUR%2139.57%2112.96%21%21%21298.19%21%21%402101eab016975503265842239eecf4%2112000034022392308%21sea%21EE%210%21AB&curPageLogUid=6KgfHocT5Ou1",
      "Bild": "https://ae04.alicdn.com/kf/H550b1b56986e4cb3a986071c5b7d3cb6x/Child-Creepy-Red-Eyes-Fade-In-And-Out-Phantom-Grim-Reaper-Glow-In-The-Dark-Costume.jpeg_220x220xz.jpeg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 600,
      "Bewertungswert": 4.9,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": „Memune Kostümladen“,
        "storeLink": „https://www.aliexpress.com/store/1102649882“
      }
    },
    {
      „Titel“: "Wednesday Addams Cosplay-Kostüm für Mädchen, langärmelig, Fantasie, Frühling, Herbst, Partykleider, Karneval, Ostern, Halloween-Kostüme, 4–12 Jahre",
      "Preis": {
        "aktuell": "0.48 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/H550b1b56986e4cb3a986071c5b7d3cb6x/Child-Creepy-Red-Eyes-Fade-In-And-Out-Phantom-Grim-Reaper-Glow-In-The-Dark-Costume.jpeg_220x220xz.jpeg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 1000,
      "Bewertungswert": 4.5,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": "Shop1103029270 Shop",
        "storeLink": „https://www.aliexpress.com/store/1103029270“
      }
    },
    {
      „Titel“: "Gruselige Halloween-Kostüme mit Maske, Handschuhen, Totenkopf, Skelett, Monster, Teufel, Geist, Kleidung, Robe für Erwachsene und Kinder",
      "Preis": {
        "aktuell": "0.48 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/Sca2e93c8cc404dad8f96188d46ca7be71/Wednesday-Addams-Cosplay-Girl-Costume-Long-Sleeve-Fantasy-Spring-Autumn-Party-Dresses-Carnival-Easter-Halloween-Costumes.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 700,
      "Bewertungswert": 4,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": "Shop1102854162 Shop",
        "storeLink": „https://www.aliexpress.com/store/1102854162“
      }
    },
    {
      „Titel“: "Kinder Cosplay Film Muskel Marvel Kostüme Jungen Mädchen Spiderman Superhelden Ganzkörperanzüge für Karneval Halloween Kostüme Party",
      "Preis": {
        "aktuell": "4.31 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/Sb650edf7a99e4d4dacc1bba333f7a0a3T/Halloween-Scary-Costumes-With-Mask-Gloves-Skull-Skeleton-Monster-Devil-Ghost-Clothes-Robe-For-Adult-Kids.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 1000,
      "Bewertungswert": 4.8,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": "Anime Planet Store",
        "storeLink": „https://www.aliexpress.com/store/1102884865“
      }
    },
    {
      „Titel“: "ET-Aliens Aufblasbares Kostüm Gruseliges Monster Cosplay Für Erwachsene Kinder Thanksgiving Weihnachtsfeier Festival Bühne Kinderkleidung",
      "Preis": {
        "aktuell": "17.94 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/S0a706403723046bd951347d36955efe0v/Kids-Cosplay-Movie-Muscle-Marvel-Costumes-Boys-Girl-Spiderman-Superhero-Body-Suits-for-Carnival-Halloween-Costumes.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 2000,
      "Bewertungswert": 4.8,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": "BestCostumes-Shop",
        "storeLink": „https://www.aliexpress.com/store/1102661276“
      }
    },
    {
      „Titel“: „Wednesday Addams Cosplay Kostüm für Mädchen 2023 Neue Vestidos für Kinder Karneval Ostern Halloween Party Kostüme für 3-12 Jahre Hot“,
      "Preis": {
        "aktuell": "21.94 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/S4cbfda36b907494d8ecde33b5d278552J/ET-Aliens-Inflatable-Costume-Scary-Monster-Cosplay-For-Adult-Kids-Thanksgiving-Christmas-Party-Festival-Stage-Children.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 5000,
      "Bewertungswert": 4.6,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": „YOFEEL-Shop“,
        "storeLink": „https://www.aliexpress.com/store/1102520815“
      }
    },
    {
      „Titel“: "Kostüm für Kinder, im Dunkeln leuchtend, Sensenmann, Phantom, gruseliges Kostüm für Halloween, Mottoparty",
      "Preis": {
        "aktuell": "12.16 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/S664d37c24b96431c888bd0f5b6f0eb686/Wednesday-Addams-Cosplay-For-Girl-Costume-2023-New-Vestidos-For-Kids-Carnival-Easter-Halloween-Party-Costumes.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 279,
      "Bewertungswert": 4.9,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": „Memune Kostümladen“,
        "storeLink": „https://www.aliexpress.com/store/1102649882“
      }
    },
    {
      „Titel“: "Halloween-Geisterhaut-Kostüm Sensenmann-Kostüm Gruselige Skelett-Strumpfhose Schattendämon-Bodysuit-Kostüm für Kinder-Anziehparty",
      "Preis": {
        "aktuell": "5.1 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/S75de442a4e194c34b8c0048fe0fddafao/Child-Glow-In-The-Dark-Grim-Reaper-Phantom-Scary-Kids-Fancy-Dress-Costume-Halloween-Theme-Party.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 500,
      "Bewertungswert": 4.7,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": "Anime Planet Store",
        "storeLink": „https://www.aliexpress.com/store/1102884865“
      }
    },
    {
      „Titel“: „Mittwochskleid für Mädchen im Alter von 2–12 Jahren, Halloween, langärmeliges Prinzessinnenkostüm, Frühling/Herbst, Alltags- und Freizeitoutfits für Kinder“,
      "Preis": {
        "aktuell": "6.46 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/S315f46af94e44b70af60867c608881baQ/Halloween-Ghost-Skin-Costume-Grim-Reaper-Costume-Scary-Skeleton-Tights-Shadow-Demon-Bodysuit-Costume-for-Kids.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "",
      "verkaufteAnzahl": 900,
      "Bewertungswert": 4.4,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": „CYD Mart-Laden“,
        "storeLink": „https://www.aliexpress.com/store/1102771911“
      }
    },
    {
      „Titel“: "Halloween-Kostüm für Neugeborene, Kürbis-Strampler + Mütze + Socken, Set, Babykleidung, Halloween-Kostüm, Baby, Mädchen, Junge, süßer Kürbis-Overall",
      "Preis": {
        "aktuell": "6.9 €"
      },
      "URL": „https:“,
      "Bild": "https://ae04.alicdn.com/kf/S00754ee80f6947ada0531000241dc0a7q/Wednesday-Dress-For-Girl-2-12-Yrs-Halloween-Long-Sleeve-Princess-Costume-Spring-Autumn-Kids-Daily.jpg_220x220xz.jpg_.webp",
      "Versandnachricht": "Kostenloser Versand ab 10 €",
      "verkaufteAnzahl": 178,
      "Bewertungswert": 4.9,
      "Bewertungslink": "",
      "Angaben zum Verkäufer": {
        "Geschäftsname": "GeForest-Laden",
        "storeLink": „https://www.aliexpress.com/store/5380138“
      }
    }
  ],
  "verwandteSuchen": [],
  "verwandteKategorien": [
    {
      „Titel“: „Neuheit & Sonderanwendung“,
      "Verknüpfung": „https:“
    },
    {
      „Titel“: "Mutter & Kinder",
      "Verknüpfung": „https:“
    },
    {
      „Titel“: "Haus & Garten",
      "Verknüpfung": „https:“
    },
    {
      „Titel“: "Spielzeug & Hobbys",
      "Verknüpfung": „https:“
    }
  ]
}

Das ist alles! Sie haben Postman erfolgreich verwendet, um Schlüsselwörter an Ihren Web Scraping-Server zu senden und die Scraping-Daten als Antwort erhalten. Denken Sie daran, dass Sie „Halloween-Kostüme“ durch beliebige Schlüsselwörter ersetzen können, nach denen Sie auf AliExpress suchen möchten. Dieser Vorgang demonstriert die dynamische Natur Ihrer Web Scraping-Anwendung und macht sie an verschiedene Suchanfragen anpassbar.

VI. Speichern der Daten im JSON-Format

Auf unserem bisherigen Weg zum Scraping der AliExpress-Suchergebnisse haben wir unseren Web-Scraping-Server erfolgreich eingerichtet und ihn mit verschiedenen Schlüsselwörtern mithilfe von Postman getestet. Jetzt ist es an der Zeit, unser Projekt weiter zu verbessern, indem wir eine Funktion zum Speichern der Scraping-Daten in einer JSON-Datei hinzufügen. Dieser Schritt ist unglaublich wertvoll, da Sie damit die extrahierten Daten speichern und später analysieren können.

Wir haben eine entscheidende Ergänzung eingeführt zum /scrape-products Route in unserem Code. Diese Ergänzung stellt sicher, dass die von uns gesammelten Daten nicht nur als Antwort gesendet, sondern auch in einer strukturierten JSON-Datei gespeichert werden. Lassen Sie uns den Code auswerten.

// Speichern der gescrapten Produkte in einer JSON-Datei
fs.SchreibeFileSync(„AliExpressProducts.json“, JSON.stringifizieren({ scrapeProducts }, null, 2));

• Wir verwenden das fs-Modul, das wir zuvor importiert haben, um Daten in eine Datei zu schreiben. In diesem Fall erstellen wir eine neue Datei mit dem Namen „AliExpressProducts.json“ im aktuellen Arbeitsverzeichnis.
• JSON.stringify({ scrapeProducts }, null, 2) konvertiert unsere Scraped-Daten (in der scrapeProducts Variable) in eine JSON-formatierte Zeichenfolge. Die Argumente null, 2 dienen zum hübschen Drucken, bei dem Einrückungen zur besseren Lesbarkeit hinzugefügt werden.
• Die fs.writeFileSync Die Methode schreibt dann diesen JSON-String in die angegebene Datei.

Nachfolgend finden Sie den vollständigen Code unseres Projekts:

const ausdrücken = erfordern('äußern'); // Importieren Sie das Modul „Express“
const { CrawlingAPI } = erfordern(„Crawlbase“); // Importieren Sie das Modul 'crwalbase' für Crawling API
const fs = erfordern('fs'); // Importieren Sie das Modul „fs“
// Crawlbase wird initialisiert Crawling API um das HTML zu crawlen
const API = neu CrawlingAPI({ Zeichen: „Crawlbase_JS_Token“ }); // Ersetzen Sie es durch Ihr Crawlbase JS-Token
// Haupt-App
const app = express();
const PORT = Prozess.env.PORT || 3000;
App.bekommen('/scrape-produkte', async (erf, res) => {
  versuchen {
    const Antwort = – warten auf Sie! api.bekommen(
      `https://aliexpress.com/w/wholesale-${req.query.keywords.split('').verbinden('-')}.html`,
      {
        Schaber: 'aliexpress-serp',
      },
    );
    if (Antwort.Statuscode === 200) {
      const scrapeProducts = Antwort.JSON.Körper;
      trösten.Log(„Produkte scrapen:“, ScrapeProdukte);
      // Speichern der gescrapten Produkte in einer JSON-Datei
      fs.SchreibeFileSync(„AliExpressProducts.json“, JSON.stringifizieren({ scrapeProducts }, null, 2));
      // Antworten mit Scraped JSON
      res.Status(200).senden(Produkte abkratzen);
    } sonst {
      werfen neu Fehler(`API-Anforderung fehlgeschlagen mit Status: ${response.statusCode}`);
    }
  } Fang (Fehler) {
    trösten.Fehler(`API-Aufruf fehlgeschlagen: ${Fehlernachricht}`);
    Rückkehr res.Status(500).senden({ Status: 'Fehlgeschlagen', msg: „Daten nicht gespeichert“ });
  }
});
App.hören(PORT, () => trösten.Log(`Server läuft auf Port ${PORT}`));

Mit dieser Ergänzung sind die Scraped-Daten nicht nur in Echtzeit-Antworten verfügbar, sondern werden auch in einer strukturierten JSON-Datei für die zukünftige Verwendung gespeichert. Dies ist ein entscheidender Schritt, um sicherzustellen, dass Sie die von AliExpress gesammelten Daten effizient analysieren, verarbeiten und visualisieren können.

VII. Fazit

Eines der bemerkenswerten Dinge an dem Code, den wir durchgegangen sind, ist, dass er nicht nur zu Demonstrationszwecken dient – ​​er ist so konzipiert, dass Sie ihn kopieren, einfügen und für Ihre eigenen Web Scraping-Projekte anpassen können. Egal, ob Sie AliExpress scrapen oder andere Web Scraping-Vorhaben erkunden, dieser Code kann als solide Grundlage dienen.

Hier sind einige wichtige Punkte, die es zu beachten gilt:

Einfache Anwendung: Der Code ist leicht zugänglich und Sie können ihn ohne Einschränkungen kopieren.

Anpassungsfähigkeit: Sie können den Code gerne an Ihren spezifischen Anwendungsfall anpassen. Möchten Sie Daten von einer anderen Website scrapen? Sie können die URL ändern und die Scraping-Logik entsprechend anpassen.

Keyword-Flexibilität: Obwohl wir „Halloween-Kostüme“ als Beispiel verwendet haben, können Sie es durch beliebige Suchbegriffe ersetzen, die Ihren Anforderungen entsprechen. Diese Flexibilität ermöglicht es Ihnen, jedes Produkt oder jeden Inhalt anzusprechen, an dem Sie interessiert sind.

Datenspeicher: Der Code enthält Funktionen zum Speichern von Scraped-Daten in eine JSON-Datei. Sie können den Dateinamen, das Format oder den Speicherort Ihren Wünschen entsprechend anpassen.

Integration: Dieser Code kann in Ihre bestehenden Projekte integriert oder als eigenständige Web Scraping-Anwendung verwendet werden. Er ist vielseitig und an Ihre Anforderungen anpassbar.

Lernen und Erkunden: Auch wenn Sie neu im Web Scraping sind, dient Ihnen dieser Code als Lerntool. Indem Sie ihn untersuchen und damit experimentieren, können Sie wertvolle Einblicke in Web Scraping-Techniken gewinnen.

Wenn Sie das Scraping von Aliexpress mit Python erlernen möchten, finden Sie hier eine umfassende Anleitung:

📜 AliExpress mit Python scrapen
Und bevor Sie gehen, habe ich hier noch ein paar Links für Sie, damit Sie sie lesen und beim Scraping von Daten erfolgreich sein können.

📜 So scrapen Sie Amazon-Suchseiten
📜 So scrapen Sie Walmart-Suchseiten

Weitere Anleitungen zum Scraping im E-Commerce finden Sie in unseren Tutorials zum Scraping von Produktdaten aus Walmart, eBay und Amazon.

Kopieren Sie also den Code, experimentieren Sie damit und passen Sie ihn Ihren individuellen Anforderungen an. Er ist Ihr Tor zur Welt des Web Scraping und die Möglichkeiten sind nur durch Ihre Vorstellungskraft begrenzt. Egal, ob Sie E-Commerce-Daten, Forschung oder ein anderes datengesteuertes Projekt verfolgen, dieser Code kann Ihr zuverlässiger Ausgangspunkt sein.

Viel Spaß beim Scrappen dieses Halloween!

VIII. Häufig gestellte Fragen

F. Warum sollte man AliExpress als Datenquelle für Web Scraping wählen?

AliExpress ist ein erstklassiger Kandidat für Web Scraping, da es eine der weltweit größten E-Commerce-Plattformen ist und eine große und vielfältige Produktpalette von zahlreichen Verkäufern anbietet. Es gibt mehrere überzeugende Gründe, sich für AliExpress zu entscheiden. Einige davon sind die folgenden:

1. Große Produktvielfalt: AliExpress bietet eine erstaunliche Produktpalette, von Elektronik über Mode bis hin zu Haushaltswaren und vielem mehr. Diese Vielfalt macht es zu einer idealen Quelle für Marktforschung und Produktanalyse.

2. Einblicke in die Konkurrenz: Durch die Analyse von AliExpress können Unternehmen wertvolle Einblicke in Markttrends, beliebte Produkte, Preisstrategien und den Wettbewerb gewinnen und so fundierte Entscheidungen treffen.

3. Preisdaten: AliExpress bietet häufig wettbewerbsfähige Preise an und die Erfassung dieser Daten kann Unternehmen bei der Entwicklung ihrer Preisstrategien helfen und ihnen helfen, auf dem Markt wettbewerbsfähig zu bleiben.

4. Informationen zum Lieferanten: Unternehmen können die gesammelten Daten nutzen, um potenzielle Lieferanten zu identifizieren und deren Zuverlässigkeit, Produktqualität und Preisgestaltung zu beurteilen.

5. Benutzerrezensionen und -bewertungen: AliExpress enthält eine Fülle von benutzergenerierten Bewertungen und Beurteilungen. Das Scraping dieser Informationen gibt Aufschluss über die Produktqualität und Kundenzufriedenheit.

6. Produktbilder: Das Scraping von Produktbildern kann für E-Commerce-Unternehmen beim Erstellen von Produktkatalogen und Marketingmaterialien von Vorteil sein.

Zusammenfassend lässt sich sagen, dass AliExpress eine Fülle von Daten bietet, die für E-Commerce-Unternehmen von unschätzbarem Wert sein können, und daher eine erstklassige Wahl für das Web Scraping ist, um einen Wettbewerbsvorteil zu erlangen und fundierte Geschäftsentscheidungen zu treffen.

F: Wie kann ich beim Web Scraping von AliExpress mit der Crawlbase-API Datenschutz und -sicherheit gewährleisten?

Das funktionsreiche Framework von Crawlbase kümmert sich um Datenschutz und Sicherheit beim Web Scraping von AliExpress. Es gewährleistet Ihre Anonymität mit rotierenden Proxys, Benutzeragent-Anpassung und Sitzungsverwaltung. Erweiterte Algorithmen Umgang mit CAPTCHAs, Optimierung der Scraping-Raten, um Serverüberlastungen zu vermeiden, und Anpassung an sich entwickelnde Sicherheitsmaßnahmen, wobei ein hohes Maß an Privatsphäre und Sicherheit gewährleistet bleibt. Mit Crawlbase ist Ihr Scraping auf AliExpress sowohl sicher als auch privat, sodass Sie sich auf Ihre Ziele konzentrieren können, während Sie anonym bleiben und ethische Scraping-Praktiken einhalten.

F: Was sind einige reale Anwendungsgebiete von Web Scraping auf AliExpress?

Das Web Scraping von AliExpress bietet in der realen Welt eine Vielzahl praktischer Anwendungen. Hier sind einige Beispiele, wie Unternehmen die von AliExpress erhaltenen Daten nutzen können:

1. Marktforschung: Mithilfe von Web Scraping können Unternehmen Informationen zu Trendprodukten, Preisstrategien und Kundenpräferenzen sammeln. Diese Daten sind für die Durchführung von Marktforschung und das Treffen fundierter Entscheidungen über Produktangebote und Preise von entscheidender Bedeutung.

2. Wettbewerbsanalyse: Durch das Scraping von Daten von AliExpress können Unternehmen die Preise, Produktlisten und Kundenbewertungen der Konkurrenz überwachen. Diese Wettbewerbsinformationen helfen Unternehmen dabei, ihre Strategien anzupassen, um sich einen Wettbewerbsvorteil zu verschaffen.

3. Preisvergleich: Unternehmen können die gesammelten Daten nutzen, um die Preise von Produkten auf AliExpress mit ihren eigenen Angeboten zu vergleichen. Dies hilft bei der Anpassung der Preisstrategien, um wettbewerbsfähig zu bleiben.

4. SEO und Schlüsselwörter: Das Extrahieren von Schlüsselwörtern und beliebten Suchbegriffen von AliExpress kann Hilfe bei der Optimierung von SEO-Strategien, um sicherzustellen, dass Produkte in Suchmaschinen leicht zu finden sind.

5. Trenderkennung: Mithilfe von Web Scraping lassen sich neue Trends und beliebte Produktkategorien erkennen, sodass Unternehmen ihr Angebot an die Marktnachfrage anpassen können.

6. Marketing-Kampagnen: Daten von AliExpress können zur Entwicklung von Marketingkampagnen beitragen, indem sie auf Produkte abzielen, die derzeit gefragt sind, und indem sie Werbeaktionen an saisonale Trends anpassen.

7. Produktentwicklung: Die Analyse des Kundenfeedbacks und der Kundenpräferenzen kann als Grundlage für die Entwicklung neuer Produkte oder die Verbesserung bestehender Produkte dienen.

Dies sind nur einige Beispiele für reale Anwendungsgebiete des Web Scraping bei AliExpress. Unternehmen aus den verschiedensten Branchen können diese Daten nutzen, um ihre Entscheidungsfindung zu verbessern, ihre Wettbewerbsfähigkeit zu steigern und ihre Betriebsabläufe zu optimieren.

F: Wo finde ich zusätzliche Ressourcen oder Unterstützung zum Web Scraping und zur Verwendung der Crawlbase-API?

Crawlbase bietet eine Fülle zusätzlicher Ressourcen, die Sie bei Ihren Web Scraping-Bemühungen unterstützen und Ihnen helfen, die Crawlbase-API optimal zu nutzen. Weitere Beispiele, Anwendungsfälle und ausführliche Informationen finden Sie auf Crawlbases Knowledge Hub Seite. Dort finden Sie eine wertvolle Sammlung von Inhalten und Anleitungen, mit denen Sie Ihre Web Scraping-Fähigkeiten verbessern und das Potenzial der Crawlbase-API maximieren können. Es ist eine wertvolle Ressource, um Ihr Wissen zu erweitern und sicherzustellen, dass Sie für erfolgreiche Web Scraping-Projekte gut gerüstet sind.