Walmart-Bestseller scrapenTop-Produkte nach Kategorie

Walmarts Bestseller-Seiten listen die meistverkauften Produkte in jeder Abteilung auf, von Elektronik bis Haushaltswaren, und dieses öffentliche Ranking ist eines der saubersten Nachfragesignale im offenen Web. Händler beobachten es, um Trends zu erkennen, Analysten nutzen es zum Studium von Kategorieverschiebungen, und Preistracker orientieren ihre Vergleiche an dem, was aktuell den Kunden präsentiert wird. Die Daten sind direkt auf der Seite: eine Rangordnung, Produkttitel, Preise, Bewertungen und ein Link zu jedem Artikel.

Dieser Leitfaden zeigt Ihnen, wie Sie Walmart-Bestseller scrapen mit JavaScript und Node.js unter Verwendung von cheerio. Sie bauen einen kleinen, lauffähigen Scraper, der eine Walmart-Bestsellerliste über die Crawling API abruft, Rang, Titel, Preis, Bewertung und Link für jedes Produkt analysiert und das Ergebnis als JSON und CSV exportiert. Die gesamte Anleitung beschränkt sich auf öffentliche Produktlistendaten, und der Abschnitt zur Rechtslage am Ende ist kein Standardtext, also lesen Sie ihn, bevor Sie dies auf echtes Volumen anwenden.

Was Sie bauen werden

Ein Node.js-Skript, das eine öffentliche Walmart-Bestseller-Kategorie-URL entgegennimmt, das gerenderte HTML über die Crawling API abruft und einen strukturierten Datensatz für jedes Produkt auf der Liste extrahiert. Wir verwenden die Bestseller-Seite für Elektronik als laufendes Beispiel und ziehen diese Felder pro Artikel:

• Rang die Position in der Bestseller-Reihenfolge, beginnend bei 1.
• Titel der Produktname, zum Beispiel "Apple AirPods with Charging Case (2nd Generation)".
• Preis der auf der Karte angezeigte Preis, wie "$69.00".
• Bewertung der Sternbewertungstext, zum Beispiel "4.6 out of 5 Stars".
• Rezensionen die Anzahl der Rezensionen als Zahl, wenn vorhanden.
• Link die URL zur einzelnen Produktseite.

Warum eine einfache Anfrage bei Walmart scheitert

Wenn Sie eine Walmart-Bestseller-URL mit einem einfachen HTTP-Client abrufen, erhalten Sie selten das Produktraster zurück. Zwei Dinge arbeiten gegen Sie. Erstens rendert Walmart die Listingkarten im Browser mit JavaScript, sodass das anfängliche HTML eine nahezu leere Hülle ist, bis die Skripte der Seite ausgeführt wurden. Zweitens kennzeichnet Walmart automatisierten Traffic aggressiv: Datacenter-IPs und Anfragemuster, die nicht wie ein echter Browser aussehen, werden mit einem CAPTCHA herausgefordert, gedrosselt oder blockiert, bevor sie die gerenderten Produktdaten erreichen.

Ein funktionierender Walmart-Scraper benötigt also zwei Dinge in einer Anfrage: einen Browser, der die Seite tatsächlich rendert, und eine IP, die die Plattform als echten Besucher liest. Das können Sie selbst mit einem Headless-Browser plus einem Pool rotierender Residential-Proxys zusammenstellen, aber diese Teile zusammenzufügen und gesund zu halten, ist der Großteil der Arbeit. Die Crawling API fasst beides in einem einzigen Aufruf zusammen: Sie senden die URL, die Seite wird hinter einer vertrauenswürdigen IP gerendert, und sie gibt fertiges HTML zurück, das Sie mit cheerio analysieren können.

Voraussetzungen

Bevor Sie Code schreiben, müssen einige Dinge vorhanden sein. Keines davon nimmt viel Zeit in Anspruch.

Grundkenntnisse in JavaScript und Node.js. Sie sollten vertraut sein mit dem Schreiben und Ausführen eines Node-Skripts sowie dem Installieren von Paketen mit npm. Wenn Sie neu bei Node sind, bringen Sie die offiziellen Docs und jeder Einsteigerkurs auf das Niveau, das dieses Tutorial voraussetzt.

Node.js 16 oder höher. Überprüfen Sie Ihre Version mit node --version. Falls Sie es nicht haben, installieren Sie es von der Node.js-Website oder über einen Versionsmanager wie nvm.

Ein Crawlbase-Konto und Token. Registrieren Sie sich, öffnen Sie Ihr Dashboard und kopieren Sie Ihr Token von der Konto-Dokumentationsseite. Der kostenlose Tarif gibt Ihnen bis zu 20.000 Anfragen ohne Kreditkarte. Behandeln Sie das Token wie ein Passwort: Es authentifiziert Ihre Anfragen, halten Sie es also aus der Versionskontrolle heraus.

Projekt einrichten

Erstellen Sie einen Projektordner, initialisieren Sie ihn und installieren Sie die zwei Bibliotheken, die der Scraper benötigt.

node --version

mkdir walmart-best-sellers && cd walmart-best-sellers
npm init -y

npm install crawlbase cheerio

Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Node-Client für die Crawling API, und cheerio parst das zurückgegebene HTML mit einer jQuery-artigen API, sodass Sie einzelne Felder per CSS-Selektor herausziehen können. Erstellen Sie eine Datei namens walmart-scraper.js in diesem Ordner und fügen Sie den Code aus den folgenden Schritten hinzu.

Schritt 1: Die gerenderte Bestseller-Seite abrufen

Beginnen Sie damit, die fertige Seite zu laden. Importieren Sie die CrawlingAPI-Klasse, initialisieren Sie sie mit Ihrem Token und fordern Sie die Bestseller-URL an. Den Statuscode vor dem Parsen zu prüfen hält Fehler sichtbar statt still.

const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

const walmartPageURL =
  'https://www.walmart.com/shop/best-sellers/electronics';

api
  .get(walmartPageURL)
  .then((response) => {
    if (response.statusCode === 200) {
      console.log(response.body.slice(0, 500));
    }
  })
  .catch((error) => console.error('API request error:', error));

Führen Sie das Skript mit node walmart-scraper.js aus und Sie sollten echtes Walmart-Produkt-Markup am Anfang des Body sehen, keine abgespeckte Hülle. Das bestätigt, dass das Rendering funktioniert, bevor Sie einen einzigen Selektor schreiben. Um geparste JSON statt HTML zurückzubekommen, übergeben Sie die autoparse-Option, was der schnellste Weg ist, wenn Sie keine benutzerdefinierten Selektoren benötigen.

// Ask the API to parse the page and return JSON
const options = { autoparse: 'true' };

api
  .get(walmartPageURL, options)
  .then((response) => {
    if (response.statusCode === 200) {
      console.log(JSON.parse(response.body));
    }
  })
  .catch((error) => console.error('API request error:', error));

Schritt 2: Jedes Produkt mit cheerio parsen

Mit dem gerenderten HTML laden Sie es in cheerio und durchlaufen die Produktkarten. Walmart legt jeden Bestseller in einem sich wiederholenden Container ab, also wählen Sie jede Karte aus und lesen dann Titel, Preis, Bewertung, Rezensionen und Link von innen. Jedes Feld defensiv auszulesen bewahrt einen fehlenden Wert davor, den Lauf zum Absturz zu bringen, und der Loop-Index liefert den Rang.

const cheerio = require('cheerio');

function parseBestSellers(html) {
  const $ = cheerio.load(html);
  const products = [];

  const containers = $(
    '.sans-serif.mid-gray.relative.flex.flex-column.w-100.hide-child-opacity'
  );

  containers.each((index, element) => {
    const card = $(element);
    const product = { rank: index + 1 };

    // Title
    product.title = card
      .find('[data-automation-id="product-title"]')
      .text()
      .trim();

    // Price: split the currency symbol from the number
    const priceString = card
      .find('[data-automation-id="product-price"] .w_iUH7')
      .text()
      .trim();
    const priceMatch = priceString.match(/([^\d]+)([\d,\.]+)/);
    product.price = priceMatch
      ? `${priceMatch[1].trim()}${priceMatch[2]}`
      : '';

    // Rating and review count share one block
    const ratingText = card
      .find('.flex.items-center.mt2 .w_iUH7')
      .text()
      .trim();
    const rating = ratingText.replace(/\d+\s*reviews/i, '').trim();
    product.rating = rating !== '' ? rating : 'Rating not available';

    const reviewsMatch = ratingText.match(/(\d+)\s*reviews/i);
    product.reviews = reviewsMatch ? parseInt(reviewsMatch[1], 10) : 0;

    // Link to the product page
    const href = card.find('a[link-identifier]').attr('href');
    product.link = href
      ? new URL(href, 'https://www.walmart.com').href
      : '';

    if (product.title) products.push(product);
  });

  return products;
}

Einige Details halten dies der Seite treu. Der Produkttitel kommt vom Attribut data-automation-id="product-title", und der Preis befindet sich im product-price-Block als einzelner String wie "current price $69.00", sodass ein regulärer Ausdruck das Währungssymbol vom numerischen Teil trennt. Der Bewertungsblock enthält sowohl die Sternebewertung als auch die Rezensionsanzahl in einem Textlauf, sodass ein Regex das "N reviews"-Ende entfernt, um die Bewertung zu hinterlassen, und ein zweiter zieht die Rezensionsanzahl als Zahl heraus. Der Link wird aus dem Anker href der Karte gelesen und zu einer absoluten URL aufgelöst, damit er außerhalb der Seite funktioniert.

Schritt 3: Das vollständige Skript mit JSON- und CSV-Export zusammenstellen

Verbinden Sie nun den Abruf und das Parsen in einem lauffähigen Skript und schreiben Sie die Datensätze als JSON und CSV auf die Festplatte. Den Abruf ohne autoparse durchzuführen gibt rohes HTML zurück, das der cheerio-Parser erwartet.

const fs = require('fs');
const { CrawlingAPI } = require('crawlbase');
const cheerio = require('cheerio');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

async function crawl(pageUrl) {
  const response = await api.get(pageUrl);
  if (response.statusCode === 200) return response.body;
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

function toCsv(rows) {
  const headers = ['rank', 'title', 'price', 'rating', 'reviews', 'link'];
  const escape = (value) =>
    `"${String(value).replace(/"/g, '""')}"`;
  const lines = [headers.join(',')];
  for (const row of rows) {
    lines.push(headers.map((h) => escape(row[h])).join(','));
  }
  return lines.join('\n');
}

async function main() {
  const url = 'https://www.walmart.com/shop/best-sellers/electronics';
  const html = await crawl(url);
  if (!html) return;

  const products = parseBestSellers(html);
  fs.writeFileSync('best-sellers.json', JSON.stringify(products, null, 2));
  fs.writeFileSync('best-sellers.csv', toCsv(products));
  console.log(`Saved ${products.length} products to JSON and CSV`);
}

main();

Fügen Sie die parseBestSellers-Funktion aus Schritt 2 in dieselbe Datei ein, damit main sie aufrufen kann. Führen Sie sie mit node walmart-scraper.js aus und Sie erhalten zwei Dateien: best-sellers.json mit den vollständigen strukturierten Datensätzen und best-sellers.csv bereit zum Öffnen in einem Tabellenblatt. Der toCsv-Helfer setzt jedes Feld in Anführungszeichen und verdoppelt eingebettete Anführungszeichen, was hier wichtig ist, weil Produkttitel lang sind und häufig Kommas enthalten.

Wie die Ausgabe aussieht

Die JSON-Datei enthält ein Objekt pro Produkt in Bestseller-Reihenfolge, jeweils mit Rang, Titel, Preis, Bewertung, Rezensionsanzahl und Link.

[
  {
    "rank": 1,
    "title": "Apple AirPods with Charging Case (2nd Generation)",
    "price": "$69.00",
    "rating": "4.6 out of 5 Stars.",
    "reviews": 23387,
    "link": "https://www.walmart.com/ip/Apple-AirPods-with-Charging-Case-2nd-Generation/604342441"
  },
  {
    "rank": 2,
    "title": "SGIN 15.6inch Laptop 4GB DDR4 128GB SSD Windows 11",
    "price": "$259.99",
    "rating": "4.5 out of 5 Stars.",
    "reviews": 2697,
    "link": "https://www.walmart.com/ip/SGIN-15-6inch-Laptop/1044996074"
  }
]

Die CSV spiegelt dieselben Zeilen mit einer Kopfzeile wider, sodass sie direkt in Excel, Google Sheets oder jede Datenpipeline geladen werden kann, die durch Trennzeichen getrennte Dateien liest.

rank,title,price,rating,reviews,link
"1","Apple AirPods with Charging Case (2nd Generation)","$69.00","4.6 out of 5 Stars.","23387","https://www.walmart.com/ip/Apple-AirPods-with-Charging-Case-2nd-Generation/604342441"
"2","SGIN 15.6inch Laptop 4GB DDR4 128GB SSD Windows 11","$259.99","4.5 out of 5 Stars.","2697","https://www.walmart.com/ip/SGIN-15-6inch-Laptop/1044996074"

Über Kategorien skalieren

Eine Kategorie ist ein Demo; ein echter Auftrag durchläuft mehrere Bestseller-Abteilungen. Walmart stellt jede unter /shop/best-sellers/ bereit, sodass Sie eine Liste von Kategorie-Slugs erstellen, jeden über die Crawling API abrufen, mit derselben Funktion parsen und jede Zeile vor dem Export mit ihrer Kategorie markieren können. Da jede Bestseller-Seite dieselbe Kartenstruktur teilt, funktioniert der bereits geschriebene Parser ohne Änderungen für alle.

async function scrapeCategories(categories) {
  const all = [];
  for (const category of categories) {
    const url = `https://www.walmart.com/shop/best-sellers/${category}`;
    const html = await crawl(url);
    if (!html) continue;
    const rows = parseBestSellers(html).map((p) => ({ category, ...p }));
    all.push(...rows);
  }
  return all;
}

scrapeCategories(['electronics', 'toys', 'home']).then((rows) => {
  console.log(`Collected ${rows.length} products across categories`);
});

Dieses Muster lässt sich direkt auf Produktrecherche und Preisvergleichsarbeiten übertragen. Für einen tieferen Blick darauf, wie Ranglisten in Entscheidungen umgewandelt werden, lesen Sie, wie Sie die Produktrecherche im E-Commerce automatisieren, und wenn Sie denselben Ansatz in einer anderen Sprache möchten, behandelt der Leitfaden zum Scrapen von Walmart-Suchergebnissen mit Python die Katalogsuche.

Nicht blockiert bleiben

Auch mit behandeltem Rendering beobachtet Walmart Traffic, der wie ein Scraper aussieht. Einige Gewohnheiten halten einen Lauf gesund und gelten für jedes schwierige kommerzielle Ziel.

• Anfragen zeitlich verteilen. Fügen Sie eine Verzögerung zwischen Kategorie-Abrufen ein, statt Seiten in einer engen Schleife zu hämmern. Anfragen zu verteilen ist der einzige wichtigste Faktor, um unter Walmarts Ratenlimits zu bleiben.
• Auf Rotation setzen. Ein Pool von Residential-IPs verteilt Anfragen über viele echte Benutzeradressen, sodass keine einzelne ein Limit oder ein CAPTCHA auslöst. Die Crawling API übernimmt das für Sie; wenn Sie Ihren eigenen Stack verwenden, ist das der Teil, den Sie richtig machen müssen.
• Statuscodes lesen. Ein Lauf, der beginnt, Herausforderungen oder Nicht-200-Antworten zurückzugeben, signalisiert, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Behandeln Sie das als Signal zum Zurückschalten, nicht als Lärm zum Ignorieren.

Das umfassendere Playbook finden Sie unter Webseiten scrapen ohne blockiert zu werden. Wenn Sie auch eine Bestseller-Liste von einem anderen Marktplatz möchten, überträgt sich dasselbe Abruf-dann-Parse-Muster auf Amazon im Leitfaden, wie Sie Amazon-Bestseller scrapen.

Ist es legal, Walmart zu scrapen?

Ob das Scrapen von Walmart erlaubt ist, hängt von Walmarts Nutzungsbedingungen, Ihrer Rechtsprechung und der Verwendung der Daten ab. Walmarts Bedingungen schränken automatisierten Zugriff ein, sodass Scraping unabhängig von der Sorgfalt Ihrer Tools gegen diese Bedingungen verstoßen kann. Keiner der hier vorgestellten Code ändert das; er lässt lediglich den technischen Teil funktionieren. Lesen Sie Walmarts Nutzungsbedingungen und seine robots.txt und behandeln Sie beides als Grenze dessen, was Sie sammeln.

Einige Regeln, an die es sich zu halten lohnt. Sammeln Sie nur öffentliche Produktdaten: den Rang, Titel, Preis, Bewertung, Rezensionsanzahl und Produktlink, den jeder auf einer Bestseller-Seite ohne Konto sehen kann. Respektieren Sie Walmarts erklärte Ratenerwartungen und halten Sie Ihr Anfragevolumen niedrig genug, dass Sie seine Server nicht belasten. Vermeiden Sie personenbezogene Daten, einschließlich allem, was mit identifizierbaren Rezensenten verbunden ist, über den öffentlichen Rezensionstext und die auf der Seite gezeigten Sternzählungen hinaus. Verteilen Sie keine urheberrechtlich geschützten Medien von Walmart, wie Produktfotografien, als wären sie Ihre eigenen. Wenn Sie die Daten kommerziell weiterverwenden möchten, holen Sie eine Genehmigung oder eine offizielle Vereinbarung ein, anstatt davon auszugehen, dass Schweigen Zustimmung bedeutet.

Für Volumen oder kommerzielle Nutzung betreibt Walmart das Walmart Developer Portal und das Walmart Affiliate-Programm, die autorisierte Produkt- und Katalogdaten mit klaren Nutzungsbedingungen bereitstellen. Das sind die richtigen Werkzeuge, wenn Sie große Mengen, garantierte Strukturen oder kommerzielle Rechte benötigen. Dieser Leitfaden beschränkt sich bewusst auf öffentliche Bestseller und Kategorielistings, weil das die Grenze ist, die die Arbeit vertretbar hält. Er behandelt nicht Inhalte hinter einem Login, Kunden- oder Verkäufer-Personendaten, Bestellverlauf oder Versuche, Authentifizierung oder ein CAPTCHA zu umgehen, das Sie nicht passieren sollten. Wenn Ihr Projekt mehr als öffentliche Listings erfordert, sind Walmarts offizielle APIs oder eine Datenvereinbarung der richtige Weg, nicht ein cleverer Scraper.

Häufig gestellte Fragen

Was sind Walmart-Bestseller?

Walmart-Bestseller sind die am schnellsten verkauften Produkte in einer bestimmten Abteilung in Walmarts Online-Shop, präsentiert als gerankte Rasteransicht. Jede Kategorie, wie Elektronik, Spielzeug oder Haushalt, hat ihre eigene Bestseller-Seite, die die beliebtesten, gefragten Artikel zeigt. Diese Seiten zu beobachten ist eine schnelle Möglichkeit zu sehen, was gerade im Trend liegt und was Käufer kaufen.

Warum gibt eine einfache Anfrage unvollständige Daten von Walmart zurück?

Weil Walmart sein Produktraster clientseitig mit JavaScript rendert und automatisierten Traffic mit CAPTCHAs herausfordert. Eine rohe HTTP-Anfrage von einer Datacenter-IP gibt normalerweise eine leere Hülle oder eine Blockseite zurück statt der Produktkarten. Um eine vollständige Seite zu erhalten, müssen Sie sie hinter einer vertrauenswürdigen IP rendern, was die Crawling API für Sie übernimmt.

Soll ich autoparse verwenden oder meinen eigenen cheerio-Parser schreiben?

Verwenden Sie autoparse, wenn Sie schnell strukturiertes JSON möchten und die Standardfelder Ihre Anforderungen abdecken; übergeben Sie autoparse: 'true' und die API gibt geparste Daten zurück. Schreiben Sie Ihren eigenen cheerio-Parser, wenn Sie volle Kontrolle darüber benötigen, welche Felder und Selektoren Sie extrahieren, wie dieser Leitfaden es macht, damit Sie die Datensätze so formen und Felder wie den Rang genau nach Ihren Wünschen hinzufügen können.

Meine Selektoren geben leere Werte zurück. Was hat sich geändert?

Höchstwahrscheinlich Walmarts Markup. Container-Klassen und generierte Klassennamen wie w_iUH7 ändern sich ohne Vorankündigung, sodass Selektoren, die letzten Monat funktioniert haben, brechen können. Prüfen Sie eine Live-Seite in den Dev Tools Ihres Browsers und aktualisieren Sie die Selektoren. Periodische Selektorpflege ist normal für jeden Produktions-Scraper.

Kann ich persönliche Kundendaten von Walmart scrapen?

Nein, und dieser Leitfaden behandelt das nicht. Konto-Details, Bestellverlauf und alles hinter einem Login sind keine öffentlichen Daten. Login-gesperrte Inhalte, persönliche Daten über Rezensenten hinaus dem öffentlichen Rezensionstext oder die Umgehung von Authentifizierung zu scrapen ist hier nicht im Rahmen und verstößt gegen Walmarts Bedingungen. Für sanktionierten Zugriff ist Walmarts Developer Portal oder eine Datenvereinbarung der richtige Weg.

Wie vermeide ich das Blockiertwerden beim Scrapen von Walmart?

Halten Sie Ihre Anfragerate pro IP niedrig, fügen Sie Verzögerungen zwischen Kategorie-Abrufen hinzu und routen Sie durch rotierende Residential-IPs, sodass keine einzelne Adresse ein Ratenlimit oder ein CAPTCHA auslöst. Die Crawling API verwaltet Rotation, einen vertrauenswürdigen IP-Pool und CAPTCHA-Behandlung für Sie; wenn Sie Ihren eigenen Stack aufbauen, ist das der Teil, in den Sie investieren sollten. Beachten Sie die Statuscodes und treten Sie zurück, wenn Sie anfangen, Herausforderungen zu sehen.

HI

Hamza Ikhlaq

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zum Scraping von Zielseiten, zu Proxys und zur Crawling API schreibt.