Walmart-Bewertungen scrapenBewertungen und Kundenfeedback

Walmart ist einer der größten Online-Händler, und jede öffentliche Produktseite enthält einen Strom von Kundenbewertungen: eine Sternebewertung, einen kurzen Titel, das schriftliche Feedback, den Anzeigenamen des Bewerters und ein Datum. Dieser Text ist ein nützliches Signal für Sentiment-Analysen, Produktrecherchen und Wettbewerbsvergleiche, denn er sagt Ihnen in den eigenen Worten der Käufer, was an einem Produkt funktioniert und was nicht.

Dieser Leitfaden zeigt Ihnen, wie Sie Walmart-Bewertungen mit JavaScript und Node.js sowie cheerio scrapen. Sie erstellen einen kleinen, lauffähigen Scraper, der eine Walmart-Produktseite über die Crawling API abruft, jede Bewertung in einen sauberen Datensatz parsed, die Review-Paginierung durchläuft und die Ergebnisse als JSON und CSV exportiert. Der gesamte Walkthrough beschränkt sich auf öffentlichen Bewertungstext, und der Rechtsabschnitt am Ende ist kein Boilerplate, lesen Sie ihn daher, bevor Sie dies auf ein größeres Volumen anwenden.

Was Sie bauen werden

Ein Node.js-Skript, das eine öffentliche Walmart-Produkt-URL nimmt, das gerenderte HTML über die Crawling API abruft und einen strukturierten Datensatz für jede Bewertung auf der Seite extrahiert. Wir verwenden eine einzelne Produktseite als laufendes Beispiel und ziehen diese Felder pro Bewertung heraus:

• Bewerter der auf der Bewertung angezeigte Name, zum Beispiel "Optimistic" oder "First Time Shopper".
• Bewertung die Sternebewertung, wie Walmart sie anzeigt, z.B. "5 out of 5 stars review".
• Titel die kurze Überschrift, die der Bewerter seiner Rezension gegeben hat.
• Text der schriftliche Feedback-Text der Bewertung.
• Datum das Datum, an dem die Bewertung gepostet wurde, sofern auf der Karte vorhanden.

Warum eine einfache Anfrage bei Walmart scheitert

Wenn Sie eine Walmart-Produkt-URL mit einem einfachen HTTP-Client anfordern, erhalten Sie eine Antwort mit Status 200, aber nur einen Bruchteil der Bewertungsdaten im Body. Zwei Dinge arbeiten gegen Sie. Erstens rendert Walmart Preise, Bewertungen und die Bewertungsliste im Browser mit JavaScript, sodass das initiale HTML unvollständig ist, bis die Skripte der Seite ausgeführt werden. Zweitens erkennt Walmart automatisierten Traffic schnell: Datacenter-IPs und Anfragemuster, die nicht wie ein echter Browser aussehen, werden herausgefordert, begrenzt oder blockiert, bevor sie den gerenderten Inhalt je erreichen.

Ein funktionierender Walmart-Bewertungs-Scraper benötigt also zwei Dinge in einer einzigen Anfrage: einen Browser, der die Seite tatsächlich rendert, und eine IP, die die Plattform als echten Besucher liest. Sie können das selbst zusammenstellen mit einem Headless-Browser plus einem Pool rotierender Wohngebiets-Proxys, aber diese zu verknüpfen und gesund zu halten ist der Großteil der Arbeit. Die Crawling API bündelt beides in einem einzigen Aufruf: Sie senden die URL, sie rendert die Seite hinter einer vertrauenswürdigen IP und gibt fertiges HTML zum Parsen zurück.

Voraussetzungen

Sie benötigen ein paar Dinge, bevor Sie Code schreiben. Keines davon dauert lange.

Grundlegendes JavaScript und Node.js. Sie sollten in der Lage sein, ein Node-Skript zu schreiben und auszuführen sowie Pakete mit npm zu installieren. Wenn Sie neu bei Node sind, finden Sie in den offiziellen Dokumenten und einem Einsteigerkurs das Niveau, das dieses Tutorial voraussetzt. Für einen ausführlicheren Walkthrough lesen Sie unseren Leitfaden zum Erstellen eines Web-Scrapers mit Node.js.

Node.js 16 oder höher. Bestätigen Sie Ihre Version mit node --version. Wenn Sie es nicht haben, installieren Sie es von der Node.js-Website oder über einen Versionsmanager wie nvm.

Ein Crawlbase-Konto und Token. Melden Sie sich an, öffnen Sie Ihr Dashboard und kopieren Sie Ihr Token von der Konto-Dokumentationsseite. Das kostenlose Kontingent gibt Ihnen bis zu 20.000 Anfragen ohne Karte, was mehr als genug zum Mitmachen ist. Behandeln Sie das Token wie ein Passwort: Es authentifiziert Ihre Anfragen, halten Sie es daher aus der Versionskontrolle heraus.

Projekt einrichten

Erstellen Sie einen Projektordner, initialisieren Sie ihn und installieren Sie die zwei Bibliotheken, die der Scraper benötigt.

node --version

mkdir walmart-reviews-scraper && cd walmart-reviews-scraper
npm init -y

npm install crawlbase cheerio

Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Node-Client für die Crawling API, und cheerio parst das zurückgegebene HTML mit einer jQuery-ähnlichen API, sodass Sie einzelne Felder per CSS-Selektor herausziehen können. Wenn Selektoren für Sie neu sind, ist der Primer zu XPath- und CSS-Selektoren ein guter Begleiter.

Schritt 1: Die gerenderte Produktseite abrufen

Beginnen Sie damit, die fertige Seite zu erhalten. Importieren Sie die CrawlingAPI-Klasse, initialisieren Sie sie mit Ihrem Token und fordern Sie die Produkt-URL an. Wir zeigen auf ein einzelnes Walmart-Produkt als Beispiel; jede öffentliche Produktseite mit einem Bewertungsbereich funktioniert. Das Prüfen des Statuscodes vor dem Parsen hält Fehler laut statt still.

const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

const productUrl =
  'https://www.walmart.com/ip/Straight-Talk-Apple-iPhone-14-128GB-Midnight-Prepaid-Smartphone-Locked-to-Straight-Talk/1381920049';

async function crawl(pageUrl) {
  const options = { ajax_wait: 'true', page_wait: 5000 };
  const response = await api.get(pageUrl, options);
  if (response.statusCode === 200) {
    return response.body;
  }
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

crawl(productUrl).then((html) => {
  console.log(html ? html.slice(0, 500) : 'No HTML returned');
});

Die zwei Warte-Optionen sind wichtig für ein clientseitig gerendertes Ziel wie dieses. ajax_wait weist die API an, auf das Fertigstellen asynchroner Inhalte zu warten, und page_wait hält für eine feste Anzahl von Millisekunden nach dem Laden inne, damit spät-rendernde Elemente erscheinen, bevor die Seite erfasst wird. Fünf Sekunden sind ein vernünftiger Einstieg; erhöhen Sie diesen Wert, wenn die Bewertungsliste leer zurückkommt. Führen Sie das Skript mit node scraper.js aus, und Sie sollten echtes Produkt-Markup sehen, keine abgespeckte Hülle. Das bestätigt, dass das Rendering funktioniert, bevor Sie einen einzigen Selektor schreiben.

Schritt 2: Jede Bewertung mit cheerio parsen

Mit gerendetem HTML laden Sie es in cheerio und gehen durch die Bewertungskarten. Walmart legt jede Bewertung in einem sich wiederholenden Block innerhalb des Bewertungsbereichs aus, also wählen Sie jede Karte aus und lesen dann Bewertername, Bewertung, Titel, Text und Datum daraus. Jeden Wert defensiv zu lesen verhindert, dass ein einzelner fehlender Wert den Durchlauf abbricht.

const cheerio = require('cheerio');

function parseReviews(html) {
  const $ = cheerio.load(html);
  const reviews = [];

  $('#item-review-section li.dib').each((_, el) => {
    const card = $(el);
    const rating = card.find('.w_iUH7').text().trim();
    const body = card.find('.lh-copy').text().trim();

    if (!rating && !body) return;

    reviews.push({
      reviewer: card.find('.f7.gray').first().text().trim() || null,
      rating: rating || null,
      title: card.find('.w_kV33.w_Sl3f.w_mvVb.f5.b').text().trim() || null,
      body: body || null,
      date: card.find('.f7.gray.mt1').text().trim() || null,
    });
  });

  return reviews;
}

Ein paar Details machen dies robust. Der Container-Selektor #item-review-section li.dib und die inneren Selektoren .w_iUH7 (Bewertung) und .lh-copy (Bewertungstext) kommen direkt aus dem Live-Walmart-Bewertungs-Markup. Der Bewertername, der Titel und das Datum sitzen in ihren eigenen kleinen Wrappern, jedes wird daher mit seinem eigenen Selektor gelesen. Jedes Feld fällt auf null zurück, wenn sein Element fehlt, was häufig vorkommt, da nicht jede Bewertung einen separaten Titel oder ein sichtbares Datum hat. Das frühe return überspringt alle Listenelemente, die weder eine Bewertung noch Bodytext haben, damit Layout-Platzhalter die Ausgabe nicht verunreinigen.

Schritt 3: Review-Paginierung behandeln

Eine Seite mit Bewertungen ist eine Demo; ein echter Job geht durch die Paginierung. Walmart stellt die Bewertungsseitennummer über einen page-Abfrageparameter in der Produkt-URL bereit, sodass Sie jede Seiten-URL in einer Schleife erstellen, sie über die Crawling API abrufen, mit derselben Funktion parsen und die Zeilen sammeln können. Da jede Bewertungsseite dieselbe Kartenstruktur teilt, funktioniert der bereits geschriebene Parser auf allen Seiten ohne Änderungen.

async function scrapeAllReviews(baseUrl, totalPages) {
  const all = [];
  for (let page = 1; page <= totalPages; page++) {
    const sep = baseUrl.includes('?') ? '&' : '?';
    const url = `${baseUrl}${sep}page=${page}`;
    const html = await crawl(url);
    if (html) all.push(...parseReviews(html));
  }
  return all;
}

Jede Iteration hängt page=N an die Produkt-URL an, ruft die gerenderte Seite ab und verbreitet die geparsten Bewertungen in einem kombinierten Array. Halten Sie totalPages beim Testen konservativ, damit Sie nicht mehr Anfragen als nötig stellen, und erhöhen Sie den Wert, sobald die Ausgabe korrekt aussieht.

Schritt 4: Als JSON und CSV exportieren

Jetzt verbinden Sie Abruf, Parse und Paginierung zu einem lauffähigen Skript und schreiben die gesammelten Bewertungen sowohl in eine JSON- als auch in eine CSV-Datei. JSON ist das natürliche Format für die Einspeisung in ein Sentiment-Modell; CSV öffnet sich direkt in einer Tabellenkalkulation für schnelle Produktrecherchen.

const { CrawlingAPI } = require('crawlbase');
const cheerio = require('cheerio');
const fs = require('fs');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

async function crawl(pageUrl) {
  const options = { ajax_wait: 'true', page_wait: 5000 };
  const response = await api.get(pageUrl, options);
  if (response.statusCode === 200) return response.body;
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

function parseReviews(html) {
  const $ = cheerio.load(html);
  const reviews = [];
  $('#item-review-section li.dib').each((_, el) => {
    const card = $(el);
    const rating = card.find('.w_iUH7').text().trim();
    const body = card.find('.lh-copy').text().trim();
    if (!rating && !body) return;
    reviews.push({
      reviewer: card.find('.f7.gray').first().text().trim() || null,
      rating: rating || null,
      title: card.find('.w_kV33.w_Sl3f.w_mvVb.f5.b').text().trim() || null,
      body: body || null,
      date: card.find('.f7.gray.mt1').text().trim() || null,
    });
  });
  return reviews;
}

async function scrapeAllReviews(baseUrl, totalPages) {
  const all = [];
  for (let page = 1; page <= totalPages; page++) {
    const sep = baseUrl.includes('?') ? '&' : '?';
    const html = await crawl(`${baseUrl}${sep}page=${page}`);
    if (html) all.push(...parseReviews(html));
  }
  return all;
}

function toCsv(rows) {
  const headers = ['reviewer', 'rating', 'title', 'body', 'date'];
  const escape = (v) => `"${(v ?? '').replace(/"/g, '""')}"`;
  const lines = [headers.join(',')];
  for (const row of rows) {
    lines.push(headers.map((h) => escape(row[h])).join(','));
  }
  return lines.join('\n');
}

async function main() {
  const productUrl =
    'https://www.walmart.com/ip/Straight-Talk-Apple-iPhone-14-128GB-Midnight-Prepaid-Smartphone-Locked-to-Straight-Talk/1381920049';
  const reviews = await scrapeAllReviews(productUrl, 3);
  fs.writeFileSync('walmart_reviews.json', JSON.stringify(reviews, null, 2));
  fs.writeFileSync('walmart_reviews.csv', toCsv(reviews));
  console.log(`Saved ${reviews.length} reviews to JSON and CSV`);
}

main();

Führen Sie das vollständige Skript mit node scraper.js aus. Es durchläuft drei Bewertungsseiten, sammelt jede Bewertung in einem Array und schreibt walmart_reviews.json und walmart_reviews.csv in den Projektordner. Das CSV-Escaping kapselt jeden Wert in Anführungszeichen und verdoppelt alle internen Anführungszeichen, damit Bewertungstexte mit Kommas oder Anführungszeichen die Spalten nicht brechen.

Wie die Ausgabe aussieht

Die JSON-Datei enthält ein Objekt pro Bewertung, bereit für eine Sentiment-Pipeline oder zum Laden in ein Notebook.

[
  {
    "reviewer": "Optimistic",
    "rating": "5 out of 5 stars review",
    "title": "Great camera and speed",
    "body": "Pictures are coming out great and the speed is what I've been needing",
    "date": "October 2, 2023"
  },
  {
    "reviewer": "First Time Shopper",
    "rating": "5 out of 5 stars review",
    "title": "Awesome phone",
    "body": "Bought this last month and it's been awesome. The camera quality is perfect especially with the action mode.",
    "date": "September 18, 2023"
  }
]

Die CSV spiegelt dieselben Felder mit einer Headerzeile wider, sodass ein Marketing- oder Produktteam sie in einer Tabellenkalkulation öffnen, nach Bewertung sortieren und die niedrigsten Werte zuerst durchsehen kann. Mit den Daten in der Hand können Sie Sentiment-Scoring durchführen, die Bewertungsverteilung tallieren oder verfolgen, wie sich das Feedback von Release zu Release verändert. Für die Analyseseite behandelt unser Leitfaden zum Scrapen von Kundenbewertungen das Umwandeln von rohem Bewertungstext in strukturierte Erkenntnisse, und dieselbe Bewertungspipeline gilt für Amazon-Bewertungen, wenn Sie die beiden Marktplätze vergleichen.

Unblockiert bleiben

Auch mit gehandhabtem Rendering beobachtet Walmart scraper-ähnlichen Traffic. Ein paar Gewohnheiten halten einen Durchlauf gesund, und sie gelten für jedes schwierige kommerzielle Ziel.

• Anfragen takten. Bewertungsseiten in einer engen Schleife zu hämmern ist der schnellste Weg, gedrosselt zu werden. Verteilen Sie Anfragen und halten Sie totalPages auf das, was Sie tatsächlich benötigen, statt alle Seiten mit voller Geschwindigkeit zu crawlen.
• Auf Rotation setzen. Ein Pool von Wohngebiets-IPs verteilt Anfragen über viele echte Benutzeradressen, sodass keine einzelne ein Rate-Limit auslöst. Die Crawling API kümmert sich darum; wenn Sie Ihren eigenen Stack aufbauen, ist das der Teil, den Sie richtig machen müssen.
• Statuscodes lesen. Ein Durchlauf, der beginnt, Herausforderungen oder Fehler zurückzugeben, sagt Ihnen, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Behandeln Sie das als Signal zum Zurückrudern, nicht als zu ignorierendes Rauschen.

Das breitere Spielbuch finden Sie unter Websites scrapen ohne blockiert zu werden. Wenn Sie auch Produkttitel, Preise oder das Suchraster statt Bewertungen benötigen, behandelt der Begleitleitfaden zum Scrapen der Walmart-Suche mit Python diese Seite, und Walmart ist ein häufiges Ziel für breitere E-Commerce-Web-Scraping-Arbeit, bei der dasselbe Fetch-then-Parse-Muster seitenübergreifend gilt.

Ist es legal, Walmart-Bewertungen zu scrapen?

Ob das Scrapen von Walmart-Bewertungen erlaubt ist, hängt von Walmarts Nutzungsbedingungen, Ihrer Rechtsordnung und dem Verwendungszweck der Daten ab. Walmarts Bedingungen schränken den automatisierten Zugriff ein, sodass Scraping gegen diese Bedingungen verstoßen kann, unabhängig davon, wie sorgfältig Ihr Tooling ist. Keiner der hier gezeigten Codes ändert das; er macht nur den technischen Teil funktionstüchtig. Lesen Sie Walmarts Nutzungsbedingungen und seine robots.txt unter https://www.walmart.com/robots.txt und behandeln Sie beides als Grenze für das, was Sie sammeln.

Ein paar Linien, die es wert sind, eingehalten zu werden. Sammeln Sie nur öffentlichen Bewertungstext: die Sternebewertung, den Bewertungstitel, den Text, den Anzeigenamen wie auf der Karte angezeigt und das veröffentlichte Datum, das jeder ohne Konto sehen kann. Erstellen Sie kein Profil eines einzelnen Bewerters, verknüpfen Sie seine Bewertungen nicht über Produkte oder Seiten hinweg und versuchen Sie nicht, die echte Person hinter einem Anzeigenamen zu identifizieren. Ein Anzeigename und ein öffentlicher Bewertungstext sind öffentliche Inhalte; sie als Rohmaterial zur Verfolgung eines bestimmten Käufers zu verwenden, ist eine Datenschutzgrenze, die Sie nicht überschreiten sollten. Respektieren Sie Walmarts angegebene Rate-Erwartungen und halten Sie Ihr Anfragevolumen niedrig genug, damit Sie die Server nicht belasten.

Dieser Leitfaden beschränkt sich bewusst auf öffentliche Produkt- und Bewertungsseiten, weil das die Grenze ist, die die Arbeit vertretbar hält. Er behandelt nichts hinter einem Login, Konto- oder Bestelldaten, die durch eine Anmeldung gesperrt sind, persönliche Daten über Bewerter jenseits des von ihnen geposteten öffentlichen Textes oder jeden Versuch, Authentifizierung zu umgehen. Wenn Ihr Projekt mehr als öffentliche Bewertungen benötigt, ist eine formelle Datenvereinbarung mit Walmart der richtige Weg, kein cleverer Scraper. Im Zweifelsfall bevorzugen Sie Aggregatanalysen (Bewertungsverteilungen, häufige Themen) gegenüber allem, das einen einzelnen Bewerter hervorhebt.

Häufig gestellte Fragen

Warum gibt eine einfache Anfrage unvollständige Daten von Walmart zurück?

Weil Walmart die Preiszusammenfassung, die Bewertungsübersicht und die vollständige Bewertungsliste clientseitig mit JavaScript rendert. Das initiale HTML ist unvollständig, bis die Skripte der Seite in einem Browser ausgeführt werden, sodass eine rohe HTTP-Anfrage Status 200 mit leerem oder unvollständigem Bewertungsbereich zurückgibt. Um eine vollständige Seite zu erhalten, muss sie zuerst gerendert werden, was die Crawling API für Sie übernimmt.

Welche Felder kann ich aus einer Walmart-Bewertung extrahieren?

Der Anzeigename des Bewerters, die Sternebewertung (Walmart formuliert sie als "5 out of 5 stars review"), der kurze Bewertungstitel, der Bewertungstext und das Veröffentlichungsdatum, wenn es auf der Karte vorhanden ist. Der Scraper in diesem Leitfaden zieht alle fünf aus den #item-review-section li.dib-Bewertungskarten mit den Selektoren .w_iUH7 und .lh-copy plus den kleinen Wrapper-Klassen für Name, Titel und Datum.

Wie scrappe ich jede Bewertungsseite, nicht nur die erste?

Walmart paginiert Bewertungen über einen page-Abfrageparameter in der Produkt-URL. Die Funktion scrapeAllReviews in diesem Leitfaden läuft von Seite 1 bis zu einer von Ihnen festgelegten Seitenzahl, hängt page=N an die URL an, ruft jede gerenderte Seite über die Crawling API ab und führt denselben Parser auf jeder Seite aus, bevor die Ergebnisse in einem Array zusammengefasst werden.

Meine Selektoren geben null zurück. Was hat sich geändert?

Mit größter Wahrscheinlichkeit Walmarts Markup. Die generierten Klassennamen (w_iUH7, lh-copy, dib und die Wrapper für Name, Titel und Datum) ändern sich ohne Ankündigung und können zwischen Produkt-Layouts abweichen, sodass Selektoren, die letzten Monat funktionierten, jetzt brechen können. Inspizieren Sie eine Live-Bewertungsseite erneut in den Entwicklerwerkzeugen Ihres Browsers und aktualisieren Sie die Selektoren. Periodische Selektor-Wartung ist für jeden Produktions-Scraper normal.

Kann ich persönliche Daten über Walmart-Bewerter scrapen?

Nein, und dieser Leitfaden behandelt das nicht. Ein öffentlicher Anzeigename und ein Bewertungstext sind öffentliche Inhalte, aber das Profilieren eines bestimmten Bewerters, das Verknüpfen seiner Aktivitäten über Produkte oder Seiten hinweg oder der Versuch, die Person hinter einem Anzeigenamen zu identifizieren, überschreitet eine Datenschutzgrenze. Halten Sie Ihre Analysen auf Aggregatebene (Bewertungsverteilungen, häufige Themen) und bleiben Sie aus allem hinter einem Login heraus.

Kann ich die gescrapten Walmart-Bewertungen analysieren?

Ja. Sobald die Bewertungen in JSON oder CSV vorliegen, können Sie Sentiment-Analysen durchführen, um jede als positiv, negativ oder neutral zu klassifizieren, die Bewertungsverteilung tallieren, die am meisten gelobten und am meisten kritisierten Merkmale herausarbeiten und verfolgen, wie sich das Feedback im Laufe der Zeit verändert. Diese Aggregatansicht ist genau das, was Bewertungsdaten für Produktrecherchen und Wettbewerbsvergleiche nützlich macht.

HI

Hamza Ikhlaq

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zum Scraping von Zielseiten, zu Proxys und zur Crawling API schreibt.