Produktseiten auf walmart.com scrapen

Über walmart.com

walmart.com beschreibt sich selbst als „Kaufen Sie noch heute auf Walmart.com zu täglich niedrigen Preisen. Werden Sie Walmart+ Mitglied für unbegrenzte kostenlose Lieferung aus Ihrer Filiale und kostenlosen Versand ohne Mindestbestellwert. Starten Sie jetzt Ihre kostenlose 30-Tage-Testphase!“.

Die Sitemaps führen 62.116 URLs in 3 Dateien (category, browse_fst). 12.864 der 62.116 datierten Einträge haben sich in den letzten 30 Tagen geändert, der neueste am 6 Sep 2026.

Die robots.txt nennt 34 Sitemaps und sperrt 12 Pfade, darunter /account/, /api/. Sie bittet Crawler um 5s Pause zwischen Requests.

Gemessen auf Crawlbase

Erfolgsquote über jeden Request jedes Accounts im August 2026: 92.1%. Muster, Länder und Fehler stammen aus dem Request-Log seit 14 Aug 2026; 19.3% der erfolgreichen Aufrufe nutzten den JavaScript-Token, die mittlere Antwort dauerte 12.2s.

Unter den 20 E-Commerce-Websites im Cookbook steht walmart.com nach Erfolgsrate auf Platz 19 von 20; der Median der Kategorie liegt bei 96.3%. Die mittlere Antwort von 12.2s ist langsamer als der Kategorie-Median von 2.9s. 9 der 20 nehmen den einfachen Token an; diese Website nur auf manchen Seiten.

Der Call

Produktseiten sind die Form, die die Accounts hier am häufigsten abrufen, mit dem Land und dem Token, die am häufigsten Erfolg haben. Ersetzen Sie den Platzhalterpfad durch eine echte Produkt-URL der Website.

curl "https://api.crawlbase.com/?token=YOUR_JS_TOKEN&url=https%3A%2F%2Fwww.walmart.com%2Fip%2Fexample-page%2F1234567"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_JS_TOKEN'})

r = api.get('https://www.walmart.com/ip/example-page/1234567')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_JS_TOKEN' });

const r = await api.get('https://www.walmart.com/ip/example-page/1234567');

Parameter, die zählen

URL-Muster, die Accounts abrufen

Felder, die Sie bekommen

Strukturierte Daten, die Crawlbase auf walmart.com gefunden hat, nach Seitentyp. Das sind die schema.org-Typen in der Seite, die Felder, die Ihr Parser direkt aus dem JSON-LD-Block lesen kann:

• Startseite: Organization, WebSite
• Übersicht: FAQPage
• Artikel: BreadcrumbList

Was kaputtgeht, und die Lösung

Bei den Fehlern seit 14 Aug 2026 hat die Website geantwortet mit:

Nach Zeitplan ausführen

Eine Katalogaktualisierung ist eine Liste von Produkt-URLs. Übergeben Sie sie mit einem Callback an den Crawler, lassen Sie ihn die Calls takten und wiederholen, was die Website ablehnt, und lesen Sie die Ergebnisse aus dem Cloud Storage. Die mittlere Antwort auf dieser Website liegt bei 12.2s.

Fragen

Weitere Seiten auf walmart.com

Seiten, die walmart.com in den eigenen Sitemaps führt, am 6 Sep 2026 von Crawlbase abgerufen und in 2 aufeinanderfolgenden Läufen bestätigt. Jede Zeile ist der günstigste Call, der die Seite mit Inhalt zurückgab.