Walmart-Gesponserte Anzeigen scrapengesponserte Platzierungen und Werbetreibende

Walmarts Suchergebnisse sind keine flache Liste. Oben und wieder etwa auf halber Seite befinden sich gesponserte Platzierungen: Produkte, für deren Erscheinen bei einem Keyword ein Verkäufer bezahlt hat. Jede trägt dasselbe öffentliche Signal, das ein Wettbewerber begehren würde: wer auf "headphones" bietet, wo sie landen, was sie verlangen und wie sie das Produkt nennen. Über die Zeit verfolgt, ist das direkte Werbe- und Wettbewerberintelligenz von einer Seite, die jeder laden kann.

Dieser Leitfaden zeigt Ihnen, wie Sie gesponserte Walmart-Anzeigen mit JavaScript und Node.js scrapen. Sie erstellen einen kleinen, lauffähigen Scraper, der eine gerenderte Walmart-Suchseite über die Crawling API abruft, jede gesponserte Platzierung mit cheerio in einen sauberen Datensatz (Titel, Preis, Position, Link) parsed, und diese Datensätze dann zusammenfasst, um eine Frage zu beantworten: Welche Produkte werben auf einem bestimmten Keyword. Der gesamte Walkthrough beschränkt sich auf öffentliche Suchergebnisdaten, und der Rechtsabschnitt am Ende ist kein Boilerplate, lesen Sie ihn daher, bevor Sie dies auf ein größeres Volumen anwenden.

Was Sie bauen werden

Ein Node.js-Skript, das eine öffentliche Walmart-Such-URL nimmt, das gerenderte HTML über die Crawling API abruft und einen strukturierten Datensatz für jede gesponserte Platzierung auf der Ergebnisseite extrahiert. Wir verwenden die Suche nach "headphones" als laufendes Beispiel und ziehen diese Felder pro Anzeige heraus:

• Titel der gesponserte Produktname, zum Beispiel "Bose QuietComfort 45 Headphones Noise Cancelling Over-Ear Wireless Bluetooth Earphones, Black".
• Preis der angegebene Preis wie auf der Karte angezeigt, z.B. "$329.00".
• Position der Rang der Anzeige unter den gesponserten Platzierungen auf der Seite, sodass Sie ein Top-of-Search-Gebot von einem Mid-Search-Gebot unterscheiden können.
• Link die URL zur einzelnen Produktseite, auf die die Anzeige verweist.

Sobald jede Anzeige ein Datensatz ist, gruppiert ein kurzer Aggregationsschritt sie nach Werbetreibendem, sodass Sie sehen können, wer Platzierungen auf dem Keyword kauft und zu welchen Positionen. Das ist der Ad-Intelligence-Gewinn: dieselben Daten, die Walmart jedem Käufer zeigt, für die Analyse neu angeordnet.

Warum eine einfache Anfrage bei Walmart scheitert

Wenn Sie eine Walmart-Such-URL mit einem einfachen HTTP-Client anfordern, erhalten Sie nicht die saubere Ergebnisseite, die Sie in einem Browser sehen. Zwei Dinge arbeiten gegen Sie. Erstens rendert Walmart das Suchraster clientseitig mit JavaScript, sodass die gesponserten Karten, Preise und Produktlinks nicht im initialen HTML sind, bis die Skripte der Seite ausgeführt werden. Zweitens erkennt Walmart automatisierten Traffic schnell: Datacenter-IPs und Anfragemuster, die nicht wie ein echter Browser aussehen, werden herausgefordert oder blockiert, bevor sie den gerenderten Inhalt je erreichen.

Ein funktionierender Walmart-Scraper benötigt also zwei Dinge in einer einzigen Anfrage: einen Browser, der die Seite tatsächlich rendert, und eine IP, die die Plattform als echten Besucher liest. Sie können das selbst zusammenstellen mit einem Headless-Browser plus einem Pool rotierender Wohngebiets-Proxys, aber diese zu verknüpfen und gesund zu halten ist der Großteil der Arbeit. Die Crawling API bündelt beides in einem einzigen Aufruf: Sie senden die URL, sie rendert die Seite hinter einer vertrauenswürdigen IP und gibt fertiges HTML zum Parsen zurück. Sie bietet auch eine autoparse-Option, die strukturierten Seiteninhalt als JSON zurückgibt, was für einen ersten Blick vor dem Schreiben eigener Selektoren praktisch ist.

Voraussetzungen

Sie benötigen ein paar Dinge, bevor Sie Code schreiben. Keines davon dauert lange.

Grundlegendes JavaScript und Node.js. Sie sollten in der Lage sein, ein Node-Skript zu schreiben und auszuführen sowie Pakete mit npm zu installieren. Wenn Sie neu bei Node sind, behandelt unser Leitfaden zum Erstellen eines Web-Scrapers mit Node.js die Grundlagen, die dieses Tutorial voraussetzt.

Node.js 16 oder höher. Bestätigen Sie Ihre Version mit node --version. Wenn Sie es nicht haben, installieren Sie es von der Node.js-Website oder über einen Versionsmanager wie nvm.

Ein Crawlbase-Konto und Token. Melden Sie sich an, öffnen Sie Ihr Dashboard und kopieren Sie Ihr Token von der Konto-Dokumentationsseite. Das kostenlose Kontingent enthält bis zu 20.000 Anfragen ohne Karte, was mehr als ausreicht, um dieses Tutorial vollständig zu durchzuarbeiten. Behandeln Sie das Token wie ein Passwort: Es authentifiziert Ihre Anfragen, halten Sie es daher aus der Versionskontrolle heraus.

Projekt einrichten

Erstellen Sie einen Projektordner, initialisieren Sie ihn und installieren Sie die zwei Bibliotheken, die der Scraper benötigt.

node --version

mkdir walmart-ads-scraper && cd walmart-ads-scraper
npm init -y

npm install crawlbase cheerio

Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Node-Client für die Crawling API, und cheerio parst das zurückgegebene HTML mit einer jQuery-ähnlichen API, sodass Sie einzelne Felder per CSS-Selektor herausziehen können. Wenn Selektoren für Sie neu sind, passt der Primer zu XPath- und CSS-Selektoren gut zu diesem Leitfaden.

Schritt 1: Die gerenderte Suchseite abrufen

Beginnen Sie damit, die fertige Seite zu erhalten. Importieren Sie die CrawlingAPI-Klasse, initialisieren Sie sie mit Ihrem Token und fordern Sie die Such-URL an. Das Prüfen des Statuscodes vor dem Parsen hält Fehler laut statt still.

const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

const walmartPageURL = 'https://www.walmart.com/search?q=headphones';

api
  .get(walmartPageURL)
  .then((response) => {
    if (response.statusCode === 200) {
      console.log(response.body.slice(0, 500));
    }
  })
  .catch((error) => console.error('API request error:', error));

Dieser Code ruft die Walmart-Headphones-Suchseite über die Crawling API ab und gibt die ersten 500 Zeichen des zurückgegebenen HTML aus. Führen Sie ihn mit node scraper.js aus, und Sie sollten echtes Suchraster-Markup sehen, keine abgespeckte Hülle oder Challenge-Seite. Das bestätigt, dass Rendering und eine vertrauenswürdige IP funktionieren, bevor Sie einen einzigen Selektor schreiben. Wenn Sie das Schreiben von Selektoren für einen ersten Durchlauf ganz überspringen möchten, fügen Sie die Option autoparse hinzu: api.get(walmartPageURL, { autoparse: 'true' }), und die API gibt den Hauptinhalt der Seite stattdessen als JSON zurück.

Schritt 2: Die gesponserten Platzierungen mit cheerio parsen

Mit gerendetem HTML laden Sie es in cheerio und gehen durch das Ergebnisraster. Walmart legt jedes Ergebnis in einem sich wiederholenden Produktcontainer aus, also wählen Sie jede Karte aus, lesen das "Sponsored"-Label und behalten nur die Karten, die es tragen. Für jede gesponserte Karte ziehen Sie Titel, Preis, Position und Link heraus. Jeden Wert defensiv zu lesen verhindert, dass ein einzelner fehlender Wert den Durchlauf abbricht.

const cheerio = require('cheerio');

function parseSponsored(html) {
  const $ = cheerio.load(html);
  const ads = [];
  let position = 0;

  const containers = $('.sans-serif.mid-gray.relative.flex.flex-column.w-100.hide-child-opacity');

  containers.each((index, element) => {
    const card = $(element);

    // Only keep cards tagged "Sponsored"
    const label = card.find('[data-testid^="variant-"] .gray').text().trim();
    if (!/sponsored/i.test(label)) return;

    position += 1;

    const title = card
      .find('[data-automation-id="product-title"]')
      .text()
      .replace(/\s+/g, ' ')
      .trim();

    const priceString = card
      .find('[data-automation-id="product-price"] .w_iUH7')
      .text()
      .trim();
    const priceMatch = priceString.match(/([^\d]+)([\d,\.]+)/);
    const price = priceMatch ? `${priceMatch[1].trim()}${priceMatch[2]}` : '';

    const href = card.find('a[link-identifier]').attr('href') || '';
    const link = href && href.startsWith('/') ? `https://www.walmart.com${href}` : href;

    ads.push({ position, title, price, link });
  });

  return ads;
}

Die Selektoren hier kommen direkt aus Walmarts Such-Markup. Jedes Ergebnis sitzt im langen Utility-Class-Container .sans-serif.mid-gray.relative.flex.flex-column.w-100.hide-child-opacity; das "Sponsored"-Tag befindet sich in einem [data-testid^="variant-"] .gray-Span; der Titel ist [data-automation-id="product-title"]; und der Preisstring befindet sich in [data-automation-id="product-price"] .w_iUH7, den wir mit einem Regex in Währungssymbol und numerischen Teil aufteilen. Das frühe return lässt jede Karte ohne das gesponserte Label fallen, sodass position nur bezahlte Platzierungen zählt, oben in der Suche zuerst, dann in der Mitte. Der Link wird aus dem href des Karten-Ankers gelesen und absolut gemacht, wenn Walmart einen relativen Pfad zurückgibt.

Schritt 3: Alles zusammenfügen und die Werbetreibenden analysieren

Jetzt verbinden Sie Abruf und Parse zu einem lauffähigen Skript und fügen den Analyseschritt hinzu. Sobald jede gesponserte Karte ein Datensatz ist, zeigt das Gruppieren nach dem Produktseiten-Link, welche Werbetreibenden Platzierungen auf dem Keyword kaufen und wo sie landen.

const { CrawlingAPI } = require('crawlbase');
const cheerio = require('cheerio');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

async function crawl(pageUrl) {
  const response = await api.get(pageUrl);
  if (response.statusCode === 200) return response.body;
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

// parseSponsored from Step 2 goes here

function advertiserReport(ads) {
  return ads.map((ad) => ({
    advertiser: ad.title.split(' ').slice(0, 2).join(' '),
    position: ad.position,
    price: ad.price,
    link: ad.link,
  }));
}

async function main() {
  const keyword = 'headphones';
  const url = `https://www.walmart.com/search?q=${encodeURIComponent(keyword)}`;
  const html = await crawl(url);
  if (!html) return;

  const ads = parseSponsored(html);
  console.log(`${ads.length} sponsored placements on "${keyword}"`);
  console.log(JSON.stringify(advertiserReport(ads), null, 2));
}

main();

Der advertiserReport-Schritt ist bewusst einfach: Er leitet einen kurzen Werbetreibenden-Handle aus den ersten Worten jedes Produkttitels ab und behält Position, Preis und Link daneben. In einer echten Pipeline würden Sie den Werbetreibenden auf etwas Festem verankern (dem Markenfeld oder dem vom Produktlink aufgelösten Verkäufer), aber selbst diese grobe Gruppierung beantwortet die Kernfrage: Wer zahlt dafür, auf diesem Keyword zu erscheinen und zu welchem Rang. Führen Sie mehrere Keywords nach einem Zeitplan aus und dieselben Datensätze werden zu einem Wettbewerbs-Feed: neue Werbetreibende, die einen Begriff betreten, Preisbewegungen auf den Platzierungen und Rangveränderungen über die Zeit.

Wie die Ausgabe aussieht

Führen Sie das vollständige Skript mit node scraper.js aus und erhalten Sie ein sauberes Array gesponserte Platzierungen, nach Position geordnet, bereit zum Schreiben in JSON, CSV oder eine Datenbank.

[
  {
    "advertiser": "Bose QuietComfort",
    "position": 1,
    "price": "$329.00",
    "link": "https://www.walmart.com/ip/Bose-QuietComfort-45-Headphones/376188834"
  },
  {
    "advertiser": "COWIN E7",
    "position": 2,
    "price": "$35.00",
    "link": "https://www.walmart.com/ip/COWIN-E7-Active-Noise-Cancelling-Headphones/123456789"
  },
  {
    "advertiser": "OneOdio Wired",
    "position": 3,
    "price": "$31.99",
    "link": "https://www.walmart.com/ip/OneOdio-Wired-Over-Ear-Headphones/950096760"
  }
]

Jede Zeile ist eine gesponserte Platzierung: wer wirbt, wo sie unter den bezahlten Slots rankte, was sie verlangen und auf welche Produktseite die Anzeige zeigt. Mit einem Zeitstempel pro Durchlauf gespeichert, ist das das Rohmaterial für Keyword-Level-Ad-Intelligence.

Über Keywords und Seiten skalieren

Ein Keyword auf einer Seite ist eine Demo; ein echter Job geht durch eine Liste von Keywords und die Paginierung dahinter. Walmart stellt die Seitennummer über den page-Abfrageparameter bereit, sodass Sie jede Seiten-URL in einer Schleife erstellen, sie über die Crawling API abrufen, mit derselben Funktion parsen und die Zeilen sammeln können. Da jede Ergebnisseite dieselbe Kartenstruktur teilt, funktioniert der bereits geschriebene Parser auf allen Seiten ohne Änderungen.

async function scrapeKeyword(keyword, totalPages) {
  const all = [];
  for (let page = 1; page <= totalPages; page++) {
    const url =
      `https://www.walmart.com/search?q=${encodeURIComponent(keyword)}&page=${page}`;
    const html = await crawl(url);
    if (html) all.push(...parseSponsored(html));
  }
  return all;
}

scrapeKeyword('headphones', 3).then((rows) => {
  console.log(`Collected ${rows.length} sponsored placements`);
});

Tauschen Sie das einzelne Keyword gegen ein Array aus und iterieren Sie über Ihre Zielwörter, um eine Wettbewerbskarte für eine ganze Kategorie zu erstellen. Um jede Anzeige mit vollständigen Details anzureichern (Marke, Verkäufer, Bewertungen, die komplette Spezifikationsliste), nehmen Sie den link aus jedem Datensatz und rufen Sie diese individuelle Produktseite über dieselbe crawl-Funktion ab, dann schreiben Sie einen kleinen Parser für das Produkt-Layout. Das Muster ist identisch: rendern, dann parsen. Derselbe Fetch-then-Parse-Ansatz passt direkt zur breiteren E-Commerce-Web-Scraping-Arbeit, und das Einspeisen dieser Preise in ein Modell ist eine natürliche Ergänzung für Preisintelligenz.

Unblockiert bleiben

Auch mit gehandhabtem Rendering beobachtet Walmart scraper-ähnlichen Traffic. Ein paar Gewohnheiten halten einen Durchlauf gesund, und sie gelten für jedes schwierige kommerzielle Ziel.

• Anfragen takten. Seiten in einer engen Schleife zu hämmern ist der schnellste Weg, gedrosselt zu werden. Verteilen Sie Anfragen und variieren Sie Ihre Keywords, anstatt einen Pfad mit voller Geschwindigkeit zu crawlen.
• Auf Rotation setzen. Ein Pool von Wohngebiets-IPs verteilt Anfragen über viele echte Benutzeradressen, sodass keine einzelne ein Rate-Limit auslöst. Die Crawling API kümmert sich darum; wenn Sie Ihren eigenen Stack aufbauen, ist das der Teil, den Sie richtig machen müssen.
• Statuscodes lesen. Ein Durchlauf, der beginnt, Herausforderungen oder Fehler zurückzugeben, sagt Ihnen, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Behandeln Sie das als Signal zum Zurückrudern, nicht als zu ignorierendes Rauschen.

Das breitere Spielbuch finden Sie unter Websites scrapen ohne blockiert zu werden. Wenn Sie Ihren eigenen Traffic lieber über einen rotierenden Pool statt über die verwaltete API leiten möchten, bietet der Smart AI Proxy dieselbe Wohngebiets-IP-Rotation als Drop-in-Proxy-Endpunkt.

Ist es legal, Walmart-Anzeigendaten zu scrapen?

Ob das Scrapen gesponserter Walmart-Anzeigen erlaubt ist, hängt von Walmarts Nutzungsbedingungen, Ihrer Rechtsordnung und dem Verwendungszweck der Daten ab. Walmarts Nutzungsbedingungen schränken den automatisierten Zugriff ein, sodass Scraping gegen diese Bedingungen verstoßen kann, unabhängig davon, wie sorgfältig Ihr Tooling ist. Keiner der hier gezeigten Codes ändert das; er macht nur den technischen Teil funktionstüchtig. Lesen Sie Walmarts Nutzungsbedingungen und seine robots.txt und behandeln Sie beides als Grenze für das, was Sie sammeln.

Ein paar Linien, die es wert sind, eingehalten zu werden. Sammeln Sie nur öffentliche Suchergebnisdaten: den gesponserten Titel, Preis, Position und Produktlink, den jeder ohne Konto sehen kann. Das "Sponsored"-Label und das Ranking sind öffentliche Signale, die Walmart bereits jedem Käufer zeigt, was Ad-Intelligence auf dieser Oberfläche vertretbar macht. Beachten Sie das Urheberrecht bei Produktbildern und Anzeigentexten, die das geistige Eigentum des Verkäufers und von Walmart sind, analysieren Sie sie also, anstatt sie als Ihre eigenen weiterzuveröffentlichen. Respektieren Sie Walmarts angegebene Rate-Erwartungen und halten Sie Ihr Anfragevolumen niedrig genug, damit Sie die Server nicht belasten. Vermeiden Sie persönliche Daten vollständig, einschließlich allem, das mit identifizierbaren Käufern oder Verkäufern jenseits der öffentlich aufgelisteten Daten auf einer Ergebnisseite verknüpft ist. Wenn Sie die Daten kommerziell weiterverwenden möchten, holen Sie eine Genehmigung oder eine offizielle Vereinbarung ein, anstatt Schweigen als Zustimmung zu interpretieren.

Für große Volumen oder kommerzielle Nutzung ist der richtige Weg ein offizieller Kanal: Walmart betreibt eine Connect-Werbeplattform mit eigenem Reporting für Werbetreibende, und das Walmart.io-Entwicklerprogramm stellt sanktionierte APIs bereit. Das sind die richtigen Tools, wenn Sie große Volumen, garantierte Struktur oder kommerzielle Rechte benötigen. Dieser Leitfaden beschränkt sich bewusst auf öffentliche Such- und Sponsored-Placement-Daten, weil das die Grenze ist, die die Arbeit vertretbar hält. Er behandelt nichts hinter einem Login, persönliche Daten von Käufern oder Verkäufern, interne Kampagnenmetriken wie Ausgaben oder Click-Through-Rate eines anderen Werbetreibenden oder jeden Versuch, Authentifizierung zu umgehen. Wenn Ihr Projekt mehr als öffentliche Platzierungen benötigt, sind Walmarts offizielle Werbetools oder eine Datenvereinbarung der richtige Weg, kein cleverer Scraper.

Häufig gestellte Fragen

Was sind gesponserte Artikel bei Walmart?

Gesponserte Artikel sind Produkte, für die ein Werbetreibender zahlt, um höher in Walmarts Suchergebnissen oder Kategorieseiten zu erscheinen. Sie befinden sich im selben Raster wie organische Listings, tragen aber ein kleines "Sponsored"-Label, und sie sind Teil von Walmarts Werbeplattform, bei der Verkäufer bieten, um ihre Produkte vor Käufern zu platzieren, die ein bestimmtes Keyword suchen. Da die Platzierung und das Label für jeden Käufer sichtbar sind, sind sie öffentliche Signale, die Sie von der Seite ablesen können.

Warum gibt eine einfache Anfrage unvollständige Daten von Walmart zurück?

Weil Walmart das Suchraster clientseitig mit JavaScript rendert. Das initiale HTML ist unvollständig, bis die Skripte der Seite in einem Browser ausgeführt werden, sodass eine rohe HTTP-Anfrage eine Seite mit fehlenden oder leeren gesponserten Karten, Preisen und Links zurückgibt, und Walmart bedient automatisierten Traffic obendrein oft mit einer Herausforderung. Das Rendern der Seite über die Crawling API hinter einer vertrauenswürdigen IP gibt Ihnen das vollständige Raster zum Parsen.

Meine Selektoren geben leere Strings zurück. Was hat sich geändert?

Mit größter Wahrscheinlichkeit Walmarts Markup. Der lange Utility-Class-Container, die data-testid-Werte und die w_iUH7-Preisklasse ändern sich ohne Ankündigung, sodass Selektoren, die letzten Monat funktionierten, jetzt brechen können. Der generierte Utility-Class-Container ist der instabilste davon. Inspizieren Sie eine Live-Seite erneut in den Entwicklerwerkzeugen Ihres Browsers und aktualisieren Sie die Selektoren. Periodische Selektor-Wartung ist für jeden Produktions-Scraper normal.

Wie erkenne ich, welche Produkte auf einem Keyword werben?

Parsen Sie nur die Karten, die das "Sponsored"-Label tragen, erfassen Sie Titel, Preis, Position und Produktlink jeder Karte, und gruppieren Sie dann die Datensätze nach Werbetreibendem. Führen Sie dasselbe Keyword nach einem Zeitplan aus und vergleichen Sie Durchläufe, um neue Werbetreibende zu sehen, die den Begriff betreten, Preisbewegungen auf den Platzierungen und Rangveränderungen. Dieser Keyword-Level-Rollup ist das Ad-Intelligence-Ergebnis, auf das dieser Leitfaden hinarbeitet.

Kann ich die Ausgaben oder die Click-Through-Rate eines anderen Werbetreibenden abrufen?

Nein, und dieser Leitfaden behandelt das nicht. Ausgaben, Impressionen und Click-Through-Rate sind private Kampagnenmetriken, die im eigenen Konto eines Werbetreibenden leben, nicht auf der öffentlichen Ergebnisseite. Scraping kann sie nicht erreichen, und der Versuch würde bedeuten, hinter einem Login zu gehen. Die einzige sanktionierte Quelle für diese Art von Daten ist das eigene Walmart Connect-Reporting für Kampagnen, die Sie selbst schalten.

Wie oft sollte ich Walmart-Anzeigendaten sammeln?

Das hängt davon ab, wie schnell sich das Keyword bewegt. Für Wettbewerbsworte, bei denen sich Werbetreibende und Preise häufig ändern, hält ein täglicher oder nahezu täglicher Durchlauf Ihre Ansicht aktuell; für langsamere Kategorien reicht oft wöchentlich. Egal welche Häufigkeit Sie wählen, halten Sie die IP-Anfragerate pro Region niedrig und verlassen Sie sich auf Rotation, damit ein schnellerer Zeitplan Sie nicht drosseln lässt. Beobachten Sie die Statuscodes und rudern Sie zurück, wenn Sie Herausforderungen sehen.

HI

Hamza Ikhlaq

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zum Scraping von Zielseiten, zu Proxys und zur Crawling API schreibt.