Amazon-Produktdaten scrapenTitel, Preis, Bewertung und mehr

Jede öffentliche Amazon-Produktseite ist ein strukturierter, dichter Datensatz: ein Titel, ein aktueller Preis, eine Sternebewertung, eine Bewertungsanzahl, eine Verfügbarkeitsangabe und eine Bildergalerie. Genau diese Daten bilden die Grundlage für Preisverfolgung, Wettbewerbsbeobachtung, Kataloganreicherung und Marktforschung. Das Problem ist, dass das Abrufen in irgendeinem Volumen schwieriger ist, als es aussieht, weil Amazon Teile der Seite im Browser rendert und automatisierten Datenverkehr herausfordert, bevor er jemals den Inhalt erreicht.

Diese Anleitung zeigt Ihnen, wie Sie Amazon-Produktdaten scrapen mit JavaScript und Node.js auf zuverlässige Weise. Sie bauen einen kleinen, ausführbaren Scraper, der eine öffentliche Produktseite über die Crawling API abruft, Produkttitel, Preis, Bewertung, Bewertungsanzahl, Verfügbarkeit und Bilder extrahiert und einen sauberen JSON-Datensatz exportiert. Zwei Ansätze werden vorgestellt: der integrierte Auto-Parser, der strukturierte Felder direkt zurückgibt, und ein cheerio-Fallback, der dieselben Felder aus rohem HTML per CSS-Selektor liest. Die gesamte Anleitung beschränkt sich auf öffentliche Produktdaten, und der Abschnitt zur Rechtslage gegen Ende ist kein Boilerplate-Text, also lesen Sie ihn, bevor Sie dies auf ein reales Volumen anwenden.

Was Sie bauen werden

Ein Node.js-Skript, das eine öffentliche Amazon-Produkt-URL entgegennimmt, die Seite über die Crawling API abruft und einen strukturierten Datensatz für dieses Produkt erzeugt. Wir verwenden die PHILIPS A4216 Wireless Sports Headphones-Seite als durchgehendes Beispiel und extrahieren folgende Felder:

• Titel der Produktname, zum Beispiel "PHILIPS A4216 Wireless Sports Headphones".
• Preis der aktuell angezeigte Preis, etwa "$24.99".
• Bewertung die durchschnittliche Kundenbewertung, zum Beispiel "4.3 out of 5 stars".
• Bewertungsanzahl die Anzahl der Bewertungen hinter diesem Durchschnitt.
• Verfügbarkeit die Lagerzeile, etwa "In Stock" oder "Currently unavailable".
• Bilder das Hauptbild sowie weitere Galerie-Bild-URLs.

Warum eine einfache Anfrage bei Amazon scheitert

Wenn Sie einen einfachen HTTP-Client auf eine Amazon-Produkt-URL richten, bekommen Sie selten die saubere Seite, die Sie im Browser sehen. Zwei Dinge arbeiten gegen Sie. Erstens rendert Amazon Teile des Eintrags, einschließlich einiger Preis- und Galerieelemente, mit JavaScript, sodass das anfängliche HTML unvollständig sein kann, bis die Skripte der Seite ausgeführt werden. Zweitens markiert Amazon automatisierten Datenverkehr aggressiv: Datacenter-IPs und Anfragemuster, die nicht wie ein echter Browser aussehen, werden mit einem CAPTCHA, einer Bot-Prüfung oder einer vollständigen Sperre konfrontiert, lange bevor sie die Produktdaten erreichen.

Ein funktionierender Amazon-Scraper braucht also zwei Dinge in einer Anfrage: eine Seite, die tatsächlich gerendert wird, und eine IP-Adresse, die die Plattform als echten Besucher erkennt. Sie können das selbst mit einem Headless-Browser und einem Pool rotierender Residential-Proxys zusammenbauen, aber das Zusammenfügen und die Wartung dieser Komponenten ist der größte Teil der Arbeit. Die Crawling API bündelt beides in einem einzigen Aufruf: Sie senden die Produkt-URL, sie ruft die Seite hinter einer vertrauenswürdigen, rotierenden IP ab und gibt entweder fertiges HTML oder, mit einer zusätzlichen Option, die bereits in JSON geparsten Produktfelder zurück.

Voraussetzungen

Sie benötigen einige Dinge, bevor Sie mit dem Programmieren beginnen. Keines davon dauert lange.

Grundlegende JavaScript- und Node.js-Kenntnisse. Sie sollten in der Lage sein, ein Node-Skript zu schreiben und auszuführen sowie Pakete mit npm zu installieren. Wenn Sie neu bei Node sind, helfen die offiziellen Docs und jeder Einsteigerkurs, um das Niveau zu erreichen, das dieses Tutorial voraussetzt. Eine ausführlichere Anleitung finden Sie in unserem Guide zum Erstellen eines Web-Scrapers mit Node.js.

Node.js 16 oder neuer. Bestätigen Sie Ihre Version mit node --version. Falls nicht installiert, laden Sie es von der Node.js-Website herunter oder verwenden Sie einen Versionsmanager wie nvm.

Ein Crawlbase-Konto und Token. Registrieren Sie sich, öffnen Sie Ihr Dashboard und kopieren Sie Ihr Token von der Kontodokumentationsseite. Sie erhalten bis zu 20.000 kostenlose Anfragen ohne Kreditkarte, sodass Sie jedes Beispiel hier im Free-Tier ausführen können. Behandeln Sie das Token wie ein Passwort: Es authentifiziert Ihre Anfragen, also halten Sie es aus der Versionskontrolle heraus.

Projekt einrichten

Erstellen Sie einen Projektordner, initialisieren Sie ihn und installieren Sie die beiden Bibliotheken, die der Scraper benötigt.

node --version

mkdir amazon-scraper && cd amazon-scraper
npm init -y

npm install crawlbase cheerio

Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Node-Client für die Crawling API, und cheerio parst das zurückgegebene HTML mit einer jQuery-ähnlichen API, sodass Sie Felder per CSS-Selektor extrahieren können. Der Auto-Parser-Pfad benötigt nur crawlbase; der manuelle Fallback verwendet auch cheerio. Wenn Selektoren neu für Sie sind, ist der Primer zu XPath und CSS-Selektoren ein guter Begleiter.

Schritt 1: Produktseite mit dem Auto-Parser abrufen

Beginnen Sie mit dem am wenigsten fehleranfälligen Ansatz. Importieren Sie die CrawlingAPI-Klasse, initialisieren Sie sie mit Ihrem Token und fordern Sie die Produkt-URL mit der scraper-Option an, die auf amazon-product-details gesetzt ist. Das weist Crawlbase an, die Seite serverseitig zu parsen und strukturierte Produktfelder als JSON anstelle von rohem HTML zurückzugeben.

const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

const productUrl = 'https://www.amazon.com/dp/B099MPWPRY';

api
  .get(productUrl, { scraper: 'amazon-product-details' })
  .then((response) => {
    if (response.statusCode === 200) {
      const data = JSON.parse(response.body);
      console.log(data.body);
    }
  })
  .catch((error) => console.error('Request error:', error));

Führen Sie es mit node scraper.js aus. Da die scraper-Option gesetzt ist, ist der Response-Body JSON statt HTML, also parsen Sie ihn mit JSON.parse und lesen das geparste Produkt unter data.body. Der Crawlbase Amazon-Parser gibt den Produktnamen, Preis, Währung, Bewertung, Lagerinformationen, Bild-URLs und mehr als benannte Felder zurück, sodass Sie das Schreiben und Pflegen von Selektoren vollständig überspringen können. Das Überprüfen des Statuscodes vor dem Parsen hält Fehler sichtbar statt still.

Schritt 2: Die gewünschten Felder extrahieren

Der Auto-Parser gibt ein umfangreiches Objekt zurück, aber die meisten Aufgaben benötigen nur eine Handvoll Felder. Ordnen Sie die geparste Antwort auf Titel, Preis, Bewertung, Bewertungsanzahl, Verfügbarkeit und Bilder zu, mit einem Fallback auf null, wenn ein Feld fehlt, damit ein fehlender Wert den Lauf nie abstürzen lässt.

function extractProduct(parsed) {
  return {
    title: parsed.name || null,
    price: parsed.price || null,
    rating: parsed.customerReview || null,
    reviewCount: parsed.customerReviewCount || null,
    availability: parsed.inStock ? 'In Stock' : 'Unavailable',
    mainImage: parsed.mainImage || null,
    images: parsed.images || [],
  };
}

Die Feldnamen hier, name, price, customerReview, mainImage und die übrigen, sind die Schlüssel, die der Amazon-Parser innerhalb von data.body zurückgibt. Die availability-Zeile wird vom Stock-Flag des Parsers abgeleitet und nicht wörtlich kopiert, sodass Sie unabhängig von der Formulierung auf der Seite eine konsistente Zeichenkette erhalten. Halten Sie diese Zuordnung in einer kleinen Funktion: Wenn Sie später ein neues Feld möchten, fügen Sie eine Zeile hier hinzu, statt die Abruflogik zu berühren.

Schritt 3: Rohes HTML mit cheerio parsen (Fallback)

Manchmal möchten Sie die Rohseite statt des geparsten Objekts, entweder um ein Feld zu erfassen, das der Auto-Parser nicht bereitstellt, oder um genau zu verstehen, wo jeder Wert liegt. Lassen Sie die scraper-Option weg und die Crawling API gibt das gerenderte HTML zurück, das Sie in cheerio laden und per CSS-Selektor lesen können. Dies sind die Selektoren, die Amazon auf einer Standard-Produktseite verwendet.

const cheerio = require('cheerio');

function parseHtml(html) {
  const $ = cheerio.load(html);

  const images = [];
  $('#altImages img').each((_, el) => {
    const src = $(el).attr('src');
    if (src) images.push(src);
  });

  return {
    title: $('#productTitle').text().trim() || null,
    price: $('.a-price .a-offscreen').first().text().trim() || null,
    rating: $('#acrPopover').attr('title') || null,
    reviewCount: $('#acrCustomerReviewText').text().trim() || null,
    availability: $('#availability').text().trim() || null,
    mainImage: $('#landingImage').attr('src') || null,
    images,
  };
}

Jedes Feld entspricht einem echten Element auf der Seite. Der Titel befindet sich in #productTitle; der sichtbare Preis ist der verdeckte Text innerhalb des ersten .a-price-Blocks, den Amazon als saubere, währungsformatierte Zeichenkette beibehält; die Bewertung liegt im title-Attribut von #acrPopover ("4.3 out of 5 stars"); die Bewertungsanzahl ist der Text von #acrCustomerReviewText; die Lagerzeile steht in #availability; und die Galerie-Thumbnails sind die img-Tags unter #altImages, mit dem Hauptbild bei #landingImage. Das defensive Lesen jedes Felds mit einem null-Fallback verhindert, dass ein fehlendes Element den gesamten Parse-Vorgang unterbricht.

Schritt 4: Alles zusammenführen und JSON exportieren

Verbinden Sie nun den Abruf, die Extraktion und einen JSON-Export zu einem ausführbaren Skript. Diese Version verwendet den Auto-Parser als primären Pfad und schreibt den endgültigen Datensatz in eine Datei, sodass Sie ihn in eine Datenbank, eine Vergleichsmaschine oder einen Preistracker einspeisen können.

const fs = require('fs');
const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

function extractProduct(parsed) {
  return {
    title: parsed.name || null,
    price: parsed.price || null,
    rating: parsed.customerReview || null,
    reviewCount: parsed.customerReviewCount || null,
    availability: parsed.inStock ? 'In Stock' : 'Unavailable',
    mainImage: parsed.mainImage || null,
    images: parsed.images || [],
  };
}

async function main() {
  const productUrl = 'https://www.amazon.com/dp/B099MPWPRY';
  const response = await api.get(productUrl, { scraper: 'amazon-product-details' });

  if (response.statusCode !== 200) {
    console.error(`Request failed: ${response.statusCode}`);
    return;
  }

  const parsed = JSON.parse(response.body).body;
  const product = extractProduct(parsed);

  fs.writeFileSync('product.json', JSON.stringify(product, null, 2));
  console.log('Saved product.json');
  console.log(product);
}

main().catch((error) => console.error('Error:', error));

Führen Sie das vollständige Skript mit node scraper.js aus. Es ruft die Seite ab, ordnet die geparsten Felder mit extractProduct zu, schreibt eine übersichtliche product.json und protokolliert den Datensatz in der Konsole. Um stattdessen den cheerio-Fallback zu verwenden, lassen Sie die scraper-Option aus dem api.get-Aufruf weg und übergeben Sie response.body direkt an die parseHtml-Funktion aus Schritt 3.

Wie die Ausgabe aussieht

Die exportierte product.json ist ein einzelner sauberer Datensatz, den Sie speichern, mit einem vorherigen Lauf vergleichen oder in einen Tracker laden können.

{
  "title": "PHILIPS A4216 Wireless Sports Headphones",
  "price": "$24.99",
  "rating": "4.3 out of 5 stars",
  "reviewCount": "2,184 ratings",
  "availability": "In Stock",
  "mainImage": "https://m.media-amazon.com/images/I/61abc123.jpg",
  "images": [
    "https://m.media-amazon.com/images/I/41def456.jpg",
    "https://m.media-amazon.com/images/I/51ghi789.jpg"
  ]
}

Auf viele Produkte skalieren

Ein Produkt ist eine Demo; ein echter Auftrag läuft über eine Liste. Da jede Standard-Produktseite denselben Parser und dieselben Selektoren teilt, sammeln Sie eine Reihe von Produkt-URLs (oder Amazon-ASINs, die direkt auf /dp/<ASIN>-URLs abgebildet werden) und iterieren darüber, indem Sie exakt dieselbe extractProduct-Logik für jede verwenden.

async function scrapeMany(asins) {
  const records = [];
  for (const asin of asins) {
    const url = `https://www.amazon.com/dp/${asin}`;
    const response = await api.get(url, { scraper: 'amazon-product-details' });
    if (response.statusCode === 200) {
      const parsed = JSON.parse(response.body).body;
      records.push(extractProduct(parsed));
    }
  }
  return records;
}

scrapeMany(['B099MPWPRY', 'B08PZHYWJS']).then((rows) => {
  console.log(`Collected ${rows.length} products`);
});

Um die URLs überhaupt erst zu entdecken, scrapen Sie eine Amazon-Suche oder Kategorieseite nach Produktlinks und speisen diese in diese Schleife ein. Dieser Suchseiten-Schritt ist ein eigenes Thema, das in unserem Guide zum Scrapen von Amazon-Suchseiten mit der Crawling API behandelt wird. Wenn Sie Selektoren und Preislogik lieber vollständig überspringen möchten, zeigt unser Walkthrough zum Scrapen von Amazon-Preisen mit KI einen modellgetriebenen Ansatz für dieselben Daten.

Entsperrt bleiben

Die Crawling API übernimmt das Rendering und die IP-Rotation für Sie, aber einige Gewohnheiten halten große Läufe gesund, und sie gelten für jedes schwierige kommerzielle Ziel.

• Passen Sie Ihre Anfragen an. Amazon in einer engen Schleife zu bombardieren ist der schnellste Weg, gedrosselt zu werden. Verteilen Sie Anfragen und fügen Sie zwischen Produkten eine kurze Verzögerung hinzu, statt mit voller Geschwindigkeit zu crawlen.
• Verlassen Sie sich auf Rotation. Ein Pool von Residential-IPs verteilt Anfragen über viele reale Benutzeradressen, sodass keine einzelne ein Ratenlimit auslöst. Die Crawling API erledigt das für Sie; wenn Sie Ihren eigenen Stack aufbauen, gibt Ihnen der Smart AI Proxy die gleiche Rotation als Drop-in-Endpunkt.
• Beachten Sie die Statuscodes. Ein Lauf, der beginnt, Herausforderungen oder Nicht-200-Antworten zurückzugeben, signalisiert Ihnen, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Behandeln Sie das als Signal zum Zurückschalten, nicht als Rauschen zum Ignorieren.

Das umfassendere Playbook finden Sie in unserem Guide zum Scrapen von Websites ohne geblockt zu werden. Amazon ist auch ein häufiges Ziel für umfassendere E-Commerce-Web-Scraping-Projekte, bei denen dasselbe Abruf-dann-Extraktions-Muster auf andere Marktplätze übertragen wird.

Ist es legal, Amazon zu scrapen?

Ob das Scrapen von Amazon erlaubt ist, hängt von Amazons Nutzungsbedingungen, Ihrer Jurisdiktion und dem Verwendungszweck der Daten ab. Amazons Bedingungen schränken den automatisierten Zugriff ein, daher kann Scraping gegen diese Bedingungen verstoßen, unabhängig davon, wie sorgfältig Ihre Tools sind. Keiner der hier gezeigten Codes ändert das; er macht nur den technischen Teil funktionsfähig. Lesen Sie Amazons Nutzungsbedingungen und seine robots.txt, und behandeln Sie beide als Grenze für das, was Sie sammeln.

Einige Grundsätze, die es wert sind, einzuhalten. Sammeln Sie nur öffentliche Produktdaten: den Titel, Preis, die Bewertung, Bewertungsanzahl, Verfügbarkeit und Bilder, die jeder ohne Konto sehen kann. Respektieren Sie Amazons angegebene Ratenerwartungen und halten Sie Ihr Anfragevolumen niedrig genug, dass Sie seine Server nicht belasten. Scrapen Sie nichts hinter einem Login und sammeln Sie keine persönlichen Daten über Bewerter über den öffentlich auf der Seite bereits angezeigten Bewertungstext hinaus. Urheberrechtlich geschützte Medien, einschließlich Produktbilder, gehören ihren Eigentümern: referenzieren Sie sie, aber verbreiten Sie sie nicht als Ihre eigenen. Wenn Sie planen, die Daten kommerziell wiederzuverwenden, holen Sie die Erlaubnis oder eine Datenvereinbarung ein, statt zu schweigen und Zustimmung anzunehmen.

Für sanktionierten Zugang in großem Maßstab bietet Amazon offizielle Kanäle wie die Product Advertising API für Affiliates und die Selling Partner API für Verkäufer an, und diese sind die richtigen Tools, wenn Sie garantierte Struktur, Volumen oder kommerzielle Rechte benötigen. Dieser Guide ist bewusst auf öffentliche Produktseiten beschränkt, weil das die Linie ist, die die Arbeit vertretbar macht. Er behandelt nichts hinter einem Login, keine Käufer- oder Verkäuferkontodaten und keinen Versuch, die Authentifizierung zu umgehen. Wenn Ihr Projekt mehr als öffentliche Produktdaten benötigt, sind Amazons offizielle APIs oder eine Lizenzvereinbarung der richtige Weg, nicht ein ausgefeilterer Scraper.

Häufig gestellte Fragen

Warum schlägt eine einfache Anfrage bei Amazon fehl?

Amazon rendert Teile des Eintrags mit JavaScript und markiert automatisierten Datenverkehr aggressiv, sodass ein einfacher HTTP-Client oft eine unvollständige Seite, ein CAPTCHA oder eine Sperre statt der Produktdaten erhält. Um eine vollständige Seite zuverlässig zu erhalten, müssen Sie sie gerendert und hinter einer vertrauenswürdigen, rotierenden IP abrufen, was die Crawling API für Sie übernimmt.

Sollte ich den Auto-Parser oder cheerio verwenden?

Verwenden Sie standardmäßig den Auto-Parser (scraper: 'amazon-product-details'): Er gibt strukturierte Felder zurück und es gibt keine Selektoren zur Pflege, wenn Amazon sein Layout ändert. Greifen Sie nur dann auf den cheerio-Fallback zurück, wenn Sie ein bestimmtes Feld benötigen, das der Parser nicht bereitstellt, oder wenn Sie genau sehen möchten, wo ein Wert im rohen HTML liegt.

Welche Produktfelder kann ich extrahieren?

Von einer Standard-öffentlichen Produktseite können Sie Titel, aktuellen Preis, Durchschnittsbewertung, Bewertungsanzahl, Verfügbarkeit und die Haupt- sowie Galerie-Bild-URLs extrahieren. Der Auto-Parser gibt auch Extras wie Währung, Verkäufername und übergeordnete ASIN zurück. Sie können alles in strukturiertem JSON oder CSV für Preisverfolgung, Vergleichsmaschinen oder Wettbewerbsforschung erfassen.

Geben meine Selektoren immer null zurück?

Das bedeutet normalerweise, dass Amazons Markup sich geändert hat. Seine Element-IDs und Klassennamen (#productTitle, .a-price, #acrPopover und die übrigen) unterscheiden sich zwischen Layouts, Regionen und Kategorien, sodass ein Selektor, der letzten Monat funktioniert hat, brechen kann. Untersuchen Sie erneut eine Live-Seite mit den Entwicklertools Ihres Browsers und aktualisieren Sie den Selektor, oder wechseln Sie zum Auto-Parser, der diese Änderungen für Sie absorbiert.

Wie vermeide ich eine Blockierung beim Scrapen von Amazon?

Halten Sie Ihre anfragende Rate pro IP niedrig, fügen Sie zwischen Produkten eine Verzögerung ein und leiten Sie durch rotierende Residential-IPs, damit keine einzelne Adresse ein Ratenlimit auslöst. Die Crawling API verwaltet die Rotation und einen vertrauenswürdigen IP-Pool für Sie; wenn Sie Ihren eigenen Stack aufbauen, ist das der Teil, in den Sie investieren sollten. Beobachten Sie die Statuscodes und schalten Sie zurück, wenn Sie Herausforderungen sehen.

Kann ich persönliche Daten von Bewertern oder Verkäufern scrapen?

Nein, und dieser Guide behandelt das nicht. Halten Sie sich an die öffentlichen Produktfelder, die auf der Seite angezeigt werden. Kontodaten, alles hinter einem Login und persönliche Details über Bewerter oder Verkäufer über den öffentlich auf der Seite bereits angezeigten Bewertungstext hinaus sind außerhalb des Rahmens und verstoßen gegen Amazons Bedingungen. Für sanktionierten Zugang ist der richtige Weg Amazons offizielle API oder eine Datenvereinbarung.

HI

Hamza Ikhlaq

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zum Scraping von Zielseiten, zu Proxys und zur Crawling API schreibt.