Amazon ist weltweit eine beliebte Wahl für Produkte. Studien zeigen, dass Kunden viel Zeit damit verbringen, Bewertungen früherer Käufe zu lesen, bevor sie eine Kaufentscheidung treffen. Als Geschäftsinhaber und technischer Experte präsentiert Amazon eine Fülle von Bewertungsdaten, die ohne die richtigen Tools erwartungsgemäß schwer zu extrahieren sind.
Sie können unser probieren Amazon-Bewertungs-Scraper. Dieses Tool bietet alles, was Sie zum Scrapen von Amazon-Bewertungen benötigen.
Inhaltsverzeichnis
I. Warum Amazon-Produktbewertungen scrapen?
II. So vermeiden Sie eine Blockierung beim Scraping von Amazon-Bewertungen
III. HTML der Amazon-Produktbewertungsseite verstehen
IV. So scrapen Sie Amazon-Bewertungen
- Schritt 1. Vorbereiten Ihres Arbeitsbereichs: Voraussetzungen und Umgebungseinrichtung
- Schritt 2. Amazon-Produktbewertungen abrufen
- Schritt 3. Alle Bewertungen mit Paginierung auslesen
- Schritt 4. Speichern der Daten
I. Warum Amazon-Produktbewertungen scrapen?

Im Bereich E-Commerce dienen Produktbewertungen als Schatzkarte, die Sie durch die komplexe Landschaft der Kundenpräferenzen und -meinungen führt. Das Durchsuchen dieser Bewertungen ist so, als würde man eine Tür zu ihren ungefilterten Gedanken und Emotionen zu Produkten öffnen. Die Bedeutung dieser Bewertungen geht jedoch weit über bloße Erkenntnisse hinaus; sie sind unverzichtbar für die Durchführung von Marktforschung, die Förderung von Produktverbesserungen und die Durchführung von Wettbewerbsanalysen.
II. So vermeiden Sie eine Blockierung beim Scraping von Amazon-Bewertungen
Das Scraping von Amazon-Rezensionen liefert zwar eine Fülle wertvoller Daten, bringt aber auch seine Herausforderungen mit sich. Die digitale Landschaft des E-Commerce hat ihre eigenen Regeln, und Amazon, einer der Giganten dieser Branche, bildet hier keine Ausnahme. Das Scraping seiner Seiten ist komplexer, als es vielleicht scheint.
Um die Zuverlässigkeit und Kontinuität Ihres Datenerfassungsprozesses aufrechtzuerhalten, müssen Sie unbedingt verhindern, dass Ihr Amazon-Bewertungs-Scraper beim Scrapen von Produktbewertungen auf Blockaden stößt. Hier sind einige wirksame Strategien:
- User-Agent-Header: Amazon kann automatisiertes Scraping erkennen, indem es den User-Agent-Header in HTTP-Anfragen überprüft. Um eine Erkennung zu vermeiden, verwenden Sie einen Web-Crawling-Tool oder eine Bibliothek, mit der Sie User-Agent-Header so einstellen können, dass sie einen Webbrowser nachahmen. Dadurch ähneln Ihre Anfragen eher denen eines typischen Benutzers.
- Anforderungsratenbegrenzung: Implementieren Sie eine Verzögerung zwischen Ihren Scraping-Anfragen. Wenn die Server von Amazon mit schnellen und häufigen Anfragen überlastet werden, kann dies deren Sicherheitsmechanismen auslösen. Durch das Hinzufügen von Verzögerungen simulieren Sie ein menschlicheres Browsing-Muster und verringern so das Risiko einer Erkennung.
- IP-Rotation und Proxy-Server: Rotierende IP-Adressen oder mit Proxy-Server-Dienste kann helfen, IP-basierte Sperren zu verhindern. Beim Scraping im großen Maßstab ist die Verwendung eines Pools rotierender IPs oder Proxys ratsam. Auf diese Weise kann Amazon anhand einer einzelnen IP-Adresse kein konsistentes Muster erkennen, was es für Amazon schwieriger macht, Ihren Zugriff zu sperren.
- Respektiere robots.txt: Beachten Sie immer die in Amazons Datei „robots.txt“ definierten Regeln. Diese Datei gibt an, welche Teile der Website gescrapt werden dürfen und welche nicht. Das Scrapen nicht erlaubter Bereiche kann dazu führen, dass Ihr Scraper blockiert wird. Daher ist es wichtig, diese Regeln zu überprüfen und einzuhalten.
- Überwachung und Anpassung: Amazon aktualisiert seine Website-Struktur und Sicherheitsmaßnahmen regelmäßig. Um auf dem Laufenden zu bleiben, überwachen Sie die Website von Amazon auf strukturelle Änderungen und passen Sie Ihren Scraper entsprechend an. Web-Scraping-Bibliotheken wie BeautifulSoup und Scrapy können Ihnen dabei helfen, Ihren Scraper anzupassen, wenn sich die HTML-Struktur weiterentwickelt.
Beachten Sie, dass diese Strategien zwar dazu beitragen können, eine Blockierung Ihres Scrapers zu verhindern, für ihre wirksame Umsetzung jedoch möglicherweise einen erheblichen Aufwand und Fachkenntnisse erfordern.
Crawlbase ist der beste Amazon-Bewertungs-Scraper
Die Verwaltung aller Aspekte von Bahnkratzen kann eine anspruchsvolle und zeitaufwändige Aufgabe sein. Hier kommt Crawlbase ins Spiel. Crawling API glänzt. Crawlbase ist darauf ausgelegt, die Komplexität des Web Scraping zu bewältigen, einschließlich der Festlegung von User-Agent-Headern, der Verwaltung von Anfrageraten, der Rotation von IP-Adressen, der Einhaltung von Robots.txt-Regeln und der Überwachung von Website-Änderungen, was es zum perfekten Tool zum Scraping von Amazon-Bewertungen macht.


Durch die Verwendung der Crawlbase-API können Sie sich auf das Extrahieren wertvoller Daten aus Amazon-Bewertungen konzentrieren, ohne sich Sorgen machen zu müssen, blockiert zu werden, da Crawlbase diese Herausforderungen für Sie übernimmt. Dies macht Amazon Scraping mit Crawlbase zu einer hervorragenden Wahl für Ihr Projekt und gewährleistet eine reibungslose und zuverlässige Datenextraktion.
III. HTML der Amazon-Produktbewertungsseite verstehen

Bevor wir uns mit dem Schreiben von Code für unseren Amazon-Bewertungs-Scraper befassen, ist es wichtig, die Struktur der Amazon-Produktbewertungsseiten in HTML zu verstehen. Dieses Verständnis ist die Grundlage für einen erfolgreichen Scraping-Vorgang, da es Ihnen ermöglicht, die benötigten Daten präzise zu lokalisieren und zu extrahieren.
Die Produktbewertungsseiten von Amazon sind mit verschiedenen HTML-Elementen strukturiert, die jeweils wertvolle Informationen enthalten. Hier sind die wichtigsten Elemente, auf die Sie achten sollten:
- Container überprüfen
- Informationen zum Rezensenten
- Bewertungen und Sterne
- Rezensionstext
- Paginierung
Behalten Sie diese Elemente im Hinterkopf, während wir mit der Entwicklung eines Scrapers für Amazon-Produktbewertungen fortfahren. Sie sind die Bausteine unserer Scraping-Strategie.
IV. So scrapen Sie Amazon-Bewertungen
Schritt 1. Vorbereiten Ihres Arbeitsbereichs: Voraussetzungen und Umgebungseinrichtung
Kommen wir nun zur Sache und stellen sicher, dass Ihr Arbeitsbereich für die Erstellung eines Amazon-Bewertungs-Scrapers bereit ist. Bevor wir mit der Codierung beginnen, finden Sie hier eine Checkliste, um sicherzustellen, dass Sie alles haben, was Sie brauchen:
Node.js installiert
Stellen Sie sicher, dass Node.js auf Ihrem Computer installiert ist. Wenn Sie es noch nicht haben, können Sie es von deren Offizielle Node.js-Website. Node.js dient als Laufzeitumgebung, die es uns ermöglicht, JavaScript-Code auf Ihrem Computer auszuführen.
JavaScript-Token der Crawlbase-API
Um eine Verbindung mit der Crawlbase-API herzustellen, benötigen Sie ein API-Token. Sie erhalten das Token durch Anmeldung bei Crawlbase. Sobald Sie ein Konto haben, gehen Sie zum Konto-Dashboard und speichern Sie Ihr JavaScript-Token. Betrachten Sie dieses Token als Ihren Zugangsschlüssel zum Webdatenschatz.
Grundkenntnisse in JavaScript und npm
Etwas Vertrautheit mit JavaScript und npm (Node Package Manager) wird uns im weiteren Verlauf sehr nützlich sein. Wenn Sie neu bei JavaScript sind, machen Sie sich keine Sorgen; wir führen Sie Schritt für Schritt durch den Code. Npm wird uns bei der Verwaltung von Paketen und Abhängigkeiten während des gesamten Projekts unterstützen.
Indem Sie sicherstellen, dass diese Elemente vorhanden sind, können Sie problemlos und erfolgreich lernen, wie Sie Amazon-Bewertungen scrapen.
Einrichten der Umgebung
Jetzt, da wir bereit sind, unser Amazon-Produktbewertungs-Scraping-Projekt zu starten, beginnen wir mit der Vorbereitung unserer Codierungsumgebung. Dieser Schritt ist wichtig, da er die Grundlage für die bevorstehende Arbeit bildet.
Öffnen Sie Ihre Befehlszeilenschnittstelle. Dies kann die Eingabeaufforderung (Windows), das Terminal (macOS und Linux) oder eine ähnliche Terminalanwendung sein, und navigieren Sie zu dem Verzeichnis, in dem Sie Ihr Projekt erstellen möchten.
Sobald Sie sich im Terminal in Ihrem Projektverzeichnis befinden, ist es an der Zeit, Ihre Codedatei zu erstellen. Führen Sie den folgenden Befehl aus:
1 | aufnehmen index.js und npm init -y |
Als nächstes verwenden wir die Crawlbase Node-Bibliothek für eine einfachere Integration. Installieren Sie die Bibliothek, indem Sie die folgende Zeile ausführen:
1 | npm installiere Crawlbase |
Dieser Befehl verwendet npm (Node Package Manager), um die Crawlbase-Bibliothek abzurufen und zu installieren, die wir zur Interaktion mit der Crawlbase-API verwenden werden. Die Bibliothek bietet praktische Funktionen für Ihren JavaScript-Code, um Web Scraping zum Kinderspiel zu machen.
Wenn Sie fertig sind, fahren wir mit dem nächsten Schritt fort: Schreiben Sie den Code zum Extrahieren von Amazon-Produktbewertungen.
Schritt 2. Amazon-Produktbewertungen abrufen
In diesem Abschnitt sind wir bereit, in den Code einzutauchen, der Amazon-Produktbewertungen mithilfe der Crawlbase-Funktion abruft. Crawling API. Hier ist der Code, gefolgt von seiner Erklärung:
1 | const { CrawlingAPI } = erfordern(„Crawlbase“), |
Dieser Code legt die Grundlage für das Scraping von Amazon-Bewertungen mithilfe der Crawlbase-Bibliothek und API. Er vereinfacht den Scraping-Prozess, indem er den vorgefertigten Scraper von Crawlbase für Amazon-Produktbewertungen nutzt und den Aufwand für die Erstellung eines benutzerdefinierten Parsers eliminiert.
Codeausführung
Nun können Sie den Code ausführen, indem Sie node
Befehl gefolgt vom Namen der JavaScript-Datei, die index.js
in diesem Fall. Geben Sie den folgenden Befehl ein und drücken Sie die Eingabetaste:
1 | Knoten index.js |
Der Code protokolliert die Scraped-Daten oder etwaige Fehlermeldungen im Terminal. Überprüfen Sie die Ausgabe sorgfältig, um sicherzustellen, dass der Scraping-Prozess wie erwartet funktioniert.
Schritt 3. Scraping aller Bewertungen mithilfe der Paginierung
Verwenden der Amazon-Paginierung zum Scraping
Amazon verwendet wie viele andere Websites ein Paginierungssystem, um seine Produktbewertungen zu organisieren. Das bedeutet, dass Sie, wenn Sie Amazon-Bewertungen mit mehreren Seiten scrapen möchten, einer Reihe von Seitenlinks folgen müssen, um auf die Daten jeder Bewertungsseite zuzugreifen und diese abzurufen.
Um ein besseres Verständnis zu bekommen, können Sie sich die folgenden URL-Beispiele ansehen, um zu sehen, wie Amazon mit der Paginierung umgeht:
Hauptbewertungsseite:
https://www.amazon.com/Meta-Quest-Pro-Oculus/product-reviews/B09Z7KGTVW/?reviewerType=all_reviews
Zweite Seite:
https://www.amazon.com/Meta-Quest-Pro-Oculus/product-reviews/B09Z7KGTVW/?reviewerType=all_reviews&pageNumber=2
Dritte Seite:
https://www.amazon.com/Meta-Quest-Pro-Oculus/product-reviews/B09Z7KGTVW/?reviewerType=all_reviews&pageNumber=3
Sehen wir uns nun den bereitgestellten Code an und erklären wir, wie diese Paginierung erreicht wird:
1 | const { CrawlingAPI } = erfordern(„Crawlbase“), |
Dieser Code navigiert effektiv durch die paginierten Amazon-Produktbewertungen und führt rekursive Aufrufe durch, um Daten von jeder Seite abzurufen und zu sammeln, bis die letzte Seite erreicht ist. Dies ist eine zuverlässige Methode, um sicherzustellen, dass Sie alle verfügbaren Bewertungen für Ihr ausgewähltes Produkt abrufen.
Hier ist die Beispielantwort:

Schritt 4. Speichern der Daten
Nach dem erfolgreichen Scraping der Amazon-Produktbewertungen besteht der nächste entscheidende Schritt darin, diese wertvollen Daten für die Analyse, als zukünftige Referenz oder für andere Zwecke, die Ihnen in den Sinn kommen, zu speichern. Daten speichern ist ein wesentlicher Teil des Web-Scraping-Prozesses, da es die Ergebnisse Ihrer Bemühungen für die spätere Verwendung bewahrt.
Verwenden des fs-Moduls in Node.js
Um die gesammelten Bewertungen zu speichern, verwenden wir die fs
(Dateisystem)-Modul in Node.js. Das fs
module ist ein integriertes Modul, das uns die Interaktion mit dem Dateisystem auf unserem Computer ermöglicht. Damit können wir Dateien erstellen, lesen, schreiben und verwalten. In unserem Fall verwenden wir es, um die gesammelten Bewertungen in eine JSON-Datei zu schreiben.
Im nächsten Abschnitt stellen wir Ihnen den Code zum Speichern der Scraped-Bewertungen in einem amazon_reviews.json
Datei und erklären Sie, wie es funktioniert. Dieser Schritt stellt sicher, dass Sie über eine strukturierte und zugängliche Aufzeichnung der gesammelten Bewertungen verfügen, sodass Sie datengesteuerte Entscheidungen treffen oder bei Bedarf weitere Analysen durchführen können.
1 | const { CrawlingAPI } = erfordern(„Crawlbase“), |
Zusammengefasst ruft dieser Code Amazon-Produktbewertungen ab, kümmert sich um die Seitennummerierung und speichert die gesammelten Daten in einer JSON-Datei zur späteren Verwendung. Dies ist eine effiziente Möglichkeit, die gesammelten Informationen aufzubewahren und zu analysieren.
Führen Sie den Code aus. Sobald der Code ausgeführt wurde, wird die Gesamtzahl der abgerufenen Bewertungen angezeigt. Sie können dann die Datei „amazon_reviews.json“ im selben Verzeichnis überprüfen, um auf die abgerufenen Daten zuzugreifen.
Hier ist ein Beispiel für eine JSON-Antwort:
1 | { |
Das war’s! Sie haben den Code erfolgreich ausgeführt, um Amazon-Bewertungen zu scrapen und in einer Datei zu speichern. Sie können diese Daten nun bei Bedarf für Analysen oder andere Zwecke verwenden.
Abschließende Überlegungen
Bei unserer Untersuchung, wie man Amazon-Bewertungen auswertet, haben wir ein wertvolles Tool entdeckt, mit dem man Erkenntnisse aus Amazon-Produktbewertungen gewinnen kann. Mithilfe der Crawlbase-Bibliothek und JavaScript haben wir gelernt, mühelos Kundenfeedback von Amazon zu sammeln und zu analysieren. Diese Bewertungen bieten einen Einblick in Markttrends, Bereiche für Produktverbesserungen und Einblicke in Ihre Konkurrenz. Da wir verstanden haben, wie man Amazon-Bewertungen auswertet, haben wir auch unsere Codierungsumgebung eingerichtet, Crawlbase integriert und Code entwickelt, der effizient durch die Bewertungsseiten von Amazon navigiert und uns Zeit, Mühe und Geld spart. Durch die systematische Speicherung dieser Daten stellen wir sicher, dass wir eine zuverlässige Aufzeichnung für zukünftige Entscheidungen haben.
Abschließend möchten wir Sie ermutigen, Web Scraping für datengesteuerte Entscheidungen zu erkunden. Egal, ob Sie geschäftlich tätig sind, forschen oder einfach nur neugierig sind, Web Scraping kann wertvolle Erkenntnisse liefern. Denken Sie immer daran, Amazon-Bewertungen verantwortungsbewusst zu scrapen und die Nutzungsbedingungen der Websites zu beachten. So erschließen Sie sich eine Welt datengesteuerter Möglichkeiten. Nutzen Sie das Potenzial von Web Scraping und lassen Sie sich von Daten leiten!
Häufig gestellte Fragen
Ist es möglich, Amazon-Bewertungen zu scrapen?
Das Scraping von Bewertungen auf Amazon ist rechtlich eine Grauzone. Obwohl das Scraping öffentlich verfügbarer Daten auf einer Website im Allgemeinen als legal gilt, gibt es wichtige Einschränkungen. Die Servicebedingungen von Amazon verbieten das Web Scraping ausdrücklich. Um innerhalb der rechtlichen Grenzen zu bleiben, ist es wichtig, die Richtlinien von Amazon zu überprüfen und einzuhalten. Vermeiden Sie außerdem übermäßiges Scraping, das die Dienste von Amazon stören oder gegen geltende Gesetze verstoßen könnte. Datenschutz.
Amazon verwendet außerdem CAPTCHA-Herausforderungen, um zu überprüfen, ob der Benutzer, der auf die Website zugreift, ein Mensch ist. Diese Herausforderungen sollen verhindern, dass automatisierte Bots und Web Scraper die Site überlasten. Wenn Sie beim Zugriff auf Amazon auf CAPTCHA-Herausforderungen stoßen, ist dies Teil der Sicherheitsmaßnahmen von Amazon, um ein faires und sicheres Online-Einkaufserlebnis zu gewährleisten.
Welchen Vorteil bietet Crawlbase gegenüber anderen Scraping-Methoden?
Crawlbase Crawling API ist ein spezielles Tool, das für das Scraping von Amazon-Bewertungen entwickelt wurde. Es ist zuverlässiger und effizienter für das Scraping von Amazon-Bewertungen. Es bewältigt viele der mit dem Web Scraping verbundenen Herausforderungen, wie z. B. den Umgang mit CAPTCHAs, IP-Rotation, und Sitzungsverwaltung. Außerdem bietet es dedizierten Support und stellt sicher, dass Sie Amazon-Bewertungen in großem Umfang scrapen können, während das Risiko einer Blockierung minimiert wird. Obwohl andere Methoden möglich sind, kann Crawlbase Zeit, Aufwand und Ressourcen sparen.
Was ist der beste Weg, um bei Amazon Produktdaten zu durchsuchen?
Die beste Möglichkeit, Daten von Amazon-Produktseiten zu scrapen, ist die Verwendung von Crawlbase. Es ist, als hätten Sie einen intelligenten Assistenten, der Ihnen hilft, die benötigten Informationen schnell und präzise von der Amazon-Website zu erhalten. Crawlbase macht das Web Scraping einfach, sodass Sie nicht viel Zeit und Energie darauf verwenden müssen, es manuell zu erledigen. Es ist eine großartige Möglichkeit, um sicherzustellen, dass Sie Amazon-Bewertungen problemlos scrapen oder die gewünschten Daten ohne Probleme erhalten.
Kann ich Amazon-Bewertungen für jede Produktkategorie scrapen?
Ja, Sie können Amazon-Bewertungen für die meisten Produktkategorien scrapen. Allerdings kann das Layout von Amazon zwischen den Kategorien leicht variieren. Ihr Scraper sollte an verschiedene Produktseiten anpassbar sein, indem er kategoriespezifische Elemente erkennt und verarbeitet.