Willkommen beim Amazon Buy Box Data Scraping, Ihrem Tor zur effektiven Überwachung der Amazon Buy Box und zur Datenextraktion! Wenn Sie schon einmal bei Amazon eingekauft haben, sind Sie wahrscheinlich schon einmal auf die Buy Box gestoßen, ohne sie zu kennen. Dieser prominente Abschnitt auf einer Produktseite enthält die Schaltflächen „In den Einkaufswagen“ oder „Jetzt kaufen“ und ist für Käufer und Verkäufer von entscheidender Bedeutung. Wenn Sie auf diese Schaltfläche klicken, kaufen Sie beim Verkäufer in der Buy Box ein.

Amazon-Kaufbox

Jetzt fragen Sie sich vielleicht: „Was ist so besonders an einem Button?“ Nun, die Buy Box ist mehr als nur ein Button. Amazon verwendet einen komplexen Algorithmus, um zu bestimmen, welcher Verkäufer diesen privilegierten Platz erhält. Dieser Algorithmus wertet mehrere Faktoren aus, darunter Preis, Versandoptionen, Verkäuferleistung und mehr.

Amazon Buy Box für ähnliche Artikel

Wenn ein Käufer auf ein Produkt tippt, an dem er interessiert ist, scrollt er über die Buy Box-Auswahl hinaus deutlich weiter nach unten zum Abschnitt „Mit ähnlichen Artikeln vergleichen“ oder „Andere Verkäufer auf Amazon“. Dies erhöht die Attraktivität der Sicherung der Buy Box noch weiter. Der Verkäufer, der die Buy Box gewinnt, genießt den Löwenanteil der Verkäufe für dieses Produkt. Studien haben gezeigt, dass die Buy Box etwa 90 % aller Verkäufe über AmazonDas ist ein beträchtliches Stück vom Kuchen.

Wer Erfahrung mit Amazon hat, erinnert sich vielleicht an die Existenz eines Dienstprogramms namens „Featured Merchant“. Bis 2018 hatte Amazon den Status des Featured Merchant in die Buy Box modernisiert. Jetzt, im Jahr 2023, bezeichnet Amazon die Buy Box offiziell als „Empfohlenes Angebot"

Als Amazon-Verkäufer träumen Sie wahrscheinlich davon, Ihre Produkte in der begehrten Buy Box zu sehen. Dies ist natürlich ein direkter Weg für Käufer, das empfohlene Produkt in den Einkaufswagen zu legen. Um auf diese Liste zu kommen, müssen Sie tolle Preise, beste Bewertungen und eine gute Verkäuferleistung haben. Daher ist es für Verkäufer entscheidend, nicht nur die Buy Box zu überwachen, sondern auch die Faktoren zu verfolgen, die beeinflussen, wer sie gewinnt. Bei Millionen von Produkten, die auf Amazon gelistet sind, ist die Konkurrenz groß. Daher kann es einen großen Unterschied für Ihre Verkäufe bedeuten, in die Buy Box zu kommen.

Um in die Buy Box zu gelangen, benötigen Sie Einblicke und Strategien. Scrollen Sie nach unten, um zu erfahren, wie Sie den Buy Box-Preis und andere Datenelemente durch Data Scraping verfolgen können.

Inhaltsverzeichnis

  1. Warum jeder Amazon-Verkäufer einen Platz in der Buy Box braucht?
  • Die Notwendigkeit des Daten-Scrapings
  1. Herausforderungen und Lösungen beim Buy Box Monitoring
  • Anti-Scraping-Maßnahmen
  • Umgang mit IP-Sperren und Captchas
  1. Einrichten Ihrer Entwicklungsumgebung
  • Python installieren
  • Erforderliche Bibliotheken installieren
  • Auswahl der richtigen Entwicklungs-IDE
  1. Zugriff auf die Produktseiten von Amazon
  • Crawlbase Python-Bibliothek
  • Abrufen des richtigen Crawlbase-Tokens
  • HTTP-Anfragen an Amazon stellen
  • Umgang mit dynamischen Inhalten
  1. Scraping von Buy Box-Daten
  • Untersuchen von HTML zum Abrufen von CSS-Selektoren
  • Strukturieren Sie Ihren Daten-Scraper
  • Speichern von Scraped-Daten in einer CSV-Datei
  1. Zusammenfassung
  2. Häufig gestellte Fragen

Warum jeder Amazon-Verkäufer einen Platz in der Buy Box braucht?

Nachdem wir nun die Bedeutung der Buy Box geklärt haben, wollen wir uns damit befassen, warum sie für Verkäufer so wichtig ist. Egal, ob Sie ein Kleinunternehmer oder ein Großunternehmen sind, die Sicherung der Buy Box ist das ultimative Ziel beim Verkaufen auf Amazon.

Warum die Amazon Buy Box wichtig ist
  1. Sichtbarkeit: Produkte in der Buy Box genießen maximale Sichtbarkeit. Sie erscheinen ganz oben in der Produktliste und sind somit die erste Wahl der Kunden. Diese erstklassige Position erhöht die Wahrscheinlichkeit, dass Ihr Produkt gesehen und verkauft wird.
  2. Erhöhter Verkauf: Das Gewinnen der Buy Box bedeutet eine deutliche Umsatzsteigerung. Wie bereits erwähnt, klicken die meisten Amazon-Käufer auf „In den Einkaufswagen“ für das Produkt in der Buy Box, ohne mehrere Optionen zu vergleichen. Dies führt zu mehr Conversions und Umsatz für Verkäufer.
  3. Kundenvertrauen: Der Algorithmus von Amazon wählt Produkte für die Buy Box basierend auf Preis, Verkäuferleistung und Kundenzufriedenheit aus. Dies bedeutet, dass Produkte in der Buy Box als zuverlässig und vertrauenswürdig wahrgenommen werden. Verkäufer, die regelmäßig die Buy Box gewinnen, neigen dazu, Vertrauen bei den Kunden aufzubauen.
  4. Wettbewerbsvorteilen: Die Buy Box verschafft Verkäufern einen deutlichen Vorteil auf dem hart umkämpften Amazon-Marktplatz. Sie ist besonders vorteilhaft für Verkäufer, die neue Produkte einführen oder bestimmte Nischen ansprechen.

Die Notwendigkeit des Daten-Scrapings

Warum sollten Verkäufer Data Scraping als unverzichtbares Tool zur Überwachung der Buy Box betrachten? Die Antwort liegt in der dynamischen Natur der E-Commerce-Landschaft und den sich ständig weiterentwickelnden Algorithmen, die den Buy Box-Gewinner bestimmen. Lassen Sie uns die Notwendigkeit von Data Scraping in diesem Zusammenhang untersuchen.

Notwendigkeit des Scrapings von Buy Box-Daten
  • Echtzeitüberwachung: Die Buy Box ändert sich ständig. Amazons Algorithmen entscheiden in Echtzeit, wer sie bekommt, basierend auf vielen Faktoren. Verkäufer müssen ständig beobachten, wer in der Buy Box ist und warum, um wettbewerbsfähig zu bleiben. Ohne Data Scraping wäre dies eine schwierige und zeitaufwändige Aufgabe. Data Scraping macht es einfacher, indem es Echtzeit-Updates liefert.
  • Produkt-Pricing: Die Preisgestaltung ist einer der Hauptfaktoren für die Buy Box-Zuteilung bei Amazon. Daher müssen Verkäufer die Preisdaten ähnlicher Produkte kennen, um ihre Preise vergleichen und entsprechend anpassen zu können. Mit Bahnkratzenkönnen Verkäufer Preisänderungen bei ihren eigenen Produkten und bei den Angeboten der Konkurrenz automatisch verfolgen.
  • Wettbewerbsanalyse: Verkäufer können umfangreiche Daten über ihre Konkurrenten sammeln, einschließlich ihrer Produktlisten, Preise und Leistungskennzahlen. Diese Informationen sind nützlich, um Strategien zu entwickeln, mit denen Sie die Konkurrenz übertreffen und sich die Buy Box sichern können.
  • Anpassung und Strategieoptimierung: Beim Buy Box-Spiel gibt es keine Einheitslösung. Was für ein Produkt funktioniert, funktioniert möglicherweise nicht für ein anderes. Um erfolgreich zu sein, müssen Verkäufer in der Lage sein, ihre Strategien anzupassen und zu optimieren. Data Scraping liefert Verkäufern die Erkenntnisse, die sie für fundierte Entscheidungen benötigen. Es bietet die Datengrundlage für die Bewertung der Wirksamkeit verschiedener Taktiken, sei es Preisanpassungen, Produktbündelung oder die Verbesserung der Leistungskennzahlen der Verkäufer.
  • Effizienz und Skalierbarkeit: Der riesige Marktplatz von Amazon bietet unzählige Produktlisten, Verkäufer und Kategorien. Daten-Crawling-Tools ermöglichen die effiziente Überwachung mehrerer Produkte und Verkäufer gleichzeitig. Diese Skalierbarkeit ist für Verkäufer, die ihre Präsenz auf Amazon ausbauen und in mehreren Produktkategorien konkurrieren möchten, von entscheidender Bedeutung.

Kurz gesagt: Durch Web Scraping können Amazon-Verkäufer Echtzeitinformationen zu Produktpreisen, der Leistung der Konkurrenz und anderen Variablen sammeln, die sich auf ihre Buy Box-Berechtigung auswirken.

Herausforderungen und Lösungen beim Buy Box Monitoring

Beim Scraping von Daten von Websites, insbesondere von E-Commerce-Sites wie Amazon, werden Sie auf eine Reihe von Herausforderungen stoßen. Amazon verfügt über strenge Anti-Scraping-Maßnahmen zum Schutz seiner Daten. Darüber hinaus können Sie auf Probleme wie IP-Sperren und Captchas stoßen. Diese Herausforderungen können jedoch mit den richtigen Tools und Strategien effektiv bewältigt werden. Ein solches Tool, das sich in diesem Zusammenhang als von unschätzbarem Wert erweist, ist das Crawlbase Crawling API, eine leistungsstarke Lösung für Web Scraping.

Anti-Scraping-Maßnahmen

Wie viele andere Online-Plattformen setzt Amazon verschiedene Anti-Scraping-Maßnahmen ein, um die automatisierte Datenerfassung zu verhindern. Um sich in der Web-Scraping-Landschaft erfolgreich zurechtzufinden, ist es wichtig zu verstehen, wie diese Maßnahmen funktionieren. Hier sind einige gängige Anti-Scraping-Maßnahmen, die Amazon einsetzt:

  1. CAPTCHAs: Beim Surfen im Internet sind Sie diesen Rätseln wahrscheinlich schon begegnet. CAPTCHAs sind dazu gedacht, zu testen, ob der Benutzer ein Mensch oder ein Bot ist. Sie kommen in verschiedenen Formen vor, z. B. als Bilderkennungsaufgaben, verzerrter Text oder die Auswahl bestimmter Objekte in Bildern. Für automatisierte Scraper ist das Lösen von CAPTCHAs eine Herausforderung, da sie eine menschenähnliche visuelle Erkennung und Interaktion erfordern.
  2. Rate Limiting: Amazon kann die Anzahl der Anfragen beschränken, die eine einzelne IP-Adresse innerhalb eines bestimmten Zeitraums stellen kann. Übermäßige und schnelle Anfragen lösen Geschwindigkeitsbegrenzungsmechanismen aus, die den Zugriff auf die Site verlangsamen oder vollständig blockieren.
  3. IP-Blockierung: Amazon kann den Zugriff auf die Website von IP-Adressen, die Scraping-Verhalten aufweisen, vorübergehend oder dauerhaft blockieren. Wenn Ihre IP-Adresse blockiert wird, können Sie auf die Website zugreifen, sobald die Blockierung aufgehoben wird.

Umgang mit IP-Sperren und Captchas

IP-Sperren und Captchas sind häufige Hindernisse für Web Scraper. Amazon kann, wie viele andere Websites auch, Ihre IP-Adresse vorübergehend oder dauerhaft sperren, wenn es Scraping-Aktivitäten erkennt. Darüber hinaus können Captchas eingesetzt werden, um zwischen menschlichem und Bot-Verhalten zu unterscheiden. Captchas dienen der Überprüfung der Identität des Benutzers und sind oft recht schwer zu umgehen.

In diesen Szenarien ist die Crawlbase Crawling API erweist sich als zuverlässiger Verbündeter. Diese API verwendet rotierende IP-Adressen um IP-Sperren zu umgehen. Es ermöglicht Ihnen, Anfragen aus einem Pool von rotierende Wohn-Proxys, wodurch verhindert wird, dass Ihre Scraping-Aktivitäten leicht identifiziert und blockiert werden können. Darüber hinaus kann die Crawlbase-API Captchas effizient verarbeiten, sodass Sie das Lösen von Captchas automatisieren können, was Ihnen wertvolle Zeit spart und ein unterbrechungsfreies Scraping gewährleistet. Diese API bietet leistungsstarke Lösungen für zwei der größten Herausforderungen beim Web Scraping und ist damit ein unverzichtbares Werkzeug für Produktdaten von Amazon scrapen.

Einrichten Ihrer Entwicklungsumgebung

In diesem Abschnitt werden die Voraussetzungen für erfolgreiches Data Scraping untersucht, einschließlich der Konfiguration Ihrer Entwicklungsumgebung und der Auswahl der richtigen Entwicklungs-IDE.

Python installieren

Python ist die primäre Programmiersprache, die wir für Web Scraping verwenden. Wenn Sie Python noch nicht auf Ihrem System installiert haben, führen Sie diese Schritte aus:

  1. Python herunterladen: Besuchen Sie die offizielle Python-Website unter python.org und laden Sie die neueste Version von Python herunter. Wählen Sie das entsprechende Installationsprogramm für Ihr Betriebssystem (Windows, macOS oder Linux).

  2. Installation: Führen Sie das heruntergeladene Installationsprogramm aus und folgen Sie den Installationsanweisungen. Aktivieren Sie die Option, die Python während der Installation zum PATH Ihres Systems hinzufügt. Dieser Schritt ist entscheidend, um Python über die Befehlszeile auszuführen.

  3. Überprüfen Sie die Installation: Öffnen Sie eine Eingabeaufforderung oder ein Terminal und geben Sie den folgenden Befehl ein, um zu überprüfen, ob Python korrekt installiert ist:

1
Python --Version

Sie sollten die installierte Python-Version angezeigt sehen.

Erforderliche Bibliotheken installieren

Python bietet ein reichhaltiges Ökosystem an Bibliotheken, die das Web Scraping vereinfachen. Für dieses Projekt benötigen Sie crawlbase Bibliothek für Webanfragen mit der Crawlbase API und der Beautiful Soup Bibliothek zum Parsen von HTML-Inhalten. Um diese Bibliotheken zu installieren, verwenden Sie die folgenden Befehle:

  1. Crawlbase: Das crawlbase Die Bibliothek ist ein Python-Wrapper für die Crawlbase-API, der es uns ermöglicht, Webanforderungen effizient zu stellen.
1
pip installieren crawlbase
  1. Schöne Suppe: Beautiful Soup ist eine Bibliothek zum Parsen von HTML- und XML-Dokumenten. Sie ist besonders nützlich zum Extrahieren von Daten aus Webseiten.
1
pip install beautifulsoup4
  1. Pandas: Pandas ist eine leistungsstarke Bibliothek zur Datenbearbeitung, die Ihnen hilft, die Scraped-Daten effizient zu organisieren und zu analysieren.
1
Pandas installieren

Wenn diese Bibliotheken installiert sind, verfügen Sie über die Tools, die Sie benötigen, um Webseiten mithilfe der Crawlbase-API abzurufen und deren Inhalt während des Scraping-Prozesses zu analysieren.

Auswahl der richtigen Entwicklungs-IDE

Eine integrierte Entwicklungsumgebung (IDE) bietet eine Codierumgebung mit Funktionen wie Codehervorhebung, Autovervollständigung und Debugging-Tools. Sie können Python-Code zwar in einem einfachen Texteditor schreiben, eine IDE kann Ihre Entwicklungserfahrung jedoch erheblich verbessern.

Hier sind einige beliebte Python-IDEs, die Sie in Betracht ziehen sollten:

  1. PyCharm: PyCharm ist eine robuste IDE mit einer kostenlosen Community Edition. Sie bietet Funktionen wie Codeanalyse, einen visuellen Debugger und Unterstützung für die Webentwicklung.

  2. Visual Studio-Code (VS-Code): VS Code ist ein kostenloser, quelloffener Code-Editor, der von Microsoft entwickelt wurde. Seine umfangreiche Erweiterungsbibliothek macht ihn vielseitig für verschiedene Programmieraufgaben einsetzbar, einschließlich Web Scraping.

  3. Jupyter Notizbuch: Jupyter Notebook eignet sich hervorragend für interaktive Codierung und Datenexploration. Es wird häufig in Data-Science-Projekten verwendet.

  4. Spyder: Spyder ist eine IDE für wissenschaftliche und datenbezogene Aufgaben. Es bietet Funktionen wie einen Variablen-Explorer und eine interaktive Konsole.

Wählen Sie die IDE, die Ihren Präferenzen und Ihrem Arbeitsablauf am besten entspricht. Sobald Sie Python installiert, die erforderlichen Bibliotheken eingerichtet und die von Ihnen gewählte IDE bereit haben, können Sie Buy Box-Daten von Amazon-Produktseiten extrahieren.

Zugriff auf die Produktseiten von Amazon

Nachdem Sie nun Ihre Entwicklungsumgebung eingerichtet haben, ist es an der Zeit, sich mit den technischen Aspekten des Zugriffs zu befassen. Amazons Produktseiten für Buy Box-Datenscraping. In diesem Abschnitt behandeln wir die Verwendung der Crawlbase Python-Bibliothek, HTTP-Anfragen zu Amazon und zur Handhabung dynamischer Inhalte.

Crawlbase Python-Bibliothek

Die Crawlbase Python-Bibliothek ist ein leichter und unabhängigkeitsfreier Wrapper für Crawlbase-APIs, der die Feinheiten des Web Scraping vereinfacht. Dieses vielseitige Tool vereinfacht Aufgaben wie das Senden von HTTP-Anfragen an Websites, die geschickte Handhabung IP-Rotation, und manövriert elegant durch Webhindernisse, einschließlich CAPTCHAs. Um Ihre Web Scraping-Reise mit dieser Bibliothek zu beginnen, können Sie diese Schritte nahtlos befolgen:

  1. Import: Um die gewaltige Crawling API aus der Crawlbase-Bibliothek müssen Sie zunächst die unverzichtbare CrawlingAPI-Klasse importieren. Dieser grundlegende Schritt ebnet den Weg für den Zugriff auf eine Reihe von Crawlbase-APIs. Hier ist ein kurzer Überblick darüber, wie Sie diese APIs importieren können:
1
für Crawlbase importieren CrawlingAPI
  1. Initialisierung: Wenn Sie Ihr Crawlbase API-Token sicher in der Hand haben, besteht der nächste entscheidende Schritt darin, die CrawlingAPI-Klasse zu initialisieren. Dieser entscheidende Moment verbindet Ihren Code mit den umfangreichen Funktionen von Crawlbase:
1
api = CrawlingAPI({ 'Zeichen': 'IHR_CRAWLBASE_TOKEN' })
  1. Senden einer Anfrage: Sobald Ihre CrawlingAPI-Klasse mit Ihrem Crawlbase-API-Token bereit ist, können Sie Anfragen an Ihre Zielwebsites senden. Hier ist ein praktisches Beispiel für die Erstellung einer GET-Anfrage, die auf das Scraping von iPhone-Einträgen von Walmarts Suchseite zugeschnitten ist:
1
2
3
Antwort = api.get(„https://www.facebook.com/britneyspears“)
if Antwort['Statuscode'] == 200:
    drucken(Antwort['Körper'])

Mit der Crawlbase Python-Bibliothek als treuem Begleiter können Sie sich getrost auf Ihre Web Scraping-Odyssee begeben. Um tiefer in die Funktionen einzutauchen, können Sie weitere Details erkunden HIER.

Abrufen des richtigen Crawlbase-Tokens

Wir müssen ein API-Token erhalten, bevor wir die Leistung der Crawlbase entfesseln können Crawling API. Crawlbase bietet zwei Arten von Token: den Normal Token (TCP) für statische Websites und den JavaScript Token (JS) für dynamische oder JavaScript-gesteuerte Websites. Da Amazon beim dynamischen Laden von Inhalten stark auf JavaScript angewiesen ist, entscheiden wir uns für den JavaScript Token. Um den reibungslosen Start zu gewährleisten, bietet Crawlbase großzügigerweise ein anfängliches Kontingent von 1,000 kostenlosen Anfragen für den Crawling API.

1
2
3
4
für Crawlbase importieren CrawlingAPI

# Initialisieren Sie die Crawling API mit Ihrem Crawlbase JavaScript-Token
api = CrawlingAPI({ 'Zeichen': „SIE_CRAWLBASE_JS_TOKEN“ })

Sie können Ihr Crawlbase-Token erhalten HIER nachdem Sie ein Konto darauf erstellt haben.

HTTP-Anfragen an Amazon stellen

Mit unserem JavaScript-Token sind wir nun bereit, die Crawlbase einzurichten. Crawling API. Aber bevor wir fortfahren, schauen wir uns die Struktur der Ausgabeantwort an. Die Antwort, die Sie erhalten, kann in zwei Formaten vorliegen: HTML oder JSON. Die Standardauswahl für die Crawling API ist HTML-Format.

HTML-Antwort:

1
2
3
4
5
6
7
Headers:
  URL: „Die URL, die gecrawlt wurde“
  ursprünglicher_status: 200
  pc_status: 200

Korpus:
  Das HTML der Seite

Wir können mehr darüber lesen Crawling API Antwort HIER. Für das Beispiel verwenden wir die Standardoption. Wir verwenden das initialisierte API-Objekt, um Anfragen zu stellen. Geben Sie die URL an, die Sie scrapen möchten, indem Sie api.get(url, options={}) Funktion.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
für Crawlbase importieren CrawlingAPI

# Initialisieren Sie die Crawling API mit Ihrem Crawlbase-Token
api = CrawlingAPI({ 'Zeichen': „SIE_CRAWLBASE_JS_TOKEN“ })

# URL der Amazon-Suchseite, die Sie scrapen möchten
amazon_product_url = „https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD“

# Stellen Sie eine Anfrage zum Scrapen der Amazon-Suchseite
Antwort = api.get(amazon_product_url)

# Überprüfen Sie, ob die Anfrage erfolgreich war
if Antwort['Statuscode'] == 200:
    # Extrahierter HTML-Inhalt nach dem Dekodieren von Byte-Daten
    # latin1 kann auch chinesische Schriftzeichen verarbeiten
    html_content = Antwort['Körper'].dekodieren('lateinisch1')

    # Speichern Sie den HTML-Inhalt in einer Datei
    mit XNUMXh geöffnet('ausgabe.html', 'w', Kodierung='utf-8') as Datei:
      datei.schreiben(html_inhalt)
sonst:
    drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])

Im bereitgestellten Codeausschnitt sichern wir den erfassten HTML-Inhalt, indem wir ihn in einer HTML-Datei speichern. Diese Aktion ist entscheidend, um den erfolgreichen Erwerb der Ziel-HTML-Daten zu bestätigen. Anschließend können wir die Datei überprüfen, um den spezifischen Inhalt im gecrawlten HTML zu untersuchen.

output.html Vorschau:

output.html Vorschau

Wie Sie oben sehen können, sind im gecrawlten HTML keine nützlichen Informationen vorhanden. Dies liegt daran, dass Amazon seine wichtigen Inhalte dynamisch mit JavaScript und Ajax lädt.

Umgang mit dynamischen Inhalten

Auf den Produktseiten von Amazon werden häufig dynamische Inhalte über JavaScript- und Ajax-Aufrufe geladen. Diese Dynamik kann beim Scraping von Daten eine Herausforderung darstellen. Mit der Crawlbase Crawling APIkönnen diese Herausforderungen wirksam bewältigt werden.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
für Crawlbase importieren CrawlingAPI

# Initialisieren Sie die Crawling API mit Ihrem Crawlbase-Token
api = CrawlingAPI({ 'Zeichen': „SIE_CRAWLBASE_JS_TOKEN“ })

# URL der Amazon-Suchseite, die Sie scrapen möchten
amazon_product_url = „https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD“

# Optionen für Crawling API
Optionen = {
 'Seite_warten': 2000,
 'ajax_wait': "wahr"
}

# Stellen Sie eine Anfrage zum Scrapen der Amazon-Suchseite mit Optionen
Antwort = api.get(amazon_product_url, Optionen)

# Überprüfen Sie, ob die Anfrage erfolgreich war
if Antwort['Statuscode'] == 200:
    # Extrahierter HTML-Inhalt nach dem Dekodieren von Byte-Daten
    html_content = Antwort['Körper'].dekodieren('lateinisch1')

    # Speichern Sie den HTML-Inhalt in einer Datei
    mit XNUMXh geöffnet('ausgabe.html', 'w', Kodierung='utf-8') as Datei:
      datei.schreiben(html_inhalt)
sonst:
    drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])

Mit Crawlbase können Sie bestimmte Parameter definieren, die eine genaue Erfassung dynamisch gerenderter Inhalte gewährleisten. Zwei wichtige Parameter, die Sie berücksichtigen sollten, sind:

  • Seite_warten: Mit diesem optionalen Parameter können Sie die Millisekundendauer angeben, die gewartet werden soll, bevor der resultierende HTML-Code erfasst wird. Verwenden Sie diesen Parameter, wenn eine Seite zusätzliche Zeit zum Rendern benötigt oder wenn AJAX-Anfragen vollständig geladen werden müssen, bevor HTML erfasst wird.
  • ajax_wait: Ein weiterer optionaler Parameter, der auf das JavaScript-Token zugeschnitten ist, ermöglicht es Ihnen, anzugeben, ob das Skript auf die Fertigstellung von AJAX-Anfragen warten soll, bevor es die HTML-Antwort empfängt. Dies ist von unschätzbarem Wert, wenn Inhalte auf die Ausführung von AJAX-Anfragen angewiesen sind.

Durch die Nutzung dieser Parameter können Sie effektiv durch die Produktseiten von Amazon navigieren und Daten daraus extrahieren, selbst wenn es sich um dynamische Inhalte handelt.

output.html Vorschau:

output.html Vorschau

Mit dem Wissen über Crawlbase und wie Sie HTTP-Anfragen an Amazon stellen, sind Sie nun bereit, Ihren Buy-Box-Tracker zu erstellen. Im nächsten Abschnitt werden wir die Feinheiten des Scrapings von Buy-Box-Daten und des Extrahierens der erforderlichen Informationen untersuchen.

Scraping von Buy Box-Daten

Das Scraping von Daten aus der Buy Box auf Amazons Produktseiten ist ein entscheidender Schritt bei der Überwachung und Verfolgung dieser begehrten Position. Um dies jedoch effektiv tun zu können, müssen Sie die Struktur der Amazon-Webseiten verstehen und wissen, welche spezifischen Daten innerhalb der Buy Box für Ihre Verfolgungszwecke entscheidend sind.

Untersuchen von HTML zum Abrufen von CSS-Selektoren

Um Daten aus der Buy Box zu extrahieren, müssen Sie zunächst die HTML-Elemente identifizieren, die die gewünschten Informationen enthalten. Bei diesem Vorgang untersuchen Sie die HTML-Struktur der Amazon-Produktseiten, um die CSS-Selektoren zu finden, die den Daten entsprechen, die Sie extrahieren möchten.

Welche Daten sind also in der Buy Box wichtig?

  1. Produkttitel: Der Name des in der Buy Box angezeigten Produkts ist für die Nachverfolgung von Änderungen in den Angeboten wichtig.
  2. Preis: Die Überwachung des aktuellen Produktpreises in der Buy Box ist wichtig, da dieser aufgrund verschiedener Faktoren häufig schwankt.
  3. Angaben zum Verkäufer: Informationen über den Verkäufer, einschließlich seines Namens und ob es sich um Amazon oder einen Drittanbieter handelt, sind von entscheidender Bedeutung, um zu verstehen, wer derzeit die Buy Box belegt.
  4. Verfügbarkeit: Durch die Überprüfung der Produktverfügbarkeit können Verkäufer die Konkurrenz um die Buy Box einschätzen.
  5. In den Warenkorb Button: Die Überwachung von Änderungen an der Schaltfläche „In den Einkaufswagen“ ist wichtig, um anzuzeigen, ob Kunden das Produkt direkt aus der Buy Box kaufen können.

Lassen Sie uns skizzieren, wie Sie die HTML-Struktur überprüfen und CSS-Selektoren für diese Informationen finden können:

Amazon-Produktseite prüfen
  1. Öffnen Sie die Webseite: Navigieren Sie zur Amazon-Website und landen Sie auf einer Produktseite, die Ihr Interesse weckt.
  2. Klicken Sie mit der rechten Maustaste und prüfen Sie: Klicken Sie mit der rechten Maustaste auf ein Element, das Sie extrahieren möchten (z. B. eine Buy Box), und wählen Sie im Kontextmenü „Untersuchen“ oder „Element untersuchen“. Dieser mystische Zauberspruch ruft die Entwicklertools des Browsers hervor.
  3. Suchen Sie die HTML-Quelle: Innerhalb der Grenzen der Entwicklertools wird der HTML-Quellcode der Webseite seine Geheimnisse preisgeben. Bewegen Sie den Cursor über verschiedene Elemente im HTML-Bedienfeld und erleben Sie, wie die entsprechenden Teile der Webseite wie von Zauberhand aufleuchten.
  4. Identifizieren von CSS-Selektoren: Um Daten aus einem bestimmten Element freizugeben, klicken Sie in den Entwicklertools mit der rechten Maustaste darauf und wählen Sie „Kopieren“ > „Selektor kopieren“. Mit diesem eleganten Manöver wird der CSS-Selektor für dieses Element in Ihre Zwischenablage übertragen, damit er für Ihre Web Scraping-Beschwörungen verwendet werden kann.

Sobald Sie über diese Selektoren verfügen, können Sie mit der Strukturierung Ihres Daten-Scrapers fortfahren, um die erforderlichen Informationen effektiv zu extrahieren.

Strukturieren Sie Ihren Daten-Scraper

Nachdem wir nun erfolgreich den HTML-Inhalt der dynamischen Produktseite von Amazon abgerufen haben und wissen, wie man einen CSS-Selektor erhält, ist es an der Zeit, die wertvollen Daten für die Amazon Buy Box aus dem abgerufenen Inhalt zu extrahieren. In diesem entwicklerorientierten Abschnitt erstellen wir ein Python-Skript, das Produktdaten von der Suchergebnisseite von Walmart gekonnt erfasst.

Dieses Skript fasst die Essenz des Web Scraping zusammen: Erstellen von HTTP-Anfragen, Parsen von HTML-Inhalten und Extrahieren der wichtigen Informationen, die wir suchen.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

def initialize_crawlbase_api(Zeichen):
    Rückkehr CrawlingAPI({'Zeichen': Zeichen})

def scrape_amazon_product_html(HTML-Inhalt):
    Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')
    produkt_info = {}

    def get_text_or_default(Selektor, Standard="Nicht gefunden"):
        Element = soup.select_one(Selektor)
        Rückkehr element.text.strip() if Element sonst Standard

    def ist_Element_vorhanden(Wähler):
        Element = soup.select_one(Selektor)
        Rückkehr "Gegenwärtig" if Element sonst „Nicht vorhanden“

    Produktinfo[„Jetzt kaufen“-Button] = ist_Element_vorhanden('span#submit\\.jetzt kaufen')
    Produktinfo[„Zum Warenkorb hinzufügen“-Schaltfläche] = ist_Element_vorhanden('span#submit\\.zum Warenkorb hinzufügen')
    Produktinfo['Verfügbarkeit'] = Text_oder_Standard abrufen('#Verfügbarkeitsspanne')
    Produktinfo['Produkttitel'] = Text_oder_Standard abrufen('#Produkttitel')
    Produktinfo['Preis'] = Text_oder_Standard abrufen(„.a-Preis .a-Offscreen“)
    Produktinfo['Name des Versenders'] = Text_oder_Standard abrufen(„#fulfillerInfoFeature_feature_div span.offer-display-feature-text-message“)
    Produktinfo['Verkäufername'] = Text_oder_Standard abrufen(„#merchantInfoFeature_feature_div span.offer-display-feature-text-message“)

    Rückkehr Produktinformation

def scrape_amazon_product_info(API, URL):
    Optionen = {
        'Seite_warten': 2000,
        'ajax_wait': "wahr"
    }
    Antwort = api.get(URL, Optionen)

    if Antwort['Statuscode'] == 200:
        html_content = Antwort['Körper'].dekodieren('lateinisch1')
        Rückkehr scrape_amazon_product_html(html_Inhalt)
    sonst:
        drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine

def Haupt-†
    api = initialize_crawlbase_api(„SIE_CRAWLBASE_JS_TOKEN“)
    Produktinfo = scrape_amazon_product_info(API, „https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD“)

    if Produktinfo:
        drucken(json.dumps(Produktinfo, Einzug=2))

if __name__ == "__hauptsächlich__":
    Main()

Dieses Python-Skript durchsucht Amazon-Produktdaten mithilfe der Crawlbase Crawling API und die BeautifulSoup-Bibliothek. Es beginnt mit der Initialisierung der Crawling API mit einem benutzerspezifischen Token. Die Kernfunktionalität ist gekapselt in der scrape_amazon_product_info Funktion, die Daten von einer angegebenen Amazon-Produkt-URL abruft. Diese Funktion stellt eine HTTP-Anfrage an die angegebene URL und prüft, ob der Antwortstatuscode 200 lautet, was eine erfolgreiche Anfrage anzeigt. Bei Erfolg analysiert sie den HTML-Inhalt mithilfe von BeautifulSoup.

Im Inneren der scrape_amazon_product_html Funktion: Es verwendet verschiedene CSS-Selektoren, um bestimmte Informationen aus dem HTML zu extrahieren, z. B. das Vorhandensein der Schaltflächen „Jetzt kaufen“, „In den Einkaufswagen“, Produktverfügbarkeit, Produkttitel, Preis, Name des Versenders und Name des Verkäufers. Es behandelt Fälle, in denen das Element nicht gefunden wird, und weist den Standardwert „Nicht gefunden“ zu.

Schließlich ruft das Skript den main Funktion, die den Crawling API, kratzt Produktdaten aus einer Beispiel-URL eines Amazon-Produkts und druckt die kratzten Daten als gut formatiertes JSON-Objekt aus. Dieser Code bietet eine klare und strukturierte Möglichkeit, wichtige Informationen von Amazon-Produktseiten abzurufen, und ist somit ein wertvolles Tool zum Verfolgen und Überwachen von Produktdaten.

Beispielausgabe:

1
2
3
4
5
6
7
8
9
{
  „Jetzt kaufen-Button“: "Gegenwärtig",
  „Zum Warenkorb hinzufügen“-Button: "Gegenwärtig",
  "Verfügbarkeit": "Auf Lager",
  "Produkttitel": „Motorola Moto G Stylus 5G | 2021 | 2-Tage-Akku | Ohne Vertrag | Für die USA hergestellt 4/128 GB | 48-MP-Kamera | Cosmic Emerald“,
  "Preis": "$ 149.99",
  „Name des Versenders“: "Amazon.com",
  "Verkäufername": "Amazon.com"
}

Speichern von Scraped-Daten in einer CSV-Datei

Nachdem die Buy Box-Daten erfolgreich von den Produktseiten von Amazon extrahiert wurden, besteht der nächste logische Schritt darin, diese wertvollen Informationen effizient zu speichern. CSV (Comma-Separated Values) ist ein weit verbreitetes Format zum Speichern tabellarischer Daten und ist besonders nützlich, wenn Sie AliExpress mit Python scrapen. Es bietet eine einfache und für Menschen lesbare Möglichkeit, strukturierte Daten zu speichern, und ist daher eine ausgezeichnete Wahl zum Speichern Ihrer gescrapten Amazon Buy Box-Daten.

Wir erweitern unser bisheriges Suchseiten-Scraping-Skript um einen Schritt zum Speichern wichtiger Informationen aus den Scraped-Daten in einer CSV-Datei. Dazu verwenden wir die beliebte Python-Bibliothek Pandas. Nachfolgend finden Sie eine aktualisierte Version des Skripts:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren Pandas as pd

def initialize_crawlbase_api(Zeichen):
    Rückkehr CrawlingAPI({'Zeichen': Zeichen})

def scrape_amazon_product_html(HTML-Inhalt):
    Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')
    produkt_info = {}

    def get_text_or_default(Selektor, Standard="Nicht gefunden"):
        Element = soup.select_one(Selektor)
        Rückkehr element.text.strip() if Element sonst Standard

    def ist_Element_vorhanden(Wähler):
        Element = soup.select_one(Selektor)
        Rückkehr "Gegenwärtig" if Element sonst „Nicht vorhanden“

    Produktinfo[„Jetzt kaufen“-Button] = ist_Element_vorhanden('span#submit\\.jetzt kaufen')
    Produktinfo[„Zum Warenkorb hinzufügen“-Schaltfläche] = ist_Element_vorhanden('span#submit\\.zum Warenkorb hinzufügen')
    Produktinfo['Verfügbarkeit'] = Text_oder_Standard abrufen('#Verfügbarkeitsspanne')
    Produktinfo['Produkttitel'] = Text_oder_Standard abrufen('#Produkttitel')
    Produktinfo['Preis'] = Text_oder_Standard abrufen(„.a-Preis .a-Offscreen“)
    Produktinfo['Name des Versenders'] = Text_oder_Standard abrufen(„#fulfillerInfoFeature_feature_div span.offer-display-feature-text-message“)
    Produktinfo['Verkäufername'] = Text_oder_Standard abrufen(„#merchantInfoFeature_feature_div span.offer-display-feature-text-message“)

    Rückkehr Produktinformation

def scrape_amazon_product_info(API, URL):
    Optionen = {
        'Seite_warten': 2000,
        'ajax_wait': "wahr"
    }
    Antwort = api.get(URL, Optionen)

    if Antwort['Statuscode'] == 200:
        html_content = Antwort['Körper'].dekodieren('lateinisch1')
        Rückkehr scrape_amazon_product_html(html_Inhalt)
    sonst:
        drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine

def Haupt-†
    api = initialize_crawlbase_api(„SIE_CRAWLBASE_JS_TOKEN“)
    Produktinfo = scrape_amazon_product_info(API, „https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD“)

    if Produktinfo:
        # Erstellen Sie einen DataFrame aus dem product_info-Wörterbuch
        df = pd.DataFrame([Produktinfo])
        # Speichern Sie den DataFrame in einer CSV-Datei
        df.to_csv(„amazon_product_info.csv“, Index=falsch)

if __name__ == "__hauptsächlich__":
    Main()

Der aktualisierte Code speichert Daten in einer CSV-Datei unter Verwendung der Pandas-Bibliothek. Zunächst erstellt er einen Pandas DataFrame aus dem product_info Wörterbuch, wobei jedes Schlüssel-Wert-Paar im Wörterbuch einer Spalte im DataFrame entspricht. Anschließend wird der DataFrame als CSV-Datei gespeichert. Die pd.DataFrame([product_info]) Anweisung erstellt den DataFrame mit einer einzelnen Datenzeile und stellt sicher, dass die Daten in einer tabellarischen Struktur organisiert sind. Schließlich df.to_csv('amazon_product_info.csv', index=False) exportiert den DataFrame in eine CSV-Datei namens amazon_product_info.csv Dabei wird die Standardindizierung weggelassen, die Pandas zur CSV hinzufügt, was zu einer sauberen und strukturierten Speicherung der extrahierten Amazon-Produktinformationen führt.

amazon_product_info.csv Vorschau:

Vorschau der CSV-Ausgabedatei

Zusammenfassung

Ich hoffe, Sie können jetzt problemlos Amazon Buy Box-Daten scrapen. Weitere Tutorials zum Scraping von Amazon finden Sie unter den folgenden Links:

📜 So scrapen Sie Amazon-Bewertungen
📜 So scrapen Sie Amazon-Suchseiten
📜 So kratzen Sie Amazon-Produktdaten

Weitere Amazon Scraping-Tutorials finden Sie in unseren Anleitungen zum Scraping Amazon-Preise, Amazon PPC-Anzeigen, Amazon-ASIN, Amazon Bewertungen, Amazon Bilder und Amazon-Daten in Ruby.

Wir haben eine umfangreiche Bibliothek mit Tutorials wie diesen auch für andere E-Commerce-Sites wie Scraping Walmart, eBay und AliExpress Produktdaten.

Wenn Sie Fragen haben oder Hilfe benötigen, zögern Sie nicht, uns zu kontaktieren HIER. Wir sind hier um zu helfen!

Häufig gestellte Fragen

F: Was ist die Amazon Buy Box und warum ist sie wichtig?

Die Amazon Buy Box ist ein wichtiges Feature auf Produktseiten, auf denen Kunden sofort einkaufen können. Sie ist wichtig, weil sie den Umsatz erheblich beeinflusst. Wenn Sie auf „In den Einkaufswagen“ oder „Jetzt kaufen“ klicken, kaufen Sie bei dem Verkäufer in der Buy Box. Die Buy Box zu gewinnen ist wie die Pole Position in einem E-Commerce-Rennen zu erringen. Sie ist sowohl für Käufer als auch für Verkäufer wichtig, weil der Großteil der Verkäufe bei Amazon über diese Box abgewickelt wird. Der Verkäufer, der die Buy Box besetzt, genießt hohe Sichtbarkeit, mehr Umsatz und Kundenvertrauen.

F: Warum benötigen Verkäufer Datenscraping zur Überwachung der Buy Box?

Verkäufer benötigen Data Scraping, um mit der dynamischen und wettbewerbsorientierten Natur der Buy Box Schritt zu halten. Die Buy Box ändert sich ständig je nach Preis, Verfügbarkeit und Verkäuferleistung. Um erfolgreich zu sein, müssen Verkäufer ihre Strategien in Echtzeit anpassen. Data Scraping bietet Echtzeitüberwachung und Daten zu verschiedenen Aspekten, einschließlich Preisen und Leistung der Konkurrenz. Es hilft Verkäufern, ihre Strategien zu optimieren und sich den Platz in der Buy Box zu sichern.

F: Wie bewältigt Data Scraping Herausforderungen wie Anti-Scraping-Maßnahmen?

Websites wie Amazon verfügen über Abwehrmechanismen, um Scraping zu verhindern, beispielsweise durch die Verfolgung ungewöhnlichen Verhaltens oder das Blockieren von IP-Adressen. Daten-Scraping-Tools wie Crawlbase Crawling API, sind darauf ausgelegt, diese Maßnahmen zu umgehen. Sie können IP-Adressen rotieren, was es für Amazon schwieriger macht, sie zu blockieren. Darüber hinaus können sie Captchas automatisch lösen, sodass das Scraping ohne Unterbrechung fortgesetzt werden kann.

F: Was benötige ich, um mit dem Scraping von Buy Box-Daten auf Amazon zu beginnen?

Um mit dem Scraping von Buy Box-Daten zu beginnen, benötigen Sie einige Dinge. Zunächst sollte Python auf Ihrem Computer installiert sein. Sie benötigen außerdem bestimmte Bibliotheken für das Web Scraping, wie Crawlbase, Beautiful Soup und Pandas. Diese Bibliotheken helfen Ihnen, Anfragen zu stellen, Webseiten zu analysieren und Daten effizient zu organisieren. Darüber hinaus benötigen Sie ein Crawlbase-Token, das Ihnen über die Crawlbase Zugriff auf die Website von Amazon gewährt. Crawling API. Sie können mit diesen Tools und Ihrem Token mit dem Scraping Ihrer Buy Box-Daten beginnen.