Im Jahr 2025 kann es schwierig sein, Amazon mit Proxys zu entsperren, da der Technologieriese seine Systeme ständig aktualisiert, um automatisierten Datenverkehr zu blockieren. Dies erschwert den Zugriff auf Daten bei Amazon.

Das heißt aber nicht, dass es unmöglich ist, die benötigten Daten zu scrapen. Heute stellen wir Ihnen eine narrensichere Methode vor, um die Blockierung aufzuheben. Amazon-Daten mit automatisierten Smart Proxy, ein Dienst, der Ihnen Zugriff auf rotierende IP-Adressen aus einem Serverpool mit Millionen von Proxys gewährt.

Diese Anleitung zeigt Ihnen, wie Sie Amazon-Proxy-Probleme beheben und Daten zuverlässig scrapen können mit Crawlbase Smart Proxy. Eine vollständige Anleitung zum effektiven Scraping von Amazon.

Inhaltsverzeichnis

Warum Amazon blockiert Crawlers und Proxies

Amazon verarbeitet jeden Monat Milliarden von Verbindungen weltweit, viele davon zielen darauf ab, wertvolle E-Commerce-Daten abzurufen. Während ein Großteil dieser Verbindungen von regulären Käufern stammt, wird ein erheblicher Teil immer noch von Bots und Crawlern generiert.

Amazon CAPTCHA

Haben Sie diese Seite schon einmal gesehen? Ja, dafür haben Sie Bots gesorgt. Sie sind nur eine von vielen Schutzmechanismen, mit denen Amazon seine Website schützt. Indem sie automatisierten Datenverkehr blockieren, tragen sie zur Stabilität der Plattform bei, senken die Betriebskosten und sorgen für ein reibungsloses Erlebnis für echte Nutzer.

Wir haben einen Amazon-Scraper entwickelt, der alle Arten von Amazon-Daten verarbeiten kann. Probieren Sie es jetzt

Amazons Abwehrmaßnahmen gegen Bots verstehen

Angesichts des stetig wachsenden Datenhungers hat Amazon sich natürlich an den Kampf gegen unerwünschten Datenverkehr angepasst und verfügt heute über eines der fortschrittlichsten Anti-Bot-Systeme der Branche. Die Abwehrmechanismen sind speziell auf die Bekämpfung nicht-menschlicher Aktivitäten ausgelegt, um die Infrastruktur zu schützen und ein reibungsloses Benutzererlebnis zu gewährleisten.

Der Bot-Schutz von Amazon basiert auf einer Kombination der folgenden Elemente:

  • JavaScript-Herausforderungen und CAPTCHAs Eine der häufigsten Formen des Anti-Bot-Schutzes ist eine Seite, die prüft, ob der Besucher eine reale Person ist. Normalerweise wird ein Bild mit verzerrten Buchstaben angezeigt, und Sie werden aufgefordert, die korrekten Zeichen einzugeben, um zu beweisen, dass Sie ein Mensch sind.
  • Rate Limiting Obwohl Amazon seine Ratenbegrenzungsregeln nicht öffentlich bekannt gibt, ist dies in der Scrapping-Community ein bekanntes Problem. Die Praxis zeigt, dass das Senden zu vieler Anfragen in sehr kurzer Zeit oft zu einer Blockierung führt.
  • IP-Reputation und Geolokalisierung Wie der Name schon sagt, ist die IP-Reputation ein Maß dafür, wie vertrauenswürdig eine IP-Adresse aufgrund ihres Verhaltens ist. Verdächtige IPs werden oft sofort auf die schwarze Liste gesetzt, und selbst private IPs aus nicht unterstützten Regionen können Sperren auslösen.
  • Gerätefingerabdruck - Dies umfasst typischerweise die Erkennung von Browser-Headern, Benutzeragenten und Plugins. Diese Details werden analysiert und Sie werden möglicherweise markiert, wenn die hergestellte Verbindung nicht funktioniert.
  • Verhaltensanalyse Amazon überwacht auch die Interaktion der Nutzer mit der Website. Bots können menschliches Verhalten oft nicht realistisch nachbilden und lösen Abwehrmaßnahmen aus.

Das Zusammenspiel aller dieser Systeme macht das Scraping bei Amazon zu einer der anspruchsvollsten Aufgaben, die zuverlässig durchgeführt werden müssen.

Introducing... Smart Proxy

Trotz der Bemühungen von Amazon, seine Website vor künstlichem Verkehr zu schützen, lässt sich nicht leugnen Amazons Nettoeinkommen wächst weiterhin jedes Jahr. Aus diesem Grund sind viele Branchen auf Amazon-Daten angewiesen. Die einzige Möglichkeit, diese Herausforderungen zu meistern, besteht darin, die eigenen Anstrengungen zu intensivieren.

Wie Smart Proxy Entsperrt Amazon-Seiten für Web Scraping

Was diese Proxys „intelligent“ macht

Smart Proxy ist einer der besten Amazon-Proxys auf dem Markt, da er den Bot-Schutz der Plattform direkt entgegenwirkt. Im Kern handelt es sich um eine KI, die darauf trainiert ist, mehrere oder alle der folgenden Schlüsselfunktionen zu nutzen:

  • Rotierende IP-Adressen - Smart Proxy Ihre Anfragen werden intelligent über Tausende von IPs verteilt, anstatt sich auf eine einzige zu verlassen, die leicht von Websites blockiert oder markiert werden könnte. Diese intelligente Umschaltung hilft Ihnen, Ratenbegrenzungen und Sperren zu vermeiden, was weniger Wiederholungsversuche und eine deutlich höhere Erfolgsquote bedeutet.
  • Hochwertige IPs - Smart Proxy verwendet eine Mischung aus Rechenzentrums-, Wohn- und mobilen IP-Adressen, die sorgfältig überwacht und gewartet werden, um die Vertrauenswürdigkeit jeder einzelnen IP-Adresse sicherzustellen. Dies ist besonders wichtig bei Plattformen wie Amazon, die über strenge Anti-Bot-Systeme verfügen, die verdächtige Aktivitäten leicht erkennen können.
  • Intelligente Geolokalisierung - Aufgrund der integrierten KI und des maschinellen Lernens Smart Proxy kann automatisch den besten IP-Standort basierend auf der von Ihnen anvisierten Website auswählen. Wenn Sie mehr Kontrolle wünschen, können Sie das Land, aus dem die Anfrage erfolgen soll, auch manuell auswählen.
  • Adaptiver Benutzeragent - Im Gegensatz zu statischen oder rein zufälligen Benutzeragenten, Smart Proxy Wählt intelligent den Benutzeragenten aus, der den Erwartungen der Zielwebsite am besten entspricht (z. B. Mobil- vs. Desktop-Version, Browserversion oder Standort). Dies erhöht die Wahrscheinlichkeit eines erfolgreichen Zugriffs und hilft, eine Erkennung zu vermeiden.

Einfache Einrichtung und flexible Protokolle

Smart Proxy ist nicht nur eine clevere Möglichkeit, Amazon zu entsperren, sondern fügt sich auch nahtlos in Ihr bestehendes Setup ein. Sie benötigen lediglich den Proxy-Host, den Port und Ihren Authentifizierungsschlüssel, um loszulegen.

Der Crawlbase Smart Proxy unterstützt sowohl HTTP- als auch HTTPS-Protokolle:

  • HTTP: smartproxy.crawlbase.com:8012
  • HTTPS: smartproxy.crawlbase.com:8013

Die HTTPS-Option bietet eine zusätzliche Sicherheitsebene, da die SSL/TLS-Verschlüsselung direkt auf Proxy-Ebene erfolgt. Beachten Sie jedoch, dass die clientseitige SSL-Verifizierung deaktiviert ist. Wenn Sie curl verwenden, benötigen Sie daher das Flag -k.

Dies macht es vielseitiger und unternehmenstauglicher und ermöglicht es Benutzern, ihre bevorzugte Verbindungsmethode basierend auf ihren Sicherheitsanforderungen auszuwählen.

Amazon Proxy Unblocker: Vollständige Einrichtungsanleitung

In diesem Abschnitt zeigen wir Ihnen Schritt für Schritt, wie Sie Ihren Webcrawler vor der Markierung oder Blockierung durch Amazon schützen.

Einrichten Ihrer Codierumgebung

Bevor Sie Ihren Amazon-Proxy-Unblocker erstellen, müssen Sie eine grundlegende Python-Umgebung einrichten. So starten Sie:

  • Installieren Sie Python 3 auf deinem Computer
  • Installieren requests Modul, das das Senden von HTTP-Anfragen in Python erleichtert.
1
python -m pip Installationsanforderungen

Hinweis: Sie können Ihren Code mit jedem Texteditor schreiben und ausführen, aber die Verwendung einer IDE kann die Arbeit beschleunigen. Tools wie PyCharm or VS-Code eignen sich hervorragend zum Schreiben von Python-Code, insbesondere für Anfänger, da sie hilfreiche Funktionen wie Syntaxhervorhebung, Fehlerprüfung und Debugging-Tools enthalten.

Anmeldeinformationen erhalten

  1. Registrieren für eine Crawlbase Konto und melden Sie sich an, um Ihre 5,000 kostenlosen Anfragen zu erhalten
  2. Ihre Smart Proxy Privater Token

Ihre erste erfolgreiche Anfrage stellen

Ihre Programmierumgebung sollte nun bereit sein. Versuchen wir, Ihre erste Anfrage zu senden.

In diesem Beispielcode versuchen wir, den HTML-Inhalt dieses Amazon-Produktdetailseite. Sie können diesen Code kopieren, achten Sie jedoch darauf, den Private_token durch den tatsächlichen Token oder Authentifizierungsschlüssel zu ersetzen, den Sie von Ihrem Crawlbase Konto.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
importieren Zugriffe
von urllib3.exceptions importieren Unsichere Anfragewarnung

requests.packages.urllib3.disable_warnings(Kategorie=UnsichereAnforderungswarnung)

url_to_crawl = "https://www.amazon.com/Apple-iPhone-Silicone-Case-MagSafe/dp/B0CHX2XFLN"

crawlbase_private_token = " "
crawlbase_smart_proxy_url = (
    f"https://{crawlbase_private_token}:@smartproxy.crawlbase.com:8013"
)

versuchen:
    Antwort = Anfragen.get(
        url=zu_crawlende_URL,
        Proxys = {
            "http": crawlbase_smart_proxy_url,
            "https": crawlbase_smart_proxy_url
        },
        verifizieren=falsch,
        Auszeit=30,
    )
    Response.raise_for_status()

    drucken("Antwortcode:", Antwort.Statuscode)
    drucken("Antworttext:", Antworttext)

ausgeschlossen Anfragen.Ausnahmen.RequestException as e:
    drucken(f"Ein Fehler ist aufgetreten: {e}")

Bitte beachten Sie unsere GitHub-Repository für die Quellcode.

Wichtige Dinge zu wissen

  • Smart Proxy URL: Das Format https://<TOKEN>:@smartproxy.crawlbase.com:8013 So erfolgt die Authentifizierung. Ihr Token wird als Benutzername in der Proxy-Verbindung verwendet.
  • überprüfen=Falsch: Dadurch wird die SSL-Verifizierung auf der Clientseite deaktiviert, die hier erforderlich ist, da SSL vom Proxy selbst gehandhabt wird, wie im Abschnitt Smart Proxy Dokumentation.

Sobald Sie diesen Code ausführen, sollten Sie eine 200-Antwort und das vollständige HTML der Amazon-Produktseite sehen, ähnlich dem Bild unten.

HTML-Code der Amazon-Produktdetailseite in einer Terminalkonsolenausgabe

Amazon entsperren mit Smart Proxy: Ein praktischer Anwendungsfall

Wenden wir nun das Gelernte in der Praxis an. Wir zeigen Ihnen, wie Sie eine Liste mit Bewertungen von einer Amazon-Produktseite extrahieren und die Daten in einer CSV-Datei speichern.

Extrahieren spezifischer Daten

Wir verwenden die Data Scraper-Funktion von Crawlbase namens Amazon-Produktdetails Schaber über das CrawlbaseAPI-Parameter Header. Dadurch kann unser Code die Amazon-Seite automatisch analysieren und saubere, strukturierte JSON-Daten zurückgeben.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
importieren Zugriffe
importieren JSON
von urllib3.exceptions importieren Unsichere Anfragewarnung

requests.packages.urllib3.disable_warnings(Kategorie=UnsichereAnforderungswarnung)

url_to_crawl = "https://www.amazon.com/Apple-iPhone-Silicone-Case-MagSafe/dp/B0CHX2XFLN"
crawlbase_private_token = " "
crawlbase_crawling_api_parameters = "scraper=amazon-product-details"
crawlbase_smart_proxy_url = (
    f"https://{crawlbase_private_token}:@smartproxy.crawlbase.com:8013"
)

versuchen:
    Antwort = Anfragen.get(
        url=zu_crawlende_URL,
        Überschriften={"CrawlbaseAPI-Parameter": crawlbase_crawling_api_parameters},
        Proxys = {"http": crawlbase_smart_proxy_url, "https": crawlbase_smart_proxy_url},
        verifizieren=falsch,
        Auszeit=30,
    )
    Response.raise_for_status()

    json_data = json.loads(Antwort.text)
    Produktbewertungen = json_data["Karosserie"]["Bewertungen"]

    für  Überprüfen in Produktbewertungen:
        # TODO, speichere die Werte hier in einer CSV-Datei
        # aber vorerst Konsolendruck
        drucken("--------------------")
        drucken("Autor: ", Rezension["Gutachtername"])
        drucken("Bewertung: ", Rezension["Bewertungsbewertung"])
        drucken(" Datum: ", Rezension["Überprüfungsdatum"])
        drucken("Rezension: ", Rezension["Bewertungstext"])

ausgeschlossen Anfragen.Ausnahmen.RequestException as e:
    drucken(f"Ein Fehler ist aufgetreten: {e}")

Bitte beachten Sie unsere GitHub-Repository für die Quellcode.

Wie das funktioniert

  • CrawlbaseAPI-Parameter: Der scraper=amazon-product-details Parameter erzählt Crawlbase um die Produktseite zu analysieren und strukturiertes JSON zurückzugeben, das Bewertungen, Ratings, Produktinformationen usw. enthält.
  • JSON-Antwort drucken: Wir extrahieren die Liste der Bewertungen aus json_data["body"]["reviews"] und durchlaufen sie. Für jede Produktbewertung drucken wir die Autorin, Rating, Datum und Bewertung Text.
Analysierte Ausgabe der Terminalkonsole für Amazon-Produktbewertungen

Kompilieren extrahierter Daten in CSV

Schließlich können Sie den Code einfach ändern, um die Bewertungen zur späteren Analyse in einer CSV-Datei zu speichern. Hier ist ein Beispiel für die Datenspeicherung.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
importieren Zugriffe
importieren JSON
importieren csv # neu hinzugefügter Code
von urllib3.exceptions importieren Unsichere Anfragewarnung

requests.packages.urllib3.disable_warnings(Kategorie=UnsichereAnforderungswarnung)

url_to_crawl = "https://www.amazon.com/Apple-iPhone-Silicone-Case-MagSafe/dp/B0CHX2XFLN"
crawlbase_private_token = " "
crawlbase_crawling_api_parameters = "scraper=amazon-product-details"
crawlbase_smart_proxy_url = (
    f"https://{crawlbase_private_token}:@smartproxy.crawlbase.com:8013"
)

versuchen:
    Antwort = Anfragen.get(
        url=zu_crawlende_URL,
        Überschriften={"CrawlbaseAPI-Parameter": crawlbase_crawling_api_parameters},
        Proxys = {"http": crawlbase_smart_proxy_url, "https": crawlbase_smart_proxy_url},
        verifizieren=falsch,
        Auszeit=30,
    )
    Response.raise_for_status()

    json_data = json.loads(Antwort.text)
    Produktbewertungen = json_data["Karosserie"]["Bewertungen"]

    # Beginn des neu ersetzten Codes
    mit XNUMXh geöffnet("product_reviews.csv", "w", neue Zeile="") as Datei:
        Writer = csv.writer(Datei)
        Schriftsteller.writerow(["Autor", "Bewertung", "Datum", "Rezension"])  # Kopfzeile
        für  Überprüfen in Produktbewertungen:
            Schriftsteller.writerow(
                [
                    Rezension["Gutachtername"],
                    Rezension["Bewertungsbewertung"],
                    Rezension["Überprüfungsdatum"],
                    Rezension["Bewertungstext"],
                ]
            )
    # Ende des neu ersetzten Codes

ausgeschlossen Anfragen.Ausnahmen.RequestException as e:
    drucken(f"Ein Fehler ist aufgetreten: {e}")

Bitte beachten Sie unsere GitHub-Repository für die Quellcode.

Dieser einfache Codeausschnitt schreibt in eine neue CSV-Datei mit dem Namen product_reviews.csv.

Amazon-Produktbewertungen in einer CSV-Datei und Anzeige in Microsoft Excel

Dies ist ein grundlegender Anwendungsfall für die Interaktion mit den Produktseiten von Amazon. Sie können das Skript für verschiedene Aufgaben anpassen, z. B. zum Extrahieren anderer Produktdetails wie Preise, ASIN-Werte und Beschreibungen.

Wir haben den vollständigen Code für diese Lösung auf GitHub veröffentlicht. Sie können ihn ansehen hier.

Entsperren Sie Amazon Scraping mit Smart Proxy

In einer Welt, in der Daten so wertvoll wie Gold sind, überrascht es nicht, dass viele nach Möglichkeiten suchen, auf sie zuzugreifen, selbst wenn ihnen dabei Hindernisse im Weg stehen. Smart Proxy bietet eine effiziente Lösung für Privatpersonen und Unternehmen gleichermaßen und vereinfacht den komplexen Prozess des Web Scraping, indem es die schwere Arbeit im Hintergrund übernimmt.

In diesem Artikel haben wir die Macht von Smart Proxy und wie einfach der Einstieg ist. Wenn Sie an einem kleinen Projekt arbeiten oder Ihre Abläufe für die Datenextraktion im großen Maßstab skalieren, Smart Proxy kann Ihnen helfen, schnell, zuverlässig und ohne den üblichen Aufwand auf die benötigten Informationen zuzugreifen. Versuchen Smart Proxy für Amazon Scraping und erhalten Sie 5,000 Gratis-Credits.

Häufig gestellte Fragen

F: Warum sollte ich Smart Proxy als meine Lösung zum Entsperren des Amazon-Proxys?

A: Smart Proxy ist eine kostengünstige Lösung, mit der Sie Amazons Anti-Bot-Systeme einfach umgehen können. Anstatt in eine eigene Proxy-Infrastruktur zu investieren oder Entwickler für die Entwicklung und Wartung komplexer Crawler zu bezahlen, Smart Proxy bietet eine vereinfachte und zentralisierte Lösung für Crawling-Probleme.

Es enthält auch nützliche Funktionen wie die Datenkratzer Wir haben es bereits gezeigt. Sie können strukturierte Daten nicht nur von verschiedenen Amazon-Seiten, sondern auch von anderen beliebten Websites extrahieren.

F: Benötige ich einen Benutzernamen und ein Passwort zur Nutzung Smart Proxy?

A: Nein, Sie benötigen nicht den herkömmlichen Proxy-Benutzernamen und das Passwort für die Authentifizierung mit Smart Proxy. Stattdessen verwendet es einen Proxy-Host, Port und einen eindeutigen Authentifizierungsschlüssel oder Token, den Sie auf Ihrem Benutzerkonto Übersicht.

Diese tokenbasierte Authentifizierung vereinfacht die Integration, reduziert Fehler und ist sicherer als das Einbetten von Anmeldeinformationen in Ihren Code. Sie erleichtert außerdem die Verwaltung Ihres Systems, insbesondere bei der Skalierung Ihres Setups oder der Rotation von Proxys über mehrere Anfragen oder Umgebungen hinweg.

F: Kann ich verwenden? Smart Proxy um andere Websites als Amazon zu crawlen?

A: Ja, Smart Proxy wurde entwickelt, um Ihnen beim Crawlen der meisten öffentlichen Websites zu helfen, Blockaden und CAPTCHAs zu vermeiden. In den folgenden Artikeln erfahren Sie mehr über weitere Möglichkeiten zur Nutzung Smart Proxy: