Der Zugriff auf geografisch beschränkte Daten in großem Umfang erfordert mehr als nur IP-Rotation. Sie benötigen präzise Kontrolle über die Zielgruppenansprache nach Land und Postleitzahl sowie die automatische Verwaltung von Sperren, Sitzungen und standortspezifischen Cookies. Herkömmliche VPNs und Proxy-Pools stoßen an ihre Grenzen, wenn Sie postleitzahlengenaue Preise von Amazon oder länderspezifische Suchergebnisse von Google benötigen.

Smart AI Proxy Dies wird dadurch behoben, dass Sie für jede Anfrage mithilfe von Headern den Geostandort angeben können. Gleichzeitig verwalten KI-Systeme die IP-Auswahl, -Rotation und die Blockierungsabwehr auf Basis von Echtzeit-Antwortsignalen.

Warum ist der Zugriff auf geografisch gesperrte Daten in großem Umfang so schwierig?

Geodatenänderungen basieren auf mehreren Signalen, nicht nur auf der IP-Adresse.

Zu den Schlüsselfaktoren gehören:

  • Länderspezifische Preise, Suchergebnisse und Verfügbarkeit
  • IP-Geolokalisierung und ASN-Reputation
  • Anfrage-Header wie Accept-Language
  • Kontext von Cookies und Lieferort

Deshalb kann dieselbe URL je nach Herkunft der Anfrage unterschiedlichen HTML-Code zurückgeben.

In der Praxis sieht man das überall:

  • Amazon zeigt je nach Land und Postleitzahl unterschiedliche Preise, Steuern und Lieferoptionen an.
  • Die Google-Suchergebnisse variieren je nach Land und Stadt.
  • Lokale Marktplätze präsentieren unterschiedliche Verkäufer und Warenbestände pro Region.

Wenn man von einer Handvoll Anfragen auf Tausende oder Millionen skaliert, wird es zur eigentlichen Herausforderung, all diese Signale aufeinander abzustimmen und konsistent zu halten.

Warum VPNs und manuelle Proxy-Konfigurationen beim Geo-Targeting scheitern

Die meisten Teams beginnen mit VPNs oder einfachen Proxy-Pools, und diese funktionieren oft in der frühen Testphase. Die Probleme treten auf, sobald es auf Datenvolumen und Präzision ankommt.

Hauptgründe:

  • Most VPNs sind für das menschliche Surfen gedacht., keine automatisierten HTTP-Anfragen
  • Proxy-Pools leiden unter IP-Wiederverwendung und Geo-Drift.
  • Der Standortkontext wird nicht sitzungsübergreifend beibehalten.
  • Eine zielgerichtete Ansprache auf Postleitzahlenebene ist ohne Browserautomatisierung unmöglich.

Häufige Fehlerarten, die in der Produktion auftreten:

  • Inkonsistente Geolokalisierungsergebnisse
  • Hohe CAPTCHA- und Blockierungsraten
  • Sitzungsleckage über Regionen hinweg
  • Manuelle IP-Rotation und Wiederholungslogik
  • Anfällige Browser-Workflows bei Änderungen der Benutzeroberfläche von Websites

Diese Probleme verstärken sich schnell, sobald man über das Testen mit einer Handvoll Anfragen hinausgeht und versucht, auf mehrere Märkte oder Regionen zu skalieren.

Was ist Smart AI Proxy?

Smart AI Proxy ist ein einzelner Proxy-Endpunkt, bei dem Geolokalisierung, Rotation und Blockierung automatisch von Crawlbase Mithilfe KI-gestützter Entscheidungsfindung steuern Sie das Verhalten pro Anfrage über Header, anstatt IP-Listen, Cookies oder Browser zu verwalten.

Der gesamte Datenverkehr wird über einen einzigen Endpunkt geleitet:

1
smartproxy.crawlbase.com:8012 oder 8013

Wenn Sie Geolokalisierung oder anderes Verhalten anwenden müssen, fügen Sie Folgendes hinzu: CrawlbaseAPI-Parameters-Header in Ihrer Anfrage, zum Beispiel:

1
CrawlbaseAPI-Parameter: country=US&javascript=true

Von dort, Crawlbase übernimmt. KI-Modelle werten kontinuierlich den Anfragekontext, das Zielverhalten und die bisherigen Ergebnisse aus, um eine geeignete IP-Adresse auszuwählen, die Header an die Zielregion anzupassen, Cookies und den Sitzungsstatus zu verwalten und zu überprüfen, ob die Antwort dem angeforderten Standort entspricht.

Wie schneidet Smart AI Proxy Automatische Geolokalisierung?

Automatische IP-Auswahl und -Rotation

Wenn Sie eine Länderparameter wie country=GB, Crawlbase:

  • Wählt mithilfe KI-gestützter Routing-Logik eine saubere britische IP-Adresse aus.
  • Wendet passende Header wie Accept-Language an.
  • Leitet die Anfrage über diese IP-Adresse weiter.
  • Automatische IP-Rotation zur Reduzierung von Fingerprinting

Sie verwalten weder IP-Pools, Rotationsregeln noch Sitzungslebensdauern selbst.

Eingebaute Blockminderung

Smart AI Proxy Behandelt gängige Blockierungsmechanismen automatisch:

  • Header-Normalisierung zu browserähnlichen Mustern
  • JavaScript-Herausforderungsbehandlung über Kopflose Browser (hinzufügen javascript=true)
  • CAPTCHA-Erkennung mit automatischen Wiederholungsversuchen
  • Ausweichstrategien mit KI-gestützten Lösungen bei Blockerkennung

Für Sie bleiben die Anfragen Standard-HTTP-Aufrufe. Sie verwalten weder IP-Pools noch Rotationsregeln oder Sitzungsdauern selbst.

Für Amazon-Seiten Smart AI Proxy unterstützt einen speziellen Postleitzahlparameter, der Folgendes ermöglicht:

  • Erzeugt standortspezifische Cookies für Postleitzahlen
  • Fügt sie in die Anfrage ein.
  • Stellt sicher, dass der Lieferort mit der Ziel-Postleitzahl übereinstimmt.
  • Hält Sitzungen zwischen Anfragen isoliert

Dieser Ansatz macht Browser-Automatisierungstools wie Puppeteer, Playwright oder Selenium überflüssig und erzeugt dennoch HTML-Code, der dem entspricht, was echte Benutzer an einem bestimmten Ort sehen.

Wie wählt man ein bestimmtes Land als Ziel aus? Smart AI Proxy?

Für die länderspezifische Zielgruppenansprache sind drei Schritte erforderlich.

  1. Verwenden Sie die Crawlbase Smart AI Proxy Endpunkt: smartproxy.crawlbase.com:8012 (HTTP) oder Port 8013 (HTTPS)
  2. Übergabe des Länderparameters über den Header: Speichern CrawlbaseAPI-Parameters: country=XX wobei XX der ISO-Ländercode ist
  3. Senden Sie Ihre Anfrage: Die Antwort wird die geografisch ausgerichteten Inhalte für dieses Land widerspiegeln.

Praxisbeispiel: Amazon-Produktpreise in verschiedenen Ländern

Dieses Beispiel vergleicht Sony WH-1000XM5 Preisvergleich zwischen den USA und Großbritannien unter Verwendung desselben Codes und derselben URL.

Sie können das vollständige Skript auch in unserem GitHub Seite.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
importieren Zugriffe
von urllib.parse importieren Urlencode
von urllib3.exceptions importieren Unsichere Anfragewarnung

requests.packages.urllib3.disable_warnings(Kategorie=UnsichereAnforderungswarnung)

input_url = "https://www.amazon.com/Sony-WH-1000XM5-Canceling-Headphones-Hands-Free/dp/B09XS7JWHH/ref=sr_1_1"

private_access_token = "IHR_CRAWLBASE_TOKEN"
Proxy-URL = f"http://{private_access_token}:@smartproxy.crawlbase.com:8012"  # Verwenden Sie https:// und Port 8013 für HTTPS
Proxys = {
    "http": Proxy-URL,
    "https": Proxy-URL
}
crawlbase_api_parameters = {
    "Land": "UNS",
}

versuchen:
    Antwort = Anfragen.get(
        url=input_url,
        Überschriften={"CrawlbaseAPI-Parameter": urlencode(crawlbase_api_parameters)},
        Proxys = Proxys,
        verifizieren=falsch,
        Auszeit=30
    )
    Response.raise_for_status()  # Eine Ausnahme für fehlerhafte Statuscodes auslösen

    print('Antwortcode:', Antwort.Statuscode)

    Ausgabedateiname = f"Beispiel1-{crawlbase_api_parameters['Land']}.html"
    und  XNUMXh geöffnet(Ausgabedateiname, 'w', Kodierung='utf-8') as f:
        f.write(response.text)

    print(Antwort gespeichert unter {output_file_name}')
ausgeschlossen Anfragen.Ausnahmen.RequestException as e:
    print(f"Ein Fehler ist aufgetreten: {e}")

Die Antwort zeigt:

  • Preise in US-Dollar (USD)
  • Informationen zur US-Umsatzsteuer
  • US-spezifische Produktverfügbarkeit
  • Amazon.com-Verkäuferrankings und Prime-Berechtigung

Ändern Sie nun nur einen Parameter (von country=US auf GB).

1
2
3
crawlbase_api_parameters = {
    "Land": "GB"
}

Die Reaktion Großbritanniens zeigt:

  • Preise in britischen Pfund (GBP)
  • Preise inklusive Mehrwertsteuer (20 %)
  • Unterschiedliche Verfügbarkeit je nach lokalem Lagerbestand
  • Amazon.co.uk spezielle Angebote und Prime-Vorteile

Dies ist Geo-Targeting auf Anfrageebene in der Praxis.

Wie extrahiert man Preisinformationen auf Postleitzahlenebene? Smart AI Proxy

Die länderspezifische Preisausrichtung eignet sich zwar für grobe Preisvergleiche, stößt aber an ihre Grenzen, wenn es um präzise Preisangaben geht. Im konkreten Fall von Amazon wird kein einheitlicher Preis für die gesamten USA angezeigt. Was Kunden sehen, hängt von ihrer Postleitzahl ab, und diese Unterschiede beeinflussen die Gesamtkosten, die Verfügbarkeit und die Lieferzusagen.

Crawlbase Smart AI Proxy Löst dieses spezifische Problem für Amazon, indem es Ihnen ermöglicht, den Kontext auf Postleitzahlenebene direkt mit der Anfrage zu übergeben. Anstatt einen Browser zu verwenden, um einen Lieferort festzulegen, fügen Sie beides hinzu. country und zipcode Parameter, wie zum Beispiel country=US&zipcode=10001.

Das Ergebnis ist Amazon HTML, das dem entspricht, was ein echter Kunde in dieser Postleitzahl sehen würde, ohne Browserautomatisierung, Cookie-Verwaltung oder fehleranfällige UI-Workflows.

Unterstützte Länder für die Postleitzahlen-basierte Zielgruppenansprache:

  • Nord- und Südamerika: Vereinigte Staaten, Kanada, Brasilien, Mexiko
  • Europa: Vereinigtes Königreich, Deutschland, Frankreich, Spanien, Italien, Niederlande, Schweden, Polen
  • Asien-Pazifik: Japan, Indien, Singapur, Australien
  • Mittlerer Osten: Vereinigte Arabische Emirate, Saudi-Arabien

Alle Postleitzahlen werden vorab validiert, um sicherzustellen, dass sie von der jeweiligen E-Commerce-Website erkannt werden.

Praktisches Beispiel: Amazon-Produktpreise in verschiedenen Ländern

Vergleichen wir die Amazon-Preise für dasselbe Produkt in den USA und in Großbritannien. (Den vollständigen Code finden Sie in unserem GitHub Seite)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
importieren Zugriffe
von urllib.parse importieren Urlencode
von urllib3.exceptions importieren Unsichere Anfragewarnung

requests.packages.urllib3.disable_warnings(Kategorie=UnsichereAnforderungswarnung)

input_url = "https://www.amazon.com/Mount-Comfort-Coffee-Organic-Whole/dp/B07171HMF5/ref=sr_1_2"

private_access_token = "IHR_CRAWLBASE_TOKEN"
Proxy-URL = f"http://{private_access_token}:@smartproxy.crawlbase.com:8012"  # Verwenden Sie https:// und Port 8013 für HTTPS
Proxys = {
    "http": Proxy-URL,
    "https": Proxy-URL
}
crawlbase_api_parameters = {
    "Land": "UNS",
    "PLZ": "90210", #10004
}

versuchen:
    Antwort = Anfragen.get(
        url=input_url,
        Überschriften={"CrawlbaseAPI-Parameter": urlencode(crawlbase_api_parameters)},
        Proxys = Proxys,
        verifizieren=falsch,
        Auszeit=30
    )
    Response.raise_for_status()  # Eine Ausnahme für fehlerhafte Statuscodes auslösen

    print('Antwortcode:', Antwort.Statuscode)

    Ausgabedateiname = f"Beispiel2-{crawlbase_api_parameters['Land']}-{crawlbase_api_parameters['PLZ']}.html"
    und  XNUMXh geöffnet(Ausgabedateiname, 'w', Kodierung='utf-8') as f:
        f.write(response.text)

    print(Antwort gespeichert unter {output_file_name}')
ausgeschlossen Anfragen.Ausnahmen.RequestException as e:
    print(f"Ein Fehler ist aufgetreten: {e}")

Ergebnis:

  • Preis: $28.27
  • Lieferort: „Lieferung nach Beverly Hills 90210.“
  • Mehrwertsteuer: 9.5 % kalifornische Umsatzsteuer
  • Prime-Lieferung: Standortspezifische Lieferzeiten

Ändern Sie nun eine Zeile.

1
2
3
crawlbase_api_parameters = {
    "Land": "GB"
}

Ergebnis:

In diesem Fall ist dasselbe Produkt zum Zeitpunkt der Datenerfassung bei Amazon UK nicht verfügbar. Dies liegt nicht an Formatierungsunterschieden oder Währungsproblemen, sondern spiegelt tatsächliche Verfügbarkeitsengpässe auf diesem Markt wider.

Ohne standortgenaues Targeting könnten Sie fälschlicherweise annehmen, ein Produkt sei weltweit verfügbar, den Wettbewerbsdruck falsch einschätzen oder Preisentscheidungen auf Basis von Daten treffen, die Kunden in einer bestimmten Region nie zu Gesicht bekommen. Die Genauigkeit auf Postleitzahl- und Länderebene macht aus dem Amazon-Scraping von einem ungenauen Signal eine verlässliche Grundlage für Preisanalysen und Marktentscheidungen.

Anwendungsfälle aus der Praxis für standortbezogenes Web-Scraping

E-Commerce-Preisüberwachung nach Land oder Stadt

Um wettbewerbsfähig zu bleiben, müssen die Teams wissen, was die Kunden in den einzelnen Märkten tatsächlich sehen, nicht einen umgerechneten oder durchschnittlichen Preis.

Bei Geo-Targeted Scraping bedeutet dies in der Regel, dass täglich automatisierte Crawls auf Amazon oder anderen Marktplätzen mit länder- oder stadtbezogener Ausrichtung durchgeführt werden.

Ein typischer Arbeitsablauf sieht etwa so aus:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Märkte = [
    {"Land": "UNS", "PLZ": "10001"},
    {"Land": "GB", "PLZ": "SW1A 1AA"},
    {"Land": "DE", "PLZ": "10115"},
    {"Land": "JP", "PLZ": "100-0001"}
]

für  Markt in Märkte:
    Antwort = scrape_with_smart_proxy(
        url=product_url,
        Land=Markt["Land"],
        Postleitzahl=Markt["PLZ"]
    )
    Preise[Markt["Land"]] = extract_price(response)

Jeder Durchlauf liefert Preisdaten, die die realen lokalen Gegebenheiten widerspiegeln. Im Laufe der Zeit erhalten Sie so einen zuverlässigen Überblick darüber, wie Wettbewerber ihre Preise je nach Markt anpassen und wo relevante Preisunterschiede bestehen.

Lokale Suchmaschinenoptimierung und SERP-Tracking

Suchmaschinen personalisieren die Ergebnisse auf verschiedene Weise, Der Standort ist einer der wichtigsten Faktoren. Dokumentation von Google bestätigt, dass Ihre Suchergebnisse von den Ergebnissen anderer Nutzer abweichen können, je nachdem, wo Sie sich zum Zeitpunkt der Suchanfrage befinden.

Für SEO-Experten bedeutet dies, dass Ranking-Daten, die von einem einzigen Standort stammen, nicht repräsentativ dafür sind, wie Zielgruppen in verschiedenen Regionen die Sichtbarkeit in den Suchergebnissen erleben. Geo-basiertes Ranking-Tracking ermöglicht es Ihnen, die Performance Ihrer Website in verschiedenen Märkten zu verstehen – egal ob Sie organische Positionen, Featured Snippets oder lokale Suchergebnisse messen.

Marktforschung und Competitive Intelligence

Marktexpansionen scheitern meist schon vor der Umsetzung. Preisgestaltung, Verfügbarkeit und Wettbewerbsdruck verändern sich, sobald man einen Markt aus der Innenperspektive betrachtet, anstatt sich auf globale oder nationale Sichtweisen zu stützen.

Manuelle Prüfungen sind über wenige Regionen hinaus nicht skalierbar. Gezieltes Web-Scraping hingegen schon. Die Daten von lokalen Versionen von E-Commerce-Websites zeigen, was Kunden tatsächlich sehen, nicht umgerechnete Preise oder geschätzte Verfügbarkeit.

Beispielszenario: Eine US-amerikanische Marke, die Europa analysierte, sammelte lokalisierte Daten aus Deutschland, Frankreich und Spanien und fand Folgendes heraus:

  • Die Preise sind in Frankreich etwa 20 % höher als in Deutschland.
  • Übersättigte Kategorien in Spanien
  • Starke Nachfrage nach einer Produktlinie, die sie eigentlich einstellen wollten.

Das veränderte ihren Markteinführungsplan, noch bevor Geld ausgegeben wurde. Ohne lokale Daten hätten sie für Bedingungen optimiert, die nicht der Realität entsprachen.

Wie umsetzen? Smart AI Proxy in Produktion

Wenn Sie bereits Crawler oder Datenpipelines betreiben, Smart AI Proxy Sie müssen Ihre bestehende Konfiguration nicht überdenken. Es muss keine Browserschicht gewartet und kein neues Orchestrierungsmodell eingeführt werden. Es lässt sich nahtlos in bestehende HTTP-basierte Workflows integrieren.

Schritt 1: Authentifizierungsschlüssel abrufen: Ihre Crawlbase Authentifizierungsschlüssel vom DashboardNeukunden erhalten 5,000 kostenlose Testanfragen.

Schritt 2: Abhängigkeiten installieren

1
pip install requests urllib3

Schritt 3: Senden Sie Ihre erste standortbezogene Anfrage: Verwenden Sie die Beispiele in diesem Leitfaden oder ein fertiges Skript von ScraperHubSie müssen den Datenverkehr lediglich über die Smart AI Proxy Endpunkt und Parameter auf Anfrageebene festlegen.

Schritt 4: Produktionsvorbereitung

In diesem Stadium behandeln Sie es wie jede andere Datenpipeline:

  • Füge Wiederholungsversuche und grundlegende Fehlerbehandlung hinzu.
  • Wenden Sie Ratenbegrenzungen an, die mit Ihrem Plan übereinstimmen.
  • Überwachen Sie Anomalien in den Reaktionszeiten anstatt der reinen Fehlerzahlen.
  • Speichern Sie den rohen HTML-Code zusammen mit der analysierten Ausgabe zur Überprüfung.

Schritt 5: Kosten optimieren

  • Verwenden Sie normale Anfragen, wenn Kopflose Browser werden nicht benötigt (halbiert die Kosten)
  • Seiten, die sich selten ändern, zwischenspeichern
  • Stapelanfragen zur Reduzierung des Overheads

Sind Sie bereit, Ihre geografisch ausgerichtete Datenerfassung zu skalieren?

Geo-Targeted Scraping benötigt weder VPNs noch die Verwaltung von Proxy-Pools oder die Automatisierung von Browsern, wenn der Standort auf Anfrageebene kontrolliert wird. Smart AI Proxy Die IP-Auswahl, -Rotation, Blockierungsumgehung und Cookie-Verwaltung auf Postleitzahlenebene werden automatisch übernommen. Sie müssen lediglich Land und Postleitzahl in Ihren Headern angeben.

Egal ob Sie die Amazon-Preise in verschiedenen Märkten überwachen, lokale Suchergebnisse verfolgen oder Wettbewerbsinformationen nach Regionen sammeln, diese Methode lässt sich ohne zusätzlichen Aufwand vom Testen bis zum Produktivbetrieb skalieren.

Registrieren Sie sich bei Crawlbase Sie erhalten 5,000 kostenlose Anfragen und können standortbezogenes Web-Scraping für Ihren spezifischen Anwendungsfall testen. Vergleichen Sie die Ergebnisse mit Ihrer aktuellen Konfiguration; die meisten Teams bemerken die Verbesserung der Datengenauigkeit sofort.

Häufig gestellte Fragen (FAQs)

F: Wie viele Länder gibt es? Smart AI Proxy Unterstützung?

A: Smart AI Proxy Unterstützt über 195 Länder für länderspezifisches Targeting. Für das Targeting nach Postleitzahl auf Amazon werden mehr als 20 Länder unterstützt, darunter die USA, Kanada, Großbritannien, Deutschland, Frankreich, Japan, Indien, Australien sowie wichtige Märkte in Europa, im asiatisch-pazifischen Raum und im Nahen Osten. Alle Postleitzahlen werden vorab validiert, um Kompatibilität zu gewährleisten.

F: Kann ich gezielt bestimmte Städte innerhalb eines Landes ansprechen?

A: Ja, für Amazon-Scraping können Sie mithilfe des Postleitzahlparameters (z. B. country=US&zipcode=10001 (für New York City). Bei anderen Websites hängt das Targeting auf Stadtebene davon ab, wie die Zielwebsite Geolocation nutzt. Die meisten Websites reagieren auf IP-Targeting auf Länderebene, während einige zusätzliche Header und Cookies berücksichtigen, die Smart AI Proxy wird automatisch verwaltet.

F: Worin besteht der Unterschied zwischen Länder- und Postleitzahlparametern?

A: Der Länderparameter zielt auf allgemeine, geografisch begrenzte Inhalte wie Währung, Sprache und regionale Verfügbarkeit ab. Der Postleitzahlparameter, derzeit für Amazon, fügt Kontextinformationen zum Lieferort hinzu und beeinflusst Preise, Steuern, Versandkosten und lokale Lagerbestände. Zum Beispiel: country=US zeigt die Preise in US-Dollar an, während country=US&zipcode=90210 Zeigt die genauen Preise inklusive kalifornischer Umsatzsteuer und voraussichtliche Lieferzeiten für Beverly Hills.

F: Kann ich verwenden? Smart AI Proxy für andere Websites als Amazon?

A: Ja. Smart AI Proxy Funktioniert mit den meisten Websites, darunter Google, E-Commerce-Plattformen, lokale Marktplätze und SERP-Tracking. Der Länderparameter ist universell einsetzbar. Das Targeting auf Postleitzahlenebene ist derzeit speziell für Amazon in über 20 Ländern optimiert.