Ein Suchmaschinen-Tool mit dem Smart AI Proxy aufbauenabfragen, leiten, parsen, wiederholen

Einige Suchergebnisseiten abzurufen ist trivial. Tausende pro Stunde, jede Stunde, ohne blockiert zu werden, ist ein völlig anderes Problem. Suchmaschinen sind auf menschliche Besucher ausgelegt, sodass automatisierter Traffic schnell auffällt: Anfragen von einer einzelnen Adresse beginnen CAPTCHAs, leere Seiten oder direkte Sperren zu provozieren, und Ergebnisse verschieben sich je nachdem, wo die Anfrage scheinbar herkommt. Der schwierige Teil eines Suchmaschinen-Tools ist nie das Parsing. Es ist, den Zugang zu den Quellseiten bei wachsendem Volumen aufrechtzuerhalten.

Diese Anleitung zeigt Ihnen, wie Sie ein Suchmaschinen-Tool bauen, das bei Skalierung zuverlässig bleibt, indem es jede ausgehende Anfrage durch den Crawlbase Smart AI Proxy leitet. Sie richten einen Standard-HTTP-Client auf einen Endpunkt aus, und der Proxy übernimmt für Sie rotierende IPs, Geo-Targeting und Anti-Bot-Abwehr. Ihr Code besitzt die Abfragelogik und das Produkt; Crawlbase besitzt die Netzwerkzuverlässigkeit. Wir gehen zunächst die Einschränkungen durch, dann bauen wir ein funktionierendes Python-Tool, das eine Suchmaschine abfragt, die Ergebnisse parsed und strukturierte Datensätze zurückgibt.

Warum das Scrapen von Suchergebnissen bei Skalierung so schwer ist

Es hilft, spezifisch darüber zu sein, was kaputt geht, denn jeder Fehlermodus zeigt auf die Infrastruktur, die Sie sonst selbst aufbauen und beaufsichtigen müssten.

IP-Blockierung und Sperren

Wenn viele Anfragen von derselben Adresse kommen, sehen sie verdächtig aus. Überschreiten Sie einen Schwellenwert und die Antworten kippen zu Fehlern, leeren Seiten oder Verifikationsaufforderungen. Eine einzelne Cloud-Instanz kann durch Tests segeln und dann im Moment einbrechen, wenn echte Last ankommt, weil das Volumen, das für eine Demo in Ordnung war, genau das ist, was die Grenzen überschreitet.

Geo-Einschränkungen und lokalisierte Ergebnisse

Suchergebnisse sind nicht universell. Eine Abfrage aus London kann andere Rankings und lokale Einträge zurückgeben als dieselbe Abfrage aus New York oder Berlin. Wenn Ihr Produkt von regionsspezifischen Daten abhängt, müssen Ihre Anfragen scheinbar aus diesen Regionen stammen, was bedeutet, dass Sie den Ausgangsort jeder Anfrage kontrollieren.

CAPTCHA und Anti-Bot-Abwehr

Moderne Suchplattformen schichten ihre Abwehr. Selbst wenn eine Anfrage technisch mit einem 200 erfolgreich ist, kann die zurückerhaltene Seite eine Herausforderung statt der eigentlichen Ergebnisse sein. Das zuverlässig zu handhaben erfordert Infrastruktur, die sich anpasst, wenn sich Erkennungssysteme ändern, keine einmalige Lösung.

Rate-Limits und Drosselung

Hochfrequenter Traffic von einer identifizierbaren Quelle wird gedrosselt oder blockiert. Ohne Verteilung von Anfragen über viele Routen fällt der Durchsatz letztendlich auf null, egal wie effizient Ihr Code ist. Das alles intern aufzubauen bedeutet, Proxy-Pools zu betreiben, Fehler zu überwachen, Adressen zu rotieren und auf Erkennungsänderungen zu reagieren. Für die meisten Teams ist das eine Betriebslast, kein Feature.

Warum Proxy-Rotation die richtige Lösung ist

Der Smart AI Proxy sitzt zwischen Ihrer Anwendung und der Suchmaschine. Sie konfigurieren ihn wie einen gewöhnlichen Proxy, senden Anfragen wie gewohnt und erhalten Antworten zurück, als hätten Sie direkt verbunden. Der Unterschied ist, dass jede Anfrage durch Infrastruktur geleitet wird, die speziell für automatisierte Datenerfassung gebaut wurde, sodass die oben genannten Fehlermodi aufhören, Ihr Problem zu sein.

Die Eigenschaften, die für ein Suchtool wichtig sind:

• Anfragen werden über einen großen IP-Pool verteilt, statt über eine Adresse.
• Traffic-Muster sind so abgestimmt, dass die üblichen Auslöser vermieden werden, die Scraper blockieren.
• Location-Targeting kann pro Anfrage angewendet werden, wenn Sie regionale Ergebnisse benötigen.
• Es sind keine speziellen Client-Bibliotheken erforderlich, sodass jede HTTP-fähige Sprache funktioniert.

Optionales Verhalten wird durch einen Anfrage-Header gesteuert, CrawlbaseAPI-Parameters. So aktivieren Sie beispielsweise strukturiertes Parsing für Google, ohne Ihre Anfrage-Logik zu ändern. Die benötigten Verbindungsdetails sind kurz:

• HTTPS (empfohlen): https://smartproxy.crawlbase.com:8013
• HTTP: http://smartproxy.crawlbase.com:8012
• Authentifizierung: Ihr Crawlbase-Token als Proxy-Benutzername.

Was das Tool tatsächlich tut

Ein Suchmaschinen-Tool hat mehrere Teile, aber nur einer davon kommuniziert mit einer externen Suchmaschine. Der Smart AI Proxy sitzt an dieser Grenze als ausgehende Datenerfassungsschicht, was den Rest Ihres Systems von Blockierungen isoliert. Der Ablauf ist kurz:

1. Ein Benutzer übermittelt eine Abfrage.
2. Ihre Anwendung baut die passende Such-URL auf.
3. Die Anfrage geht durch den Smart AI Proxy.
4. Ergebnisse kommen von der Suchmaschine zurück.
5. Die Daten werden normalisiert und dann gespeichert oder angezeigt.

Da jede ausgehende Anfrage durch den Proxy geht, beeinflusst die Skalierung hauptsächlich Kosten und Verarbeitungskapazität statt Zuverlässigkeit. Der fragile Teil, den Zugang zur Quelle aufrechtzuerhalten, wird einmalig an dieser Grenze gehandhabt und ändert sich dann nicht mehr, wenn Sie wachsen.

Die Umgebung einrichten

Sie benötigen Python 3.8 oder neuer und eine einzelne Abhängigkeit. Bestätigen Sie Ihre Version, erstellen Sie eine virtuelle Umgebung, damit die Installation isoliert bleibt, dann fügen Sie requests hinzu.

python --version

python -m venv serp_env
source serp_env/bin/activate

pip install requests

Unter Windows aktivieren Sie die Umgebung mit serp_env\Scripts\activate statt der source-Zeile. Sie benötigen auch Ihren Crawlbase-Token, der gleichzeitig als Proxy-Authentifizierungsschlüssel dient. Holen Sie ihn aus Ihrem Dashboard nach der Anmeldung und halten Sie ihn aus der Versionskontrolle heraus, indem Sie ihn aus einer Umgebungsvariablen lesen.

export CRAWLBASE_TOKEN=your_crawlbase_token_here

Schritt 1: Die Abfrage entgegennehmen und normalisieren

Suchmaschinen erwarten ordnungsgemäß kodierte Parameter. Rohe Benutzereingaben wie best coffee shops Paris müssen zu einem gültigen Query-String werden, bevor sie in eine URL einfließen können. Leerzeichen, Sonderzeichen und Nicht-ASCII-Text alle brechen die Anfrage, wenn Sie sie unberührt durchleiten, daher kodieren Sie sie zuerst. In Python ist das quote_plus, das den rohen String in best+coffee+shops+Paris umwandelt. Das an einem Ort zu halten zahlt sich später aus, weil jede Suchmaschine, die Sie unterstützen, denselben Schritt benötigt.

Schritt 2: Die Ziel-SERP-URL aufbauen

Bauen Sie die URL programmatisch auf, anstatt Strings am Aufrufpunkt von Hand zusammenzusetzen. Für eine einfache Google-Abfrage ist nur der q-Parameter erforderlich, aber Produktionssysteme wachsen gewöhnlich, um Paginierung, Sprach-Flags, Safe-Search-Einstellungen, Gerätevarianten und regionales Targeting zu unterstützen. Die URL-Konstruktion zu zentralisieren bedeutet, dass das spätere Hinzufügen dieser Optionen eine Änderung in einer Funktion ist, keine Suche durch die Codebasis.

Schritt 3: Die Anfrage durch den Smart AI Proxy leiten

Direkte Anfragen an Suchmaschinen scheitern schnell unter Last, daher konfigurieren Sie Ihren HTTP-Client, den Smart AI Proxy als ausgehenden Gateway zu verwenden. Die Teile sind der Proxy-Endpunkt, Authentifizierung mit Ihrem Crawlbase-Token und die Standard-Proxy-Konfiguration, die Ihre HTTP-Bibliothek bereits unterstützt. Aus Sicht Ihrer Anwendung verhält sich das wie jeder Unternehmens-Proxy. Der Unterschied ist, dass Anfragen transparent durch Infrastruktur geleitet werden, die für Scraping-Workloads abgestimmt ist, sodass sie durchkommen, wo eine direkte Anfrage es nicht würde.

Schritt 4: Strukturierte Ergebnisse anfordern

Der Smart AI Proxy kann das HTML für Sie parsen. Übergeben Sie autoparse=true im CrawlbaseAPI-Parameters-Header und die Antwort kommt als JSON statt als rohes Markup zurück. Für Google enthält dieses JSON die organischen Ergebnisse, Anzeigen, das lokale Paket und verwandte Fragen, neben Statusfeldern. In den meisten Fällen entfällt damit das manuelle HTML-Parsing vollständig, was eine weniger fragile Sache ist, die gepflegt werden muss, wenn die Suchmaschine ihr Layout anpasst.

Schritt 5: Die Antwort vor der Verwendung validieren

Produktionscode sollte bestätigen, dass eine Anfrage erfolgreich war, bevor er die Nutzlast berührt. Die üblichen Prüfungen sind der HTTP-Statuscode, der Proxy-Statusindikator, das Vorhandensein der erwarteten Felder und Retry-Logik für vorübergehende Fehler. Das folgende Beispiel macht die Grundversion mit raise_for_status(), das eine fehlgeschlagene HTTP-Antwort in eine Ausnahme umwandelt, die Sie abfangen können, statt eines stillen schlechten Parse-Vorgangs nachgelagert.

Schritt 6: Den End-to-End-Fetcher aufbauen

Hier ist ein minimaler Google-SERP-Fetcher, der den Smart AI Proxy als einzigen Weg zu Google verwendet. Er konfiguriert den Proxy mit Ihrem Token, sendet eine GET-Anfrage an eine Google-Such-URL und übergibt autoparse=true, sodass die Antwort strukturiertes JSON ist. Sie erhalten original_status, cb_status (legacy pc_status), die angeforderte url und einen Body mit den geparsten Ergebnissen zurück. Wir lassen den Country-Parameter weg, damit der Ausschnitt auf dem Standardplan ohne Geo-Targeting ausgeführt werden kann.

import json
import os
import requests
from urllib.parse import quote_plus
from urllib3.exceptions import InsecureRequestWarning

requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning)

def fetch_google_serp(token, query):
    proxy = f"https://{token}:@smartproxy.crawlbase.com:8013"
    proxies = {"http": proxy, "https": proxy}
    url = f"https://www.google.com/search?q={quote_plus(query)}"
    headers = {"CrawlbaseAPI-Parameters": "autoparse=true"}
    response = requests.get(url, headers=headers, proxies=proxies, verify=False, timeout=30)
    response.raise_for_status()
    return json.loads(response.text)

if __name__ == "__main__":
    token = os.environ.get("CRAWLBASE_TOKEN", "YOUR_CRAWLBASE_TOKEN")
    data = fetch_google_serp(token, "best coffee shops Paris")
    print(f"Returned keys: {list(data.keys())}")

Diese Funktion ist das Datenerfassungs-Rückgrat des gesamten Systems. Sie kann hinter einem API-Endpunkt, innerhalb einer Worker-Queue oder nach einem Zeitplan ausgeführt werden und gibt jedes Mal dieselbe strukturierte Form zurück. Der quote_plus-Aufruf ist die Normalisierung aus Schritt 1, die URL ist die Konstruktion aus Schritt 2, das proxies-Dict ist das Routing aus Schritt 3, der Header ist das strukturierte Parsing aus Schritt 4 und raise_for_status ist die Validierung aus Schritt 5. Sechs Schritte, eine Funktion.

Schritt 7: Das JSON in strukturierte Datensätze umwandeln

Die Autoparse-Nutzlast ist reich, aber Ihr Produkt braucht selten alles davon. Der nächste Schritt ist es, den Body herauszuziehen und ihn in die schlanken Datensätze umzuformen, die Ihr Speicher- und Ranking-Code erwartet. Die folgende Funktion extrahiert die organischen Ergebnisse in eine vorhersehbare Liste von Dictionaries mit Rang, Titel, URL und Snippet, mit grazi­ösem Fallback, wenn ein Feld fehlt, sodass ein seltsames Ergebnis den Batch nicht abbricht.

def to_records(serp, query):
    body = serp.get("body", {})
    results = body.get("searchResults", [])
    records = []
    for rank, item in enumerate(results, start=1):
        records.append({
            "query": query,
            "rank": rank,
            "title": item.get("title", ""),
            "url": item.get("url", ""),
            "snippet": item.get("description", ""),
        })
    return records

if __name__ == "__main__":
    token = os.environ.get("CRAWLBASE_TOKEN", "YOUR_CRAWLBASE_TOKEN")
    query = "best coffee shops Paris"
    serp = fetch_google_serp(token, query)
    rows = to_records(serp, query)
    print(json.dumps(rows[:3], indent=2))

Die Ausgabe ist ein sauberes, konsistentes Schema, das Sie direkt in eine Datenbank schreiben, in einen Ranking-Schritt einspeisen oder von Ihrer eigenen API zurückgeben können. Frühzeitig in eine solche Form zu normalisieren ist das, was es Ihnen ermöglicht, später Suchmaschinen zu tauschen oder hinzuzufügen, ohne alles Nachgelagerte neu zu schreiben.

[
  {
    "query": "best coffee shops Paris",
    "rank": 1,
    "title": "The 10 Best Coffee Shops in Paris",
    "url": "https://example.com/paris-coffee",
    "snippet": "Our guide to the best specialty coffee in the city..."
  }
]

Schritt 8: In Ihre Anwendung einbinden

Mit einem Fetcher und einem Normalizer in der Hand speisen die Daten in was auch immer Sie bauen: eine benutzerdefinierte Suchoberfläche, ein Wettbewerbsanalyse-Tool, ein SEO-Monitoring-Dashboard, einen Marktforschungsdatensatz oder Trainingsdaten für ein Modell. Die meisten Systeme normalisieren vor der Speicherung in ein konsistentes Schema, genau was Schritt 7 produziert hat, damit Analyse und Ranking eine stabile Form haben, gegen die sie arbeiten können. Der Punkt ist, dass der Rest Ihrer Anwendung niemals mit Proxys, CAPTCHAs oder Layoutänderungen zu tun hat. Er arbeitet mit Datensätzen.

Das Tool skalieren, ohne es zu brechen

Ein SERP-Tool zu skalieren ist ein Koordinationsproblem über vier Achsen, und die Proxy-Schicht macht jede davon handhabbar.

Parallelität. Führen Sie eine Job-Queue mit mehreren Workern aus, die alle Anfragen durch denselben Proxy-Endpunkt senden. Rotation verteilt diesen Traffic über unabhängige Routen, sodass Parallelität den Durchsatz erhöht, anstatt Ihre Blockierungsrate zu erhöhen. Für die tiefere Version davon, siehe Wie man Proxys für das Scrapen von Google-Suchergebnissen rotiert.

Geo- und Gerätevariationen. Wenn Sie regionale Daten benötigen, variieren Sie die Standortparameter über Anfragen hinweg. Dieselbe Abfrage kann sehr unterschiedliche Ergebnisse zurückgeben, je nachdem, wo sie scheinbar herkommt, was ein Feature ist, das man nutzen, statt ein Problem, das man umgehen sollte.

Raten- und Kostenkontrolle. Selbst mit einer Proxy-Schicht schafft unbegrenzter Traffic unnötige Fehler oder Kosten. Einfaches clientseitiges Drosseln regelt das in der Regel, hält Sie innerhalb vernünftiger Grenzen ohne komplizierte Koordination.

Resilienz. Erwarten Sie gelegentliche vorübergehende Fehler. Wiederholen Sie mit Backoff und beobachten Sie die Statuscodes, damit ein vorübergehender Fehler nicht zu einem größeren Ausfall kaskadiert. Das breitere Anti-Blocking-Handbuch findet sich in Wie man Websites scrapt, ohne blockiert zu werden.

Grenzen, die es wert sind, vor dem Release zu kennen

Dieser Ansatz ist ein starker Standard, aber kein Allheilmittel. Behalten Sie einige Dinge im Hinterkopf.

Autoparse deckt gängige Engines ab, nicht jede Seite. Strukturiertes Parsing ist großartig für Google und ähnliche SERPs, aber wenn Sie eine Nischen- oder ungewöhnliche Ergebnisseite scrapen, müssen Sie das HTML möglicherweise selbst parsen. Das ist in Ordnung, leiten Sie den rohen Abruf einfach durch denselben Proxy und parsen Sie lokal.

Schweres Rendering braucht einen Browser. Wenn ein Ziel Ergebnisse hinter clientseitigem Rendering oder einer schwereren Herausforderung versteckt, reicht rohes HTML nicht aus. Das ist der Moment, in dem Sie diese Anfrage zur Crawling API für echtes Browser-Rendering verschieben, während Sie den Rest Ihres Tools unverändert lassen.

Kosten skalieren mit Volumen. Die Zuverlässigkeit ist konstant, aber Anfragen sind nicht kostenlos. Drosseln, cachen Sie Wiederholungsabfragen und behalten Sie nur die Felder, die Ihr Produkt benötigt, damit Sie nicht für das Abrufen und Speichern von Daten bezahlen, die Sie nie verwenden werden. Für CAPTCHA-spezifische Randfälle bei Google geht CAPTCHA beim Scrapen von Google umgehen tiefer.

Häufig gestellte Fragen

Was ist der einfachste Weg, ein Suchmaschinen-Tool zu bauen, das nicht blockiert wird?

Leiten Sie jede ausgehende Anfrage durch einen rotierenden Proxy, anstatt Suchmaschinen direkt anzusteuern. Der Smart AI Proxy bietet das als Drop-in-Endpunkt: Sie konfigurieren Ihren HTTP-Client, um ihn zu verwenden, senden normale GET-Anfragen und er verteilt Traffic über viele IPs, während er Anti-Bot-Abwehr absorbiert. Ihr Code bleibt auf Abfragelogik und Produktfunktionen fokussiert, anstatt auf Proxy-Wartung.

Muss ich das HTML selbst parsen?

Normalerweise nicht für gängige Suchmaschinen. Übergeben Sie autoparse=true im CrawlbaseAPI-Parameters-Header und der Smart AI Proxy gibt strukturiertes JSON mit bereits aufgeteilten organischen Ergebnissen, Anzeigen, dem lokalen Paket und verwandten Fragen zurück. Sie fallen nur für ungewöhnliche Ergebnisseiten auf manuelles Parsing zurück, wo kein Parser existiert, und selbst dann leiten Sie den rohen Abruf durch denselben Proxy.

Warum ist SSL-Verifizierung bei der Verwendung des Smart AI Proxy deaktiviert?

Der Proxy muss Traffic inspizieren, um seine Routing-Logik und Response-Handling anzuwenden, daher ist die SSL-Verifizierung für das Ziel typischerweise deaktiviert. In Python bedeutet das, verify=False in der Anfrage zu setzen. Es gilt nur für Traffic, der durch den Proxy geht, nicht für die anderen Verbindungen Ihrer Anwendung, und die Warnung, die Python ausgibt, kann wie im Beispiel gezeigt unterdrückt werden.

Wann sollte ich die Crawling API statt des Smart AI Proxy verwenden?

Verwenden Sie den Smart AI Proxy als Standard für hochvolumiges SERP-Abrufen mit einem Standard-HTTP-Client. Greifen Sie zur Crawling API, wenn ein Ziel seine Ergebnisse clientseitig rendert oder hinter schwereren Herausforderungen schützt, weil sie die Seite in einem echten Browser rendert und fertiges HTML oder Markdown zurückgibt. Viele Tools verwenden den Proxy für die meisten Abfragen und die Crawling API für die wenigen hartnäckigen Ziele.

Wie erhalte ich regionsspezifische Suchergebnisse?

Suchergebnisse variieren nach Standort, daher variieren Sie für regionale Daten das Location-Targeting pro Anfrage. Dieselbe Abfrage aus verschiedenen Regionen gibt unterschiedliche Rankings und lokale Einträge zurück, was Sie gezielt für lokalisierte Produkte nutzen können. Geo-Targeting ist eine Premium-Funktion, daher lässt das Grundbeispiel hier den Country-Parameter weg, um es auf dem Standardplan ausführbar zu halten.

Kann ich eine andere Sprache als Python verwenden?

Ja. Der Smart AI Proxy funktioniert mit jeder Sprache, die Standard-HTTP-Anfragen senden kann, da er ein normaler Proxy-Endpunkt ohne erforderliche Client-Bibliothek ist. Python wird hier verwendet, weil es lokal leicht auszuführen ist, aber dasselbe Muster, den Proxy konfigurieren, die Anfrage senden, das JSON parsen, gilt direkt in Node.js, Go, Java, C# und anderen.

IK

Ian Kalvin

Technical Support Engineer · Crawlbase

Technical Support Engineer bei Crawlbase, der von der Front darüber schreibt, was beim Scraping und bei Proxy-Setups im Produktivbetrieb tatsächlich kaputtgeht.

NZ

Neil Zamora

Senior Architect · Crawlbase

Senior Architect bei Crawlbase mit Fokus auf den Systemen hinter großflächigem Crawling: Proxy-Rotation, Anti-Bot-Resilienz und den APIs, die diese Komplexität verbergen.