Wie man CAPTCHA beim Scrapen von Google umgehtHören Sie auf, die Herausforderung auszulösen

Sie können ein CAPTCHA nicht besiegen, das Google bereits beschlossen hat, Ihnen zu zeigen. In dem Moment, in dem das "Ich bin kein Roboter"-Kontrollkästchen oder das Bildraster erscheint, ist die Erkennung bereits erfolgt: Irgendetwas an Ihrem Traffic wurde als automatisiert gelesen, und die Herausforderung ist die Konsequenz, nicht das Gate. Der dauerhafte Weg, CAPTCHA beim Scrapen von Google zu umgehen, ist, es gar nicht erst auszulösen. Lassen Sie Ihre Anfragen wie die einer gewöhnlichen Person aussehen, die sucht, und die Herausforderung erscheint einfach nicht.

Diese Anleitung handelt von diesem Ansatz. Sie behandelt, warum Google entscheidet, einen Scraper herauszufordern, was konkret Ihren Traffic unter der Schwelle hält, wo Drittanbieter-CAPTCHA-Lösdienste ihren Platz haben (und warum das Verlassen auf sie bedeutet, dass Sie den vorgelagerten Kampf bereits verloren haben), und einen kurzen, funktionierenden Codepfad, der ein Google SERP abruft, ohne den Alarm auszulösen. Die Daten, um die es geht, sind nur öffentliche Suchergebnisse: Titel, Links, Snippets, die Art von Dingen, die jeder ausgeloggte Besucher sieht.

Warum Google Scraper herausfordert

Google zeigt kein CAPTCHA zufällig. Es zeigt eines, wenn eine Anfrage so aussieht, als käme sie von einem Skript statt von einer Person, und es baut dieses Urteil gleichzeitig aus mehreren Signalen auf. Zu wissen, welches Signal Sie verfehlen, sagt Ihnen, was Sie ändern müssen, also ist es wert, über jedes genau zu sein.

• Anfragerate von einer IP. Eine Reihe von Suchen von einer einzelnen Adresse in einem kurzen Zeitfenster ist das billigste Signal. Menschen pausieren, lesen und reformulieren; eine enge Schleife nicht. Das ist die erste Schwelle, die die meisten Scraper überschreiten.
• IP-Reputation. Adressen, die zu Hosting-Anbietern (Datacenter-ASNs) gehören, haben eine schlechtere Reputation als Consumer-Verbindungen, weil fast keine echten Suchen von einem Server-Rack stammen. Ein sauberes Skript von einer Cloud-Box ist verdächtig, bevor es eine einzige Abfrage sendet.
• Browser-Fingerabdruck und Header. Google liest Ihren User-Agent, Header-Reihenfolge, TLS-Handshake und die JavaScript-exponierten Eigenschaften des Clients. Eine Anfrage, deren Header nicht zum Browser passen, den sie behauptet zu sein, oder die keine der Eigenschaften exponiert, die ein echter Browser hätte, fällt auf. Mehr dazu in Browser-Fingerprinting.
• Fehlendes JavaScript und Verhalten. Eine echte Session führt Skripte aus, setzt Cookies und produziert die kleinen Signale eines Menschen, der mit einer Seite interagiert. Ein roher HTTP-Abruf produziert nichts davon, und die Abwesenheit ist selbst ein Signal.
• Session-Hygiene. Keine Cookies, keine Kontinuität, eine frische leere Session bei jedem Aufruf: Dieses Muster liest sich als Automatisierung, weil Menschen Zustand von einer Suche zur nächsten tragen.

Keines davon ist ein einzelner Schalter. Google bewertet sie zusammen, und eine Anfrage, die zwei oder drei gleichzeitig verfehlt, ist diejenige, die ein CAPTCHA erhält. Das ist auch die gute Nachricht: Beheben Sie die wichtigen Signale und Sie bleiben unter der Linie, die eine Herausforderung überhaupt auslöst.

Was Sie tatsächlich unter der Schwelle hält

Jeder Hebel hier entspricht einem der oben genannten Signale. Ziehen Sie sie zusammen und Ihr Traffic sieht nicht mehr automatisiert aus, was das ganze Spiel ist.

IPs rotieren und Residential-IPs verwenden

Der einzelne größte Faktor ist die Adresse, von der Ihre Anfrage ausgeht. Zwei Dinge sind wichtig: wie vertrauenswürdig die IP ist, und wie viele Anfragen eine IP trägt.

Datacenter-IPs sind schnell und günstig, aber sie gehören zu Hosting-ASNs, denen Google auf Anhieb misstraut, sodass sie schnell Herausforderungen sammeln. Residential Proxys gehen von echten Consumer-ISP-Verbindungen aus, sodass Google sie als gewöhnliche Besucher liest. Dieses Vertrauen ist der Unterschied zwischen einer Abfrage, die Ergebnisse zurückgibt, und einer, die ein Kontrollkästchen zurückgibt. Den vollständigen Vergleich finden Sie in Datacenter vs. Residential Proxys.

Vertrauen ist die eine Hälfte; Last zu verteilen ist die andere Hälfte. Selbst eine perfekte IP wird rate-limitiert, wenn Sie Ihren gesamten Lauf durch sie drücken. Rotierende Residential Proxys tauschen die Ausgangsadresse über einen großen Pool aus, sodass die IP-Anfragerate niedrig bleibt, selbst wenn Ihr Gesamtvolumen hoch ist. Der saubere Weg, das zu konsumieren, ist ein Backconnect-Gateway: ein Endpunkt, der die IP im Hintergrund wechselt, pro Anfrage oder sticky pro Session, behandelt in Wie man rotierende Proxys verwendet und, spezifisch für SERPs, Wie man Proxys für das Scrapen von Google-Suchergebnissen rotiert.

Header senden, die zum behaupteten Browser passen

Ein realistischer User-Agent ist der Boden, nicht die Decke. Die Falle ist Inkonsistenz: Ein Header-Set, das behauptet, Chrome zu sein, aber die Header fehlt, die Chrome tatsächlich sendet, oder dessen Reihenfolge und Groß-/Kleinschreibung nicht übereinstimmen, ist verdächtiger als gar kein User-Agent, weil es wie ein vorgetäuschtes Skript aussieht. Senden Sie ein kohärentes, aktuelles Browser-Profil oder lassen Sie ein Tool, das eines pflegt, das für Sie tun.

Anfragen dosieren und Intervalle randomisieren

Rotation hilft nur, wenn Ihr Volumen wirklich dünn verteilt ist. Anfragen in einer engen Schleife zu feuern konzentriert Last und produziert einen maschinenperfekten Rhythmus, den kein Mensch je erreicht. Fügen Sie Verzögerungen zwischen Anfragen hinzu, randomisieren Sie die Intervalle und halten Sie die IP-Rate niedrig. Langsamerer Traffic, der abschließt, schlägt schnellen Traffic, der ab Anfrage fünfzig herausgefordert wird.

JavaScript rendern und eine Session halten

Einige von Googles Prüfungen hängen davon ab, dass der Client Skripte ausführt und Cookies über Anfragen hinweg trägt. Ein roher Abruf erfüllt davon nichts. Die Seite mit einem Browser zu rendern und Session-Kontinuität statt eines frischen Starts jedes Mal beizubehalten, entfernt eine Klasse von Signalen, die ein normaler HTTP-Client nicht verhindern kann zu emittieren. Das allgemeine Handbuch findet sich in Wie man Websites scrapt, ohne blockiert zu werden.

Was ist mit CAPTCHA-Lösdiensten?

Dienste wie 2Captcha und Anti-Captcha existieren, und sie tun, was sie versprechen: Wenn eine Herausforderung erscheint, geben sie ein gelöstes Token zurück, manchmal über menschliche Löser, manchmal über Modelle. Es ist wert, ehrlich über sie zu sein, anstatt so zu tun, als würden sie nicht funktionieren.

Das Problem ist, was das Greifen zu einem bedeutet. Wenn Sie für das Lösen von Herausforderungen zahlen, werden Sie bereits herausgefordert, was bedeutet, dass Ihr Traffic die Erkennung vorgelagert ausgelöst hat. Sie zahlen jetzt pro Herausforderung, fügen bei jedem Lösen Latenz hinzu und hängen von einem Drittanbieter ab, der jedes Mal bricht, wenn sich das Herausforderungsformat ändert. Nichts davon skaliert angemessen, und nichts davon adressiert die Ursache. Ein Löser ist ein Pflaster über einem Leck, das Sie nicht behoben haben.

Die bessere Technik ist, nicht herausgefordert zu werden. Wenn Sie IP-Herkunft, Rotation, Header, Dosierung und Rendering abgestimmt haben und Herausforderungen selten sind, ist ein Löser als letzter Ausweg vertretbar. Wenn Herausforderungen routinemäßig sind und Sie sich durch jeden Lauf durchlösen, ist das ein Signal, die Eingaben zu beheben, nicht mehr Löses zu kaufen. Für das breitere Bild zum Thema Herausforderungsbehandlung, siehe Wie man CAPTCHAs beim Web-Scraping umgeht.

Ein Codepfad, der die Herausforderung nicht auslöst

Rotation, Residential-IPs, abgestimmte Header, Dosierung und Rendering von Hand zusammenzudrahten ist ein echtes Projekt, und es abgestimmt zu halten, wenn Google sich verschiebt, ist fortlaufende Arbeit. Der Shortcut ist, die gesamte Anfrage an einen Endpunkt zu übergeben, der das alles bereits tut. Die Crawlbase Crawling API nimmt eine Ziel-URL, rotiert die Ausgangs-IP über einen Residential-Pool, sendet ein kohärentes Browser-Profil, rendert JavaScript bei Bedarf und gibt das Ergebnis zurück, sodass die Signale, die ein CAPTCHA ausgelöst hätten, nie zusammentreffen.

Hier ist ein kurzes, funktionierendes Beispiel, das ein Google SERP darüber abruft. Installieren Sie zuerst die Abhängigkeit.

pip install requests

Dann übergeben Sie Ihren Token und die kodierte Google-Such-URL an die API. Den eingebauten google-serp-Scraper anzufordern gibt strukturierte Ergebnisse statt rohem HTML zurück, sodass Sie das Parsen der Seite selbst überspringen.

import requests
from urllib.parse import quote_plus

TOKEN = "YOUR_CRAWLBASE_TOKEN"
KEYWORD = "best running shoes"

# Rotation, residential IPs, and JS rendering happen server-side.
target = f"https://www.google.com/search?q={quote_plus(KEYWORD)}"
resp = requests.get(
    "https://api.crawlbase.com/",
    params={
        "token": TOKEN,
        "url": target,
        "scraper": "google-serp",  # parsed SERP, not raw HTML
    },
)

data = resp.json()
for result in data.get("organic_results", []):
    print(result["position"], result["url"])

Wenn Sie den typisierten Client gegenüber dem manuellen Aufbau der URL bevorzugen, verpackt das crawlbase SDK denselben Endpunkt.

from crawlbase import CrawlingAPI
from urllib.parse import quote_plus

api = CrawlingAPI({"token": "YOUR_CRAWLBASE_TOKEN"})

target = f"https://www.google.com/search?q={quote_plus('best running shoes')}"
resp = api.get(target, {"scraper": "google-serp"})

if resp["status_code"] == 200:
    print(resp["body"])

Der Punkt sind nicht die genauen Feldnamen; er ist, dass die Anfrage Ergebnisse zurückgibt statt einer Herausforderung, weil Rotation, eine vertrauenswürdige IP, abgestimmte Header und Rendering für Sie angewendet wurden. Das ist derselbe Satz von Fixes aus dem obigen Abschnitt, nur in einem Aufruf verwaltet statt fünf beweglicher Teile, die Sie pflegen.

Wenn eine Herausforderung noch durchrutscht

Selbst abgestimmter Traffic fängt gelegentlich eine Herausforderung, besonders bei hohem Volumen oder gegen eine aggressive Region. Behandeln Sie es als Feedback, nicht als Scheitern. Ein Lauf, der anfängt, Herausforderungen oder 429s zurückzugeben, sagt Ihnen, dass das aktuelle IP-Tier oder die Anfragerate nicht mehr ausreicht: Verlangsamen Sie, erweitern Sie den Pool oder wechseln Sie zu einem höheren Proxy-Tier. Lesen Sie Ihre Statuscodes als Signal, genauso wie Sie es mit Proxy-Statusfehlercodes tun würden. Die Zahlen hinter all dem (Anfragen pro IP vor einer Herausforderung, Erfolgsrate bei einem gegebenen Tier) sind Bereiche, die sich mit dem Ziel und dem Anbieter verschieben, also stimmen Sie auf Ihren eigenen Traffic ab statt auf einen veröffentlichten Benchmark.

Ist das erlaubt?

Das Scrapen öffentlicher Google-Suchergebnisse befindet sich an einem vertretbaren Ort, solange Sie es dort lassen. Bleiben Sie bei öffentlichen Daten, den Titeln, Links und Snippets, die jeder ausgeloggte Besucher sieht. Respektieren Sie Googles Nutzungsbedingungen und die Ratenerwartungen hinter seiner robots.txt und dosieren Sie Ihren Traffic entsprechend, anstatt ihn zu hämmern. Sammeln Sie keine persönlichen Daten und versuchen Sie nicht, etwas hinter einem Login zu erreichen. Die Linie, die die Arbeit sauber hält, ist dieselbe, die sie nachhaltig hält: öffentliche Ergebnisse, vernünftige Rate, keine persönlichen Informationen.

Häufig gestellte Fragen

Wie umgehe ich CAPTCHA beim Scrapen von Google?

Sie umgehen es, indem Sie es nicht auslösen. Google serviert ein CAPTCHA, wenn Ihr Traffic automatisiert aussieht, also ist der Fix, wie ein gewöhnlicher Besucher auszusehen: Residential-IPs rotieren, damit keine einzelne Adresse rate-limitiert wird, Header senden, die einem echten Browser entsprechen, Ihre Anfragen dosieren und randomisieren und JavaScript rendern. Kriegen Sie das hin und die Herausforderung erscheint gar nicht erst.

Warum zeigt Google ein CAPTCHA, wenn ich Suchergebnisse scrappe?

Weil irgendetwas Ihren Traffic als automatisiert markiert hat. Die üblichen Verdächtigen sind zu viele Anfragen von einer IP, eine Datacenter-IP mit schlechter Reputation, Header, die nicht zum behaupteten Browser passen, keine JavaScript-Ausführung oder keine Session-Kontinuität. Google bewertet diese zusammen, und eine Anfrage, die mehrere gleichzeitig verfehlt, wird herausgefordert.

Sind CAPTCHA-Lösdienste wie 2Captcha es wert?

Sie funktionieren, aber sie zu brauchen bedeutet, dass Sie den vorgelagerten Kampf bereits verloren haben. Wenn Sie zahlen, um eine Herausforderung zu lösen, hat Ihr Traffic bereits die Erkennung ausgelöst, und Sie fügen jetzt bei jeder Anfrage Kosten, Latenz und eine fragile Abhängigkeit hinzu. Löser sind nur als seltener Fallback sinnvoll, nachdem Sie IP-Herkunft, Rotation, Header, Dosierung und Rendering abgestimmt haben, nicht als Ihre primäre Strategie.

Welcher Proxy-Typ ist am besten für das Scrapen von Google?

Rotierende Residential Proxys. Sie gehen von echten Consumer-ISP-Verbindungen aus, die Google als gewöhnliche Besucher liest, und Rotation verhindert, dass eine einzelne IP genug Anfragen trägt, um rate-limitiert zu werden. Datacenter-IPs sind günstiger, aber sie gehören zu Hosting-ASNs, denen Google misstraut, sodass sie schnell Herausforderungen sammeln und eine schlechte erste Wahl sind.

Ist es legal, Google-Suchergebnisse zu scrapen?

Das Scrapen öffentlicher Suchergebnisse ist in der Regel vertretbar, wenn Sie bei öffentlichen Daten bleiben, Googles Nutzungsbedingungen und die Ratenerwartungen hinter seiner robots.txt respektieren und das Sammeln persönlicher Daten oder von allem hinter einem Login vermeiden. Das Risiko steigt, wenn Sie Rate-Limits ignorieren oder persönliche Informationen sammeln. Beschränken Sie den Umfang auf öffentliche SERP-Daten und dosieren Sie Ihren Traffic.

Kann die Crawlbase Crawling API Google ohne CAPTCHA scrapen?

Sie ist darauf ausgelegt, die Herausforderung gar nicht erst erscheinen zu lassen. Die Crawling API rotiert Residential-IPs, sendet ein kohärentes Browser-Profil, rendert JavaScript und verwaltet die Anfrage serverseitig, was derselbe Satz von Fixes ist, den Sie sonst von Hand zusammendrahten würden. Sie senden eine URL mit Ihrem Token und erhalten Ergebnisse zurück statt einer Herausforderungsseite.

HR

Hassan Rehan

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zu rotierenden Proxys, Scraping und den praktischen Details schreibt, Proxys in echten Code einzubinden.