Wie scrapt Google Websites?Einblick in Googlebots Crawl und Index

Die meisten von uns nutzen täglich die Google-Suche, ohne jemals zu fragen, was hinter dem Suchfeld passiert. Sie geben ein paar Wörter ein, und in einem Bruchteil einer Sekunde erscheint eine Liste von Seiten, die aus einem Index stammt, der mehr Text enthält als alle Bibliotheken der Welt zusammen. Die natürliche Folgefrage, die dieser Artikel beantwortet, ist, wie all diese Inhalte überhaupt dorthin gelangt sind: Wie scrapt Google Websites?

Die kurze Antwort ist eine Pipeline. Google betreibt ein automatisiertes Programm namens Googlebot, das Seiten entdeckt, abruft, die mit JavaScript rendern muss, das Ergebnis parst und in einem Index speichert, den die Suchmaschine liest, wenn Sie eine Abfrage stellen. Dieser Beitrag geht jede dieser Phasen durch, erklärt die Teile, die Sie als Website-Besitzer kontrollieren können (Sitemaps und robots.txt), und zieht eine klare Linie zwischen dem, was Google tut, um die Suche aufzubauen, und dem, was ein Entwickler tut, wenn er Daten aus dem Web scrapt.

Was ist Googlebot?

Googlebot ist Googles Web-Crawler, manchmal auch Spider oder Bot genannt. Es ist Software, die das Web automatisch durchsucht und Links von Seite zu Seite folgt, ähnlich wie eine Person durch eine Website klicken könnte, nur tut sie es kontinuierlich und in enormem Maßstab. Wenn die Leute fragen, wie Google Websites scrapt, ist Googlebot das Ding, das die Arbeit erledigt: Es lädt den Text, die Bilder und andere Inhalte der besuchten Seiten herunter, damit Google sie analysieren und speichern kann.

Es hilft, zwei Ideen zu trennen, die oft vermischt werden. Crawling ist der Akt des Abrufens einer Seite und des Lesens ihres Inhalts. Indexierung ist der Akt des Analysierens dieses Inhalts und des Abladens, damit er später abgerufen werden kann. Googlebot crawlt; Googles Indexierungssysteme indexieren. Beide müssen stattfinden, bevor eine Seite in den Ergebnissen erscheinen kann, und ein dritter Schritt, das Serving, läuft jedes Mal, wenn Sie tatsächlich suchen. Einen breiteren Blick darauf, wie Spider im Allgemeinen funktionieren, bietet unser Grundlagentext zu Was ein Web-Crawler ist.

Wie die Google-Suche in drei Schritten funktioniert

Google beschreibt seinen eigenen Prozess in drei Phasen, und das ist das richtige mentale Modell, mit dem man beginnen sollte:

• Crawling. Mithilfe automatisierter Programme lädt Google ständig Text, Bilder und Videos von Seiten herunter, die es im Web findet. Es kann eine Seite nicht indexieren, die es noch nie abgerufen hat.
• Indexierung. Bei der Verarbeitung einer Seite analysiert Google ihren Text und ihre Mediendateien und speichert das Erlernte im Index, einer riesigen Datenbank von Seiten und ihrem Inhalt.
• Serving. Wenn Sie eine Suche durchführen, gibt Google die relevantesten Ergebnisse aus diesem Index zurück, gerankt nach Hunderten von Signalen.

Diese Zusammenfassung verbirgt viel Maschinerie, und Scraping sitzt genau in der Mitte davon. Bevor eine Seite auf einer Suchergebnisseite (SERP) erscheinen kann, muss Googlebot sie finden, abrufen und zur Indexierung weitergeben. Der Rest dieses Artikels öffnet diese Mitte.

Wie scrapt Google Websites, Phase für Phase?

Die Reise von einer unbekannten URL zu einem Ergebnis, auf das man klicken kann, gliedert sich in fünf Phasen. Jede kann für sich allein erfolgreich sein, stocken oder scheitern, weshalb eine Seite gecrawlt aber nie indexiert, oder indexiert aber selten ausgeliefert werden kann.

1. Entdeckung: Wie Google Ihre Seiten findet

Google kann eine Seite nicht crawlen, die es nicht weiß, dass es sie gibt, also beginnt alles mit der Entdeckung. Es gibt zwei Hauptwege. Der erste sind Links: Wenn Googlebot eine Seite crawlt, die es bereits kennt, liest es jeden Anker auf dieser Seite und fügt die Ziele einer Warteschlange von zu besuchenden URLs hinzu, die oft als Crawl-Frontier bezeichnet wird. Ein Link von einer bereits indexierten Seite ist der häufigste Weg, auf dem eine neue Seite gefunden wird. Der zweite Weg sind Sitemaps: Ein Website-Besitzer kann Google eine explizite Liste von URLs übergeben, die wir weiter unten behandeln.

Hier tritt auch ein Webmaster zum ersten Mal ins Bild. Wenn Sie eine Website veröffentlichen, können Sie Google darüber informieren, indem Sie sie über die Google Search Console einreichen und Googlebot erlauben, Ihre Seiten zu erreichen. Sie sagen im Wesentlichen: Hier ist meine Adresse, bitte schauen Sie vorbei. Google antwortet, indem es seinen Crawler schickt, um zu bestätigen, dass die Website existiert, zu sehen, welche Seiten verfügbar sind, und zu erfahren, welche Art von Inhalt sie enthalten.

2. Crawling: Die Seite abrufen

Sobald sich eine URL in der Frontier befindet, ruft Googlebot sie ab, wie ein Browser es tun würde: Es stellt eine HTTP-Anfrage und lädt die Antwort herunter. Google crawlt nicht jede bekannte URL bei jedem Durchlauf, und es trifft keine einzelne Seite so schnell, wie es könnte. Es arbeitet innerhalb eines Crawl-Budgets, einer praktischen Begrenzung, wie viele Seiten es von einer bestimmten Website in einem bestimmten Zeitfenster abruft. Dieses Budget wird durch zwei Dinge geprägt: wie viel Crawling der Server ohne Verlangsamung bewältigen kann (Crawl-Rate), und wie sehr Google die Seiten möchte, basierend auf ihrer Popularität und wie oft sie sich ändern (Crawl-Nachfrage). Eine kleine, stabile Website wird normalerweise komfortabel im Budget gecrawlt; eine riesige Website, die neue Seiten viele Klicks tief vergräbt, kann feststellen, dass einige davon selten oder spät gecrawlt werden.

3. Rendering: Das JavaScript ausführen

Viele moderne Seiten liefern ihren echten Inhalt nicht im initialen HTML. Sie senden eine dünne Hülle und bauen dann die sichtbare Seite mit JavaScript im Browser auf. Wenn Google nur das rohe HTML lesen würde, würde es diesen Inhalt vollständig verpassen. Daher rendert Googlebot für Seiten, die es benötigen, die Seite ähnlich wie Chrome: Es führt das JavaScript aus, lässt die Skripte ihren Inhalt injizieren, und arbeitet dann mit der vollständig aufgebauten Seite. Rendering ist teurer als ein einfacher Fetch, sodass es in einem späteren Durchlauf statt sofort stattfinden kann. Die praktische Lehre für Website-Besitzer ist, dass Inhalte, die erst nach dem Ausführen von JavaScript erscheinen, länger gebraucht werden, um gesehen zu werden, und Inhalte, die davon abhängen, dass ein Nutzer klickt, möglicherweise überhaupt nicht gesehen werden. Wenn Sie selbst diese Arten von Seiten erstellen oder scrapen, behandelt unser Leitfaden zum Crawlen von JavaScript-Websites die Mechanik.

4. Parsen und Indexieren: Die Seite verstehen

Mit der abgerufenen und gerenderten Seite parst Google das HTML, um die wichtigen Teile herauszuziehen: den Textinhalt, Überschriften, Links, Bilder und ihren Alt-Text, strukturierte Daten und Metadaten. Das ist derselbe Parse-Schritt, den jeder Crawler durchführt, das Markup zu lesen, um Bedeutung daraus zu extrahieren. Die extrahierten Informationen werden dann analysiert und in Googles Index geschrieben, die riesige Datenbank, die Wörter und Themen den Seiten zuordnet, die sie behandeln. Indexierung ist auch der Punkt, an dem Google entscheidet, ob eine Seite es wert ist, gespeichert zu werden; dünne, doppelte oder blockierte Seiten können gecrawlt und trotzdem aus dem Index herausgelassen werden.

5. Serving und Ranking: Die Anfrage beantworten

Indexierung füllt die Bibliothek; Serving ist, was passiert, wenn jemand mit einer Frage hereinkommt. Wenn Sie suchen, durchsucht Google den Index nach übereinstimmenden Seiten und rankt sie anhand vieler Signale, einschließlich wie relevant und hochwertig der Inhalt ist, wie autoritativ und vertrauenswürdig die Website erscheint, und Kontext wie Ihre Sprache und Ihr Standort. Ranking ist ein separates Problem vom Scraping, aber es ist der Grund, warum Scraping existiert: Google ruft das Web ab und indexiert es, damit es beim Abfragen etwas Gutes zu ranken und zurückzugeben hat.

Sitemaps und robots.txt: die zwei Dateien, die Googlebot steuern

Der größte Teil des Crawls läuft automatisch, aber Website-Besitzer haben zwei Standarddateien, um ihn zu lenken. Sie ziehen in entgegengesetzte Richtungen, und beide gut zu nutzen ist der Kern von technischem SEO.

Die Sitemap: Hier ist, was zu crawlen ist

Eine Sitemap ist eine XML-Datei, die die URLs auflistet, über die Google Bescheid wissen soll, optional mit Hinweisen wie dem letzten Änderungsdatum jeder Seite. Sie zwingt Google nicht, etwas zu crawlen, aber sie ist der klarste Weg, Seiten sichtbar zu machen, die Links allein möglicherweise nicht enthüllen würden, wie neue Inhalte, tiefe Seiten oder Bereiche mit wenigen internen Links. Sie reichen eine Sitemap über die Google Search Console ein, dieselbe Stelle, an der Sie das Eigentum an Ihrer Website bestätigen. Stellen Sie es sich so vor, als würden Sie dem Crawler ein Inhaltsverzeichnis übergeben, anstatt ihn jedes Kapitel durch Herumwandern finden zu lassen.

robots.txt: Hier ist, was man in Ruhe lassen soll

Die robots.txt-Datei liegt an der Wurzel Ihrer Domain und teilt wohlverhaltendem Crawlern mit, welche Pfade sie abrufen dürfen und welche nicht. Googlebot liest sie vor dem Crawlen und respektiert ihre Disallow-Regeln. Sie ist nützlich, um den Crawler aus Bereichen herauszuhalten, die das Crawl-Budget verschwenden oder nicht in der Suche erscheinen sollten, wie interne Suchergebnisse oder Staging-Pfade. Ein häufiges Missverständnis ist es wert, darauf hinzuweisen: robots.txt steuert das Crawlen, nicht die Indexierung. Eine in robots.txt blockierte Seite kann immer noch ohne ihren Inhalt indexiert werden, wenn Google anderswo Links dazu findet; um eine Seite aus dem Index herauszuhalten, verwenden Sie stattdessen eine noindex-Direktive, was bedeutet, dass die Seite crawlbar sein muss, damit Google diese Anweisung sehen kann.

Wie sich das von einem Entwickler unterscheidet, der Daten scrapt

Leute nennen das, was Google tut, oft Scraping, und auf der Ebene des Abrufens und Parsens von Seiten ist es das auch. Aber es gibt echte Unterschiede zwischen Googlebot, der einen Suchindex aufbaut, und einem Entwickler, der eine bestimmte Website nach Daten scrapt, und die Unterschiede sind wichtig.

Googlebots Aufgabe ist Breite: So viel wie möglich vom öffentlichen Web zu entdecken, eine universell verwendbare Kopie zu speichern und sie für beliebige Abfragen zu ranken. Der Scraper eines Entwicklers ist normalerweise das Gegenteil, eng und zielgerichtet: Er besucht eine bekannte Menge von Seiten und extrahiert bestimmte Felder, wie Preise, Bewertungen oder Listings, in ein strukturiertes Format wie JSON oder CSV. Googlebot folgt Links nach außen, um neue Seiten zu finden; ein typischer Scraper folgt einem bekannten Muster von URLs, um bekannte Daten zu sammeln.

Der andere große Unterschied ist Erlaubnis und Willkommen. Website-Besitzer wollen im Allgemeinen, dass Googlebot sie crawlt, weil die Aufnahme in den Index der Weg ist, wie sie Traffic erhalten, also veröffentlichen sie Sitemaps und öffnen die richtigen Pfade in robots.txt, um ihn explizit einzuladen. Ein Drittanbieter-Scraper hat keine solche dauerhafte Einladung, weshalb er dieselben robots.txt-Regeln respektieren, sich ehrlich identifizieren und seine Anfragerate freundlich halten muss. Suchmaschinen selbst betreiben ausgereifte Abwehr gegen unerwünschte automatische Erfassung ihrer eigenen Ergebnisse, was ein eigenes Thema ist; wir behandeln es in wie Suchmaschinen Scraper erkennen. Und wenn Ihr Interesse dem SERP über Anbieter hinweg und nicht einer einzelnen Seite gilt, vergleicht Web Scraping Google, Yahoo und Bing, was jede Suchmaschine bereitstellt.

Warum überhaupt Google scrapen?

Google dominiert die Suche und macht den großen Anteil aller weltweiten Websuchen aus, sodass die Daten auf seinen Ergebnisseiten für jeden, der Marketing, Forschung oder Wettbewerbsanalyse betreibt, wirklich wertvoll sind. Google bietet keinen einfachen integrierten Weg, SERP-Daten in großem Maßstab zu exportieren, was genau der Grund ist, warum Entwickler es scrapen. Häufige, legitime Gründe sind:

• SEO-Tracking. Beobachten, wie Ihre Seiten für bestimmte Abfragen im Laufe der Zeit ranken, um die Suchleistung zu messen.
• Wettbewerber- und Marktanalyse. Beobachten, wer über Ihnen rankt, und Preise oder Positionierung in Ihrem Bereich verfolgen.
• Keyword- und Inhaltsrecherche. Relevante Keywords identifizieren und URL-Listen von Seiten erstellen, die einem Thema entsprechen.
• Anzeigen-Intelligence. Beobachten, welche bezahlten Ergebnisse für welche Begriffe neben den organischen Listings erscheinen.
• Trendanalyse. Verschiebungen darin erkennen, was rankt, was Hinweise geben kann, wie der Algorithmus Ergebnisse gewichtet.

Verantwortungsvoll scrapen

Wenn Sie das Web selbst scrapen, ist die verantwortungsvolle Haltung dieselbe, die Sie technisch aus der Schusslinie hält. Respektieren Sie die Nutzungsbedingungen jeder Website und ihre robots.txt-Direktiven, und bedenken Sie, dass die Bedingungen einer Suchmaschine das Scraping der SERP selbst im Allgemeinen einschränken. Bevorzugen Sie öffentliche Daten gegenüber allem hinter einem Login oder einer Paywall, und erfassen Sie keine persönlichen Daten, für deren Verarbeitung Sie keine Grundlage haben. Halten Sie Ihre Anfragerate vernünftig, damit Sie nicht mit echten Nutzern um die Kapazität einer Website konkurrieren, identifizieren Sie Ihren Traffic ehrlich, wo das erwartet wird, und cachen Sie Ergebnisse, damit Sie dieselben Seiten nicht erneut abrufen. Höfliche, öffentliche und ratenlimitierte Erfassung ist sowohl die ethische Wahl als auch diejenige, die am wenigsten wahrscheinlich blockiert wird.

Häufig gestellte Fragen

Wie scrapt Google Websites?

Google verwendet einen automatisierten Crawler namens Googlebot. Er entdeckt URLs über Links und Sitemaps, ruft jede Seite mit einer HTTP-Anfrage ab, rendert die Seite (führt ihr JavaScript aus), wo nötig, und parst dann das Ergebnis, um Text, Links und Metadaten zu extrahieren. Diese Informationen werden in Googles Index geschrieben, aus dem die Suchmaschine liest, um Abfragen zu beantworten.

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling ist das Abrufen einer Seite und das Lesen ihres Inhalts; Indexierung ist das Analysieren dieses Inhalts und das Speichern, damit er später abgerufen werden kann. Googlebot macht das Crawling, und Googles Indexierungssysteme machen die Indexierung. Eine Seite muss gecrawlt werden, bevor sie indexiert werden kann, aber gecrawlt zu sein garantiert nicht, dass sie indexiert wird.

Was ist das Crawl-Budget?

Das Crawl-Budget ist die praktische Begrenzung, wie viele Seiten Google von einer bestimmten Website in einem bestimmten Zeitraum abruft. Es wird dadurch geprägt, wie viel Crawling Ihr Server ohne Verlangsamung bewältigen kann und wie sehr Google Ihre Seiten möchte, basierend auf ihrer Popularität und wie oft sie sich ändern. Kleine Seiten sind selten dadurch eingeschränkt; sehr große Seiten können es sein.

Führt Googlebot JavaScript aus?

Ja. Für Seiten, deren Inhalt durch clientseitige Skripte aufgebaut wird, rendert Googlebot die Seite ähnlich wie Chrome und führt das JavaScript aus, bevor es das Ergebnis parst. Rendering ist teurer als ein einfacher Fetch, sodass es in einem späteren Durchlauf stattfinden kann, was bedeutet, dass skriptabhängiger Inhalt länger brauchen kann, um indexiert zu werden.

Wie beeinflussen Sitemaps und robots.txt das Crawling?

Eine Sitemap ist eine Liste von URLs, über die Google Bescheid wissen soll, nützlich, um neue oder tiefe Seiten sichtbar zu machen. Die robots.txt-Datei teilt Crawlern mit, welche Pfade zu vermeiden sind. Sitemaps laden zum Crawlen ein und robots.txt schränkt es ein, aber beachten Sie, dass robots.txt das Crawlen steuert, nicht die Indexierung; eine Seite aus dem Index herauszuhalten erfordert eine noindex-Direktive auf einer crawlbaren Seite.

Ist das Scrapen von Google-Suchergebnissen dasselbe wie das, was Googlebot tut?

Nicht ganz. Googlebot crawlt das offene Web breit, um einen allgemeinen Index aufzubauen, normalerweise mit der Ermutigung der Website-Besitzer. Das Scrapen von Googles Ergebnisseiten bedeutet das Erfassen von Daten aus der SERP selbst, was Googles Nutzungsbedingungen im Allgemeinen einschränken und gegen das seine Anti-Bot-Systeme aktiv vorgehen. Die Fetch-und-Parse-Mechanik ist ähnlich, aber Ziel, Erlaubnis und Regeln unterscheiden sich.

BA

Bilal Ahmed

Softwareentwickler · Crawlbase

Softwareentwickler, der einige der meistgelesenen Beiträge im Crawlbase-Blog verfasst hat, über Web Scraping, Proxys und Daten-Tooling.