Was sind Google, Yahoo und Bing?wie Suchmaschinen das Web finden und ranken

Sie geben ein paar Worte in ein Feld ein, drücken Enter, und in einem Bruchteil einer Sekunde erscheint eine gerankte Liste von Seiten. Hinter diesem einfachen Moment stecken drei der größten Ingenieursysteme im Internet: Google, Bing und Yahoo. Sie verbringen ihre Zeit damit, das Web zu lesen, damit Sie es nicht müssen, und organisieren Milliarden von Seiten in etwas, das Sie in natürlicher Sprache abfragen können.

Dieser Artikel erklärt, was eine Suchmaschine tatsächlich ist und wie eine funktioniert, vom Crawlen des offenen Webs über das Ranking bis hin zur Bereitstellung von Ergebnissen. Er behandelt, wie sich Google, Bing und Yahoo unterscheiden (und warum Yahoo von Bing betrieben wird), woraus eine Ergebnisseite besteht und warum all das für jeden wichtig ist, der öffentliche Suchdaten für Forschung, SEO oder Marktanalyse sammelt.

Was ist eine Suchmaschine?

Eine Suchmaschine ist Software, die Seiten im gesamten Web entdeckt, eine strukturierte Kopie ihrer Funde speichert und bei einer Abfrage die relevantesten Treffer zurückgibt. Es gibt keine Masterliste aller vorhandenen Seiten, daher muss eine Suchmaschine sie selbst finden, verstehen und dieses Bild aktuell halten, wenn sich das Web verändert.

Drei Unternehmen dominieren den allgemeinen Suchmarkt: Google, Microsofts Bing und Yahoo. Sie lösen alle dasselbe Kernproblem, aber mit unterschiedlicher Infrastruktur, unterschiedlichen Ranking-Prioritäten und unterschiedlichem Marktanteil. Was sie gemeinsam haben, ist die zugrundeliegende Pipeline, und das Verständnis dieser Pipeline ist der Schlüssel zum Verständnis des gesamten Themas.

Wie eine Suchmaschine funktioniert

Jede allgemeine Suchmaschine durchläuft dieselben vier Phasen in Reihenfolge: crawlen, indizieren, ranken und bereitstellen. Google beschreibt seinen eigenen Prozess als Crawlen, Indizieren und Bereitstellen (wobei Ranking in die Bereitstellung einfließt), aber die Arbeit ist überall dieselbe. Jede Phase zu durchlaufen ist der klarste Weg, um zu sehen, was diese Systeme wirklich tun.

1. Crawlen

Crawlen ist die Entdeckungsphase. Automatisierte Programme, sogenannte Crawler oder Spider, rufen Seiten ab, lesen deren Inhalt und folgen den enthaltenen Links, um weitere Seiten zu finden. Da es kein zentrales Register des Webs gibt, befindet sich die Engine in einer ständigen Schleife, um neue und aktualisierte Seiten zu finden. Sie erfährt davon auf verschiedene Arten: Sie besucht bereits bekannte Seiten erneut, folgt Links von einer bekannten Seite zu einer neuen und liest Sitemaps, die Site-Betreiber einreichen, um sie auf neue oder geänderte URLs hinzuweisen. Verwaltete Hosts wie Wix oder Blogger benachrichtigen die Engine oft automatisch, wenn Sie veröffentlichen.

Wenn der Crawler eine Seite erreicht, ruft er das HTML ab und rendert die Seite zunehmend so, wie es ein Browser tun würde, um Inhalte zu sehen, die JavaScript nach dem Laden hinzufügt. Er betrachtet Text, Bilder und das allgemeine visuelle Layout, um zu verstehen, wofür die Seite ist. Je besser ein Crawler eine Seite verstehen kann, desto besser kann die Engine sie später den richtigen Abfragen zuordnen. Wenn Ihre Ziele stark auf clientseitiges Rendering angewiesen sind, behandelt unser Leitfaden über das Crawlen von JavaScript-Websites die Mechanismen.

2. Indizieren

Sobald eine Seite abgerufen wurde, versucht die Engine herauszufinden, worum es geht. Dieser Prozess ist die Indizierung. Die Engine analysiert den Text, katalogisiert die auf der Seite eingebetteten Bilder und Videos, notiert strukturelle Signale wie Überschriften und Metadaten und speichert alles in einer riesigen Datenstruktur namens Index. Der Index ist im Wesentlichen eine Karte von Wörtern und Konzepten zu den Seiten, die sie enthalten, organisiert so, dass die Engine Treffer in Millisekunden nachschlagen kann, anstatt das Web bei jeder Abfrage erneut zu durchsuchen.

Nicht jede gecrawlte Seite landet im Index. Seiten, die Duplikate sind, von der Indizierung ausgeschlossen sind oder als minderwertig eingeschätzt werden, können herausgefiltert werden. Was übrig bleibt, ist das durchsuchbare Korpus, gegen das jede zukünftige Abfrage ausgeführt wird.

3. Ranken

Wenn Sie eine Abfrage ausführen, enthält der Index in der Regel Tausende oder Millionen von Kandidatenseiten, die Ihren Wörtern entsprechen. Ranking ist die Phase, die entscheidet, welche zuerst kommen. Die Engine bewertet jeden Kandidaten anhand vieler Signale: wie gut die Seite zur Bedeutung der Abfrage passt, die Qualität und Aktualität des Inhalts, wie benutzerfreundlich die Seite ist und wie vertrauenswürdig die Quelle erscheint. Auch Kontext über Sie spielt eine Rolle, einschließlich Ihres Standorts, Ihrer Sprache und Ihres Geräts, weshalb eine Suche nach "Fahrradreparaturwerkstätten" in Paris andere Ergebnisse liefert als in Hongkong.

Ein Punkt, der klar ausgedrückt werden sollte: Die großen Suchmaschinen lassen niemanden dafür bezahlen, in den organischen Ergebnissen höher zu ranken. Bezahlte Platzierungen existieren, erscheinen aber als deutlich gekennzeichnete Anzeigen, getrennt von den algorithmisch gerankten Einträgen.

4. Ergebnisse bereitstellen (die SERP)

Die letzte Phase stellt die gerankten Kandidaten zu der Seite zusammen, die Sie tatsächlich sehen, der Suchmaschinenergebnisseite oder SERP. Die Bereitstellung ist schnell, da die schwere Arbeit bereits während der Indizierung erledigt wurde; die Engine sucht meist vorberechnete Daten und ordnet sie für Ihre Abfrage und Ihren Kontext. Eine moderne SERP ist weit mehr als zehn blaue Links, und der nächste Abschnitt erläutert, was sie enthält.

Was eine SERP tatsächlich enthält

Die Ergebnisseite ist ein strukturiertes Layout mit mehreren verschiedenen Komponenten, und die Mischung ändert sich je nach Abfrage. Die Hauptteile, auf die Sie treffen werden, sind:

• Organische Ergebnisse. Die algorithmisch gerankten Einträge, jeweils mit Titel, URL und Beschreibungsausschnitt. Dies ist der Kern der SERP und der Teil, den die meisten Menschen als "Suchergebnisse" betrachten.
• Bezahlte Anzeigen. Gesponserte Einträge, die über oder unter dem organischen Block angezeigt werden, als Anzeigen gekennzeichnet. Sie werden gekauft, nicht gerankt, und zielen oft auf kommerzielle Abfragen mit hoher Kaufabsicht ab.
• Featured Snippets und Antwortboxen. Eine direkte Antwort, die von einer Seite entnommen und oben angezeigt wird, damit der Benutzer sie lesen kann, ohne durchzuklicken.
• People Also Ask. Eine erweiterbare Liste verwandter Fragen, die zeigt, wie die Engine die Absicht um ein Thema gruppiert. Das Erfassen dieser ist eine eigene kleine Disziplin, behandelt im Leitfaden zum Scraping von People Also Ask.
• Knowledge Panel. Ein Zusammenfassungsfeld für Entitäten wie Unternehmen, Personen oder Orte, aus strukturierten Quellen gezogen und seitlich oder oben angezeigt.
• Local Pack. Eine Karte plus eine kurze Liste nahegelegener Unternehmen für Abfragen mit lokalem Bezug.

Für eine tiefere Erkundung dieser Funktionen und wie man sie in großem Maßstab erfasst, lesen Sie unseren umfassenderen Leitfaden zum Scraping von Google-Suchseiten.

Wie sich Google, Bing und Yahoo unterscheiden

Die drei Suchmaschinen laufen auf derselben Pipeline, sind aber nicht austauschbar. Hier ist, wie sie auf den wichtigsten Dimensionen verglichen werden.

Google

Google ist die meistgenutzte Suchmaschine der Welt und betreibt ihren eigenen Crawler und Index. Sie hat in der Regel die breiteste Abdeckung des Webs und liefert neue SERP-Funktionen am schnellsten, weshalb sich die meisten SEO- und Suchdatenarbeiten darauf konzentrieren. Wenn Ihr Ziel darin besteht, das Verhalten des breiteren Marktes zu verstehen, sind Google-Daten in der Regel die Baseline. Unser Erklärartikel darüber, wie Google Websites scrapt, geht tiefer auf seinen Crawler ein.

Bing

Bing ist die von Microsoft gebaute und betriebene Websuchmaschine. Sie ist aus Microsofts früheren Produkten (MSN Search, Windows Live Search und Live Search) entstanden und bietet heute Web-, Bild-, Video- und Kartensuche. Bing betreibt seinen eigenen unabhängigen Crawl und Index, was es zu einer wirklich separaten Datenquelle von Google macht, keinem Spiegel davon. Diese Unabhängigkeit ist genau der Grund, warum Bing für jeden wichtig ist, der eine zweite Sicht auf die Suchlandschaft möchte.

Yahoo

Yahoo ist seit Mitte der 1990er Jahre eine Web-Konstante und bleibt ein wichtiges Portal für Nachrichten, Finanzen, Sport und Shopping. Die wichtige technische Tatsache ist, dass Yahoo keinen eigenen Websuchindex mehr betreibt. Seine Webergebnisse werden von Bing betrieben, sodass eine Abfrage bei Yahoo und dieselbe Abfrage bei Bing aus demselben zugrundeliegenden Index stammen, obwohl Yahoo sie in seine eigene Oberfläche und Portal-Inhalte verpackt. Für die Datenerfassung bedeutet dies, dass Yahoo- und Bing-Ergebnisse stark überlappen, und Sie würden in der Regel zur Quelle gehen, anstatt beide zu erfassen.

Warum das für die Erfassung von Suchdaten wichtig ist

Suchmaschinen sind nicht nur Werkzeuge, in die man tippt; sie sind einige der reichhaltigsten öffentlichen Datensätze im Internet. Die gerankten Ergebnisse, Anzeigen, verwandten Fragen und lokalen Einträge für eine gegebene Abfrage sind ein Schnappschuss von Nachfrage, Wettbewerb und Inhaltsqualität für dieses Thema. Deshalb sammeln so viele Teams Suchdaten programmatisch.

Die praktischen Anwendungsfälle sind konkret:

• SEO-Forschung. Verfolgen Sie, welche Seiten für welche Keywords ranken, beobachten Sie Positionsänderungen im Laufe der Zeit und studieren Sie die Features (Snippets, People Also Ask, Local Packs), die für Ihre Zielabfragen erscheinen. Unser Leitfaden zur Nutzung von Daten zur Verbesserung des SEO geht darüber hinaus.
• Wettbewerbs- und Marktanalyse. Sehen Sie, wer bei kommerziellen Abfragen erscheint, welche Anzeigentexte Konkurrenten schalten und wie sich die Landschaft nach Region oder Gerät verschiebt.
• Preis- und Produktvergleich. Vergleichsseiten ziehen Produkteinträge und Preise direkt aus Such- und Einkaufsergebnissen, um ihre eigenen Daten aktuell zu halten.
• Forschung und Trendbeobachtung. Analysten und Forscher sampeln Ergebnisse in großem Maßstab, um Sichtbarkeit, Stimmung und das Auftauchen von Themen über Suchmaschinen hinweg zu messen.

Da Bing und Yahoo einen Index teilen, ist das gleichzeitige Erfassen von beiden Suchmaschinen für dieselbe Abfrage in der Regel redundant; wählen Sie die Quelle. Google hingegen ist ein wirklich unabhängiger Datensatz, daher decken die meisten ernsthaften Suchdatenarbeiten Google plus Bing für die Breite ab. Über die drei Hauptanbieter hinaus sind regionale Suchmaschinen für spezifische Märkte wichtig, weshalb es Leitfäden für Ziele wie Baidu-Suchergebnisse gibt.

Verantwortungsvolles Scraping

Das Sammeln von Suchdaten ist eine normale Praxis, sollte aber mit Bedacht erfolgen. Die Nutzungsbedingungen jeder Suchmaschine schränken das direkte Scraping der SERP im Allgemeinen ein, und wo eine offizielle Such-API existiert, ist das der sauberere Weg. Respektieren Sie robots.txt-Direktiven, bevorzugen Sie öffentliche Ergebnisse gegenüber allem hinter einem Login, und erfassen Sie niemals personenbezogene Daten, für die Sie keine Grundlage zur Verarbeitung haben. Halten Sie Ihre Anfragerate vernünftig, damit Sie den Service für echte Benutzer nicht beeinträchtigen, und cachen Sie Ergebnisse, damit Sie nicht dieselben Seiten erneut abrufen. Suchmaschinen betreiben ausgereifte Bot-Erkennung, genau weil ihre Ergebnisse ein ständiges Ziel sind, sodass ein höflicher, nur-öffentliche-Daten-Ansatz sowohl die ethische Wahl als auch diejenige ist, die am wenigsten wahrscheinlich blockiert wird. Unser Leitfaden dazu, wie Suchmaschinen Scraper erkennen, erklärt, was diese Abwehrmaßnahmen tatsächlich messen.

Häufig gestellte Fragen

Was ist eine Suchmaschine in einfachen Worten?

Eine Suchmaschine ist Software, die das Web liest, eine organisierte Kopie ihrer Funde speichert und die relevantesten Seiten zurückgibt, wenn Sie eine Abfrage ausführen. Google, Bing und Yahoo sind die wichtigsten allgemeinen Beispiele. Sie alle crawlen Seiten, indizieren sie, ranken sie gegen Ihre Suche und stellen eine geordnete Liste von Ergebnissen in einem Bruchteil einer Sekunde bereit.

Wie unterscheiden sich Google, Bing und Yahoo?

Google und Bing betreiben jeweils ihren eigenen Crawler und Index, sind also unabhängige Datenquellen mit unterschiedlicher Abdeckung und Ranking. Google hat den größten Marktanteil und den tiefsten Index. Yahoo betreibt keinen eigenen Websuchindex mehr; seine Webergebnisse werden von Bing betrieben, sodass Yahoo und Bing stark überlappende Ergebnisse in verschiedenen Oberflächen liefern.

Ist Yahoo-Suche dasselbe wie Bing?

Die zugrundeliegenden Webergebnisse sind im Wesentlichen dieselben, da Yahoos Websuche von Bings Index betrieben wird. Yahoo fügt noch seinen eigenen Portal-Inhalt (Nachrichten, Finanzen, Sport, Shopping) hinzu und präsentiert Ergebnisse in seiner eigenen Oberfläche, aber die gerankten Webeinträge kommen von Bing. Für die Datenerfassung bedeutet das, dass das Abfragen beider Suchmaschinen für denselben Begriff in der Regel redundant ist.

Was sind die vier Phasen, wie eine Suchmaschine funktioniert?

Crawlen, indizieren, ranken und bereitstellen. Crawlen entdeckt Seiten, indem es Links folgt und Sitemaps liest. Indizieren analysiert jede Seite und speichert sie in einer durchsuchbaren Struktur. Ranking bewertet die übereinstimmenden Seiten gegen Ihre Abfrage und Ihren Kontext. Bereitstellen stellt die geordneten Ergebnisse in der SERP zusammen, die Sie sehen. Google gruppiert Ranking innerhalb der Bereitstellung, aber die zugrundeliegende Arbeit ist dieselbe.

Was enthält eine SERP?

Eine Suchmaschinenergebnisseite mischt in der Regel organische (algorithmisch gerankte) Einträge mit bezahlten Anzeigen, und je nach Abfrage kann sie auch Featured Snippets, People Also Ask-Fragen, ein Knowledge Panel und einen Local Pack mit einer Karte enthalten. Jede Komponente trägt unterschiedliche Daten, weshalb jeder, der Suchergebnisse erfasst, die vollständige Anatomie der Seite kennen muss.

Kann man eine Suchmaschine dafür bezahlen, höher zu ranken?

Nicht in den organischen Ergebnissen. Die großen Suchmaschinen ranken organische Einträge algorithmisch und akzeptieren keine Zahlung, um eine Seite nach oben zu verschieben. Bezahlte Platzierungen existieren, erscheinen aber als deutlich gekennzeichnete Anzeigen, die von den gerankten Einträgen getrennt sind, sodass die beiden nie vermischt werden.

BA

Bilal Ahmed

Softwareentwickler · Crawlbase

Softwareentwickler, der einige der meistgelesenen Beiträge im Crawlbase-Blog verfasst hat, über Web Scraping, Proxys und Daten-Tooling.