13 Tipps zum Meistern von DatencrawlingCrawls, die nicht kaputtgehen

Nützliche Daten aus dem Web in relevantem Umfang zu ziehen ist weniger eine Frage eines einzigen cleveren Tricks als vielmehr ein Stapel kleiner, disziplinierter Gewohnheiten. Der Crawler, der einen Nachmittag lang zehn Seiten abarbeitet, und der Crawler, der jede Nacht über eine Million Seiten läuft, beruhen auf demselben Prinzip, das jedoch mit sehr unterschiedlicher Sorgfalt ausgeführt wird: wie man Anfragen dosiert, wie man mit Sperren umgeht, wie man speichert, was zurückkommt, und wie man bemerkt, wenn etwas still und leise kaputt geht.

Dieser Artikel sammelt dreizehn praktische Tipps, um das Beste aus Datencrawling-Diensten herauszuholen, grob so gruppiert, wie ein reales Projekt sich entfaltet: Umfang planen, die angesteuerten Ziele respektieren, Skalierung und Sperren überleben, die Daten sauber halten, dann speichern und überwachen. Die meisten gelten, egal ob man einen eigenen Crawler betreibt oder sich auf einen verwalteten Dienst verlässt, der die schwere Arbeit übernimmt. Sie als Checkliste lesen statt als Rezept und die Punkte auswählen, die das aktuelle Projekt tatsächlich braucht.

Was sind Datencrawling-Dienste?

Ein Datencrawling-Dienst ist Software, die Webseiten in Ihrem Namen besucht, deren Inhalt abruft und das HTML (oder bereits geparste Felder) zurückgibt, damit man das Benötigte extrahieren kann. Manche sind Bibliotheken und Frameworks, die man selbst betreibt, wie Scrapy oder Playwright. Andere sind verwaltete APIs, die die unattraktiven Teile übernehmen: IP-Adressen rotieren, JavaScript rendern, die Anti-Bot-Checks lösen, die einfache HTTP-Anfragen blockieren. Die folgenden Tipps gelten für beide, obwohl ein verwalteter Dienst einen guten Teil der operativen Last der schwereren Tipps absorbiert.

Vor der Liste prägt eine Rahmungsentscheidung fast alles andere: ob der Crawler Seiten einzeln oder viele auf einmal abarbeitet. Diese Wahl verdient ihren eigenen Tipp, daher führt sie die Liste an.

Den richtigen Crawling-Ansatz wählen

1. Zwischen synchronem und asynchronem Crawling entscheiden

Synchrones Crawling verarbeitet Seiten nacheinander. Man sendet eine Anfrage, wartet auf die Antwort, dann geht man zur nächsten Seite. Es ist einfach und vorhersehbar, und es ist die richtige Wahl, wenn die Reihenfolge des Abrufs wichtig ist oder der Job klein ist. Der Nachteil ist, dass jede Netzwerkverzögerung die gesamte Warteschlange stoppt, sodass einige langsame Seiten einen großen Lauf erheblich verlängern können.

Asynchrones Crawling sendet viele Anfragen auf einmal und verarbeitet Antworten, wenn sie eintreffen, ohne eine einzige zu blockieren. Es nutzt die Ressourcen des Computers weit besser aus und beendet große Jobs viel schneller, ohne dass man Threading oder Multiprocessing von Hand schreiben muss. Wenn Geschwindigkeit und Durchsatz wichtiger sind als strenge Reihenfolge, ist asynchron fast immer die bessere Wahl. Synchron nur wählen, wenn Einfachheit oder Reihenfolge den Zeitaufwand wirklich überwiegen.

2. Umfang vor der ersten Anfrage planen

Der günstigste Crawl ist der, den man nie wiederholen muss. Bevor man Code schreibt, genau entscheiden, welche Seiten man braucht, welche Felder man von jeder haben möchte und wie oft die Daten aktualisiert werden müssen. Ein eng eingegrenzter Crawler, der die fünfzig relevanten URLs abruft, schlägt einen breiten, der Tausende von Seiten zieht, die man später nur herausfiltern wird, und er belastet das Ziel weit weniger. Die Site-Struktur kartieren, Einstiegspunkte und Paginierung identifizieren und eine klare Stopbedingung definieren, damit der Crawler nicht vagabundiert. Ein paar Minuten Planung hier sparen Stunden an Aufräumarbeiten und viele verschwendete Anfragen nachher.

Die gecrawlten Sites respektieren

3. robots.txt lesen und befolgen

Bevor man eine Site crawlt, deren robots.txt-Datei lesen. Sie sagt, welche Pfade die Site Bots fernhalten möchte und gibt oft eine Crawl-Verzögerung an. Diese Anweisungen zu respektieren ist die Grundlage guten Verhaltens: sie ignorieren und man riskiert, gesperrt oder gebannt zu werden, was den Zugang vollständig beendet. Die disallowed Pfade als Tabu behandeln und jede angegebene Verzögerung einhalten. Das kostet fast nichts und hält man auf der richtigen Seite der Menschen, die die Site betreiben, auf die man angewiesen ist.

4. Respektvoll crawlen und Anfragen dosieren

Anfragen so schnell wie die Verbindung es erlaubt zu senden belastet die Server des Ziels, verschlechtert die Erfahrung für echte Nutzer und ist der mit Abstand schnellste Weg, ratenbegrenzt oder gesperrt zu werden. Dosierung von Anfang an in den Crawler einbauen. Eine kurze, leicht zufällige Pause zwischen Anfragen einführen, damit der Traffic weniger wie eine Flut und mehr wie normale Nutzung aussieht, und dem Server Raum zum Antworten geben. Bewusstes Drosseln ist nicht nur höflich, es ist auch zuverlässiger: ein stetiger, moderater Crawl, der nie eine Ratenbeschränkung auslöst, beendet mehr Läufe als ein aggressiver, der auf halbem Weg abgeschnitten wird.

5. In Nebenstunden crawlen

Große Jobs für ruhige Zeiten der Zielsite einplanen. In Nebenstunden hat der Server freie Kapazität, sodass Antwortzeiten schneller und der Crawl schneller und zuverlässiger sind. Es ist auch weniger wahrscheinlich, IP-Sperren oder Ratenbeschränkungen auszulösen, wenn weniger andere Anfragen um Aufmerksamkeit konkurrieren, und bei Sites mit nutzergeneriertem Inhalt erfasst man eine stabilere Momentaufnahme statt Daten, die sich während des Crawls verändern. Genauso wichtig: in Nebenzeiten zu crawlen verhindert, dass man die Erfahrung der echten Besucher der Site verschlechtert. Nebenstunden variieren je nach Site und Zielgruppe, also Verkehrsmuster beobachten und das Zeitfenster entsprechend wählen.

Skalierung und Sperren überleben

6. User Agents rotieren

Websites prüfen den User-Agent-String jeder Anfrage, um Browser von Bots zu unterscheiden. Denselben User Agent bei Tausenden von Anfragen zu senden ist ein offensichtliches Signal. Durch einen Pool realistischer User-Agent-Strings rotieren, die verschiedene Browser und Geräte nachahmen, damit der Traffic sich einfügt. Das mit Proxy-Rotation kombinieren für einen größeren Effekt: sowohl den User Agent als auch die scheinbare Quell-IP zu ändern lässt eine Flotte von Anfragen wie viele separate Besucher aussehen statt wie ein unermüdliches Skript. Die Strings aktuell halten, da veraltete oder offensichtlich gefälschte User Agents selbst ein Verräter sind.

7. IP-Adressen mit Proxys rotieren

Eine Site von einer IP-Adresse zu hämmern lässt diese Adresse schnell sperren. IP-Rotation verteilt Anfragen über viele Adressen, sodass keine einzelne Aufmerksamkeit erregt. Man kann das selbst mit Framework-Middleware verdrahten (Scrapy zum Beispiel unterstützt Proxy-Middleware für rotierende IPs), oder man kann Anfragen über einen Proxy-Dienst routen, der einen Pool von Adressen über Regionen hinweg bereitstellt. Hochqualitative Residential- oder gut gepflegte Proxys bevorzugen, die Header senden, die wie ein echter Client aussehen, gegenüber günstigen Pools, die bereits gelistet sind. Rotation ist der Unterschied zwischen einem Crawl, der skaliert, und einem, der beim ersten Block aufhört.

8. Realistische eigene Header senden

Über den User Agent hinaus sagt der vollständige Satz von HTTP-Headern einem Server viel darüber, wer fragt. Anfragen mit spärlichen oder Standard-Headern heben sich gegen echten Browser-Traffic ab, der bei jedem Aufruf einen reichen, konsistenten Header-Satz sendet. Die Header anpassen, die der Crawler sendet, damit sie einem echten Browser entsprechen: Accept-Typen, Accept-Language, Referer wo angemessen und der Rest. Die Header richtig zu bekommen gibt dem Server den erwarteten Kontext und verbessert die Erfolgsrate gegen Sites, die auf automatisierten Traffic prüfen, deutlich.

9. Cookies und Sitzungen handhaben

Ein Cookie ist, wie ein Server den Zustand über Anfragen innerhalb einer Browsersitzung hinweg speichert: Sprache, Einstellungen, ob man eingeloggt ist. Um Inhalte zu crawlen, die hinter einem Login oder einem Sitzungsstatus liegen, muss man Cookies von einer Anfrage zur nächsten übertragen. In Python erledigt das Session-Objekt der requests-Bibliothek das für einen und persistiert Cookies über Aufrufe hinweg. Eine Sitzung wiederzuverwenden hat einen Bonus: denselben Host über eine offen gehaltene Verbindung zu treffen nutzt die zugrundeliegende TCP-Verbindung erneut statt jedes Mal eine neue zu öffnen, was bei einem großen Crawl echte Zeit spart.

10. Headless-Browser für JavaScript-Seiten verwenden

Viele moderne Sites erstellen ihren Inhalt im Browser mit Frameworks wie React, Angular oder Vue, sodass das rohe HTML, das man von einer einfachen Anfrage erhält, fast leer ist. Ein Headless-Browser, eine echte Browser-Engine, die ohne ein sichtbares Fenster läuft, lädt die Seite und führt ihr JavaScript aus, sodass der vollständig gerenderte Inhalt verfügbar wird. Puppeteer (Node.js), Selenium WebDriver und Playwright sind die gängigen Werkzeuge, jedes mit einer API zum Steuern des Browsers, Warten auf Inhalt und Extrahieren des Benötigten. Rendern ist aufwendiger als eine einfache HTTP-Anfrage, also nur dann darauf zurückgreifen, wenn eine Site es wirklich braucht, nicht standardmäßig. Für einen tieferen Walkthrough siehe unsere Anleitung zu JavaScript-Websites crawlen.

11. CAPTCHAs einplanen

CAPTCHAs sind dazu gebaut, automatisierten Traffic zu stoppen, und eine CAPTCHA-geschützte Seite wird einen naiven Crawler kalt zum Stehen bringen. Sie manuell zu lösen skaliert nicht, also braucht jedes ernsthafte Crawling-Setup eine Strategie. Die praktischste Antwort ist, sich auf einen Crawling-Dienst zu verlassen, der CAPTCHA-Herausforderungen als Teil des Seitenabrufs verarbeitet und dabei hinter den Kulissen eine Mischung von Techniken verwendet, damit Läufe nicht unterbrochen werden. In Kombination mit den Rotations- und Dosierungstipps oben ist das Ziel, die meisten Herausforderungen von vornherein zu vermeiden und den Rest automatisch zu bewältigen, statt jede als manuelle Notfall zu behandeln.

12. Sicherstellen, dass der Dienst jede Art von Seite crawlt

Welches Werkzeug oder welchen Dienst man auch wählt, sicherstellen, dass er die gesamte Bandbreite von Seiten abdeckt, die die eigenen Quellen tatsächlich bereitstellen. Das bedeutet statische HTML-Seiten und dynamische, JavaScript-gerenderte ebenso, einschließlich Single-Page-Apps, die mit React, Angular, Vue, Ember oder Meteor gebaut wurden. Ein fähiger Crawling-Dienst oder eine API lädt diese Seiten in einem echten Browser-Kontext und gibt das vollständig gerenderte HTML zurück, bereit zum Parsen oder Einspeisen in den Rest der Pipeline. Wenn Datenquellen alte und neue Sites mischen, wie die meisten realen Ziele es tun, spart ein Dienst, der beide verarbeitet, das Zusammenflicken von zwei separaten Crawling-Stacks.

Die Daten nutzbar halten

13. Validieren, speichern und überwachen, was man sammelt

Die Seite abzurufen ist nur die halbe Arbeit. Die zurückkommenden Daten müssen sauber und aufbewahrenswert sein. Felder bei der Extraktion validieren, fehlende oder fehlerhafte Werte früh abfangen und Formate normalisieren, damit ein Preis immer eine Zahl und ein Datum immer ein Datum ist. Die Ergebnisse in strukturierter Form speichern, einer Datenbank, einem Warehouse oder wenigstens gut geformten Dateien, damit die Daten abfragbar bleiben statt als rohes HTML anzuhäufen. Dann den Crawl über die Zeit überwachen. Sites ändern ihr Markup ohne Vorwarnung, und ein Parser, der letzte Woche funktionierte, kann anfangen, still leere Felder zurückzugeben. Erfolgsraten und Feldvollständigkeit verfolgen, damit ein defekter Selektor als Alarm auftaucht und nicht als Lücke, die man Monate später in einem Bericht entdeckt. Für das zuverlässige Bewegen von Daten in großem Volumen behandelt unser Walkthrough zum Aufbau einer skalierbaren Web-Datenpipeline wo Speicherung und Überwachung in den weiteren Ablauf passen.

Zwei Gewohnheiten, die jeden Tipp einfacher machen

Der offiziellen Dokumentation folgen

Welche Crawling-Bibliothek oder welchen Dienst man auch verwendet, die Dokumentation richtig lesen, bevor man darum herum baut. Die Docs sind der schnellste Weg zu den Features, die man tatsächlich braucht, den Integrationsmustern, die die Maintainer beabsichtigt haben, und den Fehlerbehebungshinweisen, die das Wiederentdecken bekannter Fallstricke ersparen. Sie zu überfliegen ist eine falsche Ersparnis: Die meiste Zeit, die man mit dem Debuggen eines Crawlers verbringt, war die Antwort ein Absatz, den man übersprungen hat.

Einfache Integration priorisieren

Ein Crawling-Dienst ist nur so nützlich wie er sich sauber in den Rest des Stacks einfügt. Bei der Werkzeugwahl abwägen, wie leicht sich seine Ausgabe in die eigenen Datenpipelines, Analytics und nachgelagerten Anwendungen einfügt. Ein Dienst mit einer einfachen API und gut geformten Antworten lässt einen die Zeit mit den Daten und den Fragen verbringen, die sie beantworten, nicht mit Klebecode. Integrationsleichtigkeit summiert sich: je reibungsloser die Übergabe, desto schneller kann man iterieren, wenn sich Anforderungen ändern.

Verantwortungsvoll scrapen

Geschwindigkeit und Skalierung setzen grundlegende Verantwortung nie außer Kraft. Die Nutzungsbedingungen und robots.txt-Anweisungen jeder Site respektieren, sich auf öffentlich verfügbare Daten konzentrieren und urheberrechtlich geschütztes Material meiden, es sei denn, man hat die Erlaubnis, es zu verwenden. Urheberrechtsgesetze existieren, um Inhaltscreator zu schützen, daher kann das Kopieren oder Weiterverbreiten ihrer Arbeit ohne Genehmigung echte rechtliche Konsequenzen haben. In einer vernünftigen Rate crawlen, die die Site für ihre echten Nutzer nicht beeinträchtigt, und wenn die gesammelten Daten etwas Persönliches berühren, in Übereinstimmung mit Datenschutzvorschriften wie DSGVO und CCPA vorgehen: nur das sammeln, was man braucht, Einzelpersonen eher aggregieren als profilieren und die Daten nicht länger aufbewahren als nötig. Verantwortungsvolles Crawling schützt die Sites, auf die man angewiesen ist, und den eigenen Ruf gleichermaßen.

Häufig gestellte Fragen

Was ist ein Datencrawling-Dienst?

Ein Datencrawling-Dienst ist Software, die Webseiten für einen besucht, deren Inhalt abruft und das HTML oder bereits geparste Felder zurückgibt, damit man die benötigten Daten extrahieren kann. Er kann eine Bibliothek sein, die man selbst betreibt, wie Scrapy oder Playwright, oder eine verwaltete API, die auch IP-Rotation, JavaScript-Rendering und Anti-Bot-Herausforderungen verarbeitet. Verwaltete Dienste absorbieren den Großteil der operativen Arbeit, weshalb Teams zu ihnen greifen, wenn Crawls an Skalierung und Komplexität zunehmen.

Was ist der Unterschied zwischen synchronem und asynchronem Crawling?

Synchrones Crawling ruft Seiten einzeln ab und wartet auf jede Antwort, bevor es mit der nächsten beginnt. Es ist einfach und vorhersehbar, aber langsam, da jede Netzwerkverzögerung die Warteschlange stoppt. Asynchrones Crawling sendet viele Anfragen auf einmal und verarbeitet Antworten, wenn sie eintreffen, und nutzt die Ressourcen weit besser und beendet große Jobs viel schneller. Asynchron wählen, wenn Durchsatz wichtig ist, und synchron nur, wenn Einfachheit oder strenge Reihenfolge wichtiger ist als Geschwindigkeit.

Wie verhindere ich, dass mein Crawler gesperrt wird?

Einblenden und sich gut benehmen. User Agents und IP-Adressen rotieren, damit Anfragen nicht alle wie ein Skript aussehen, realistische HTTP-Header senden und Anfragen dosieren statt den Server zu überfluten. robots.txt respektieren und große Jobs in Nebenstunden ausführen. Für Sites mit starken Anti-Bot-Abwehrmaßnahmen ist ein Crawling-Dienst, der Rotation, Rendering und CAPTCHAs in einer einzigen Anfrage verarbeitet, normalerweise zuverlässiger als all das selbst zu warten. Unsere Anleitung, wie man Websites scrapt, ohne gesperrt zu werden, geht tiefer.

Brauche ich einen Headless-Browser, um jede Site zu crawlen?

Nein. Ein Headless-Browser ist nur für Seiten notwendig, die ihren Inhalt mit JavaScript aufbauen, wo das rohe HTML von einer einfachen Anfrage fast leer ankommt. Für statische Seiten ist eine einfache HTTP-Anfrage schneller und leichter. Auf einen Headless-Browser oder einen Crawling-Dienst, der Seiten rendert, zurückgreifen, wenn eine Site wirklich auf JavaScript angewiesen ist, und anderswo einfache Anfragen verwenden, um den Crawl effizient zu halten.

Wie gehe ich mit CAPTCHAs beim Crawlen um?

CAPTCHAs manuell zu lösen skaliert nicht, also ist der praktische Ansatz zweigleisig: die meisten davon durch sorgfältige Dosierung, Rotation und realistische Header vermeiden, dann den Rest automatisch bewältigen. Der einfachste Weg ist ein Crawling-Dienst, der CAPTCHA-Herausforderungen als Teil des Seitenabrufs verarbeitet, damit eine geschützte Seite den Lauf nicht stoppt. CAPTCHA-Handling als Teil des Crawler-Designs behandeln, nicht als etwas, auf das man pro Anfrage reagiert.

Ist Web-Crawling legal?

Das Crawlen öffentlich verfügbarer Daten ist generell akzeptabel, wenn man die Nutzungsbedingungen und robots.txt der Site respektiert, urheberrechtlich geschützten Inhalt nicht ohne Genehmigung weiterverbreitet und den Server nicht überlastet. Das Bild ändert sich, wenn personenbezogene Daten betroffen sind, wo Datenschutzgesetze wie DSGVO und CCPA gelten, also nur das sammeln, was man braucht, Personen eher aggregieren als profilieren und die Daten nicht länger als nötig aufbewahren. Bei Unsicherheit über eine bestimmte Site oder einen Datensatz deren Bedingungen prüfen und rechtlichen Rat einholen statt anzunehmen.

TA

Thomas Adewale

Technischer Redakteur · Crawlbase

Technischer Redakteur bei Crawlbase, der über Proxy-Netzwerke, Rotationsstrategien und die technischen Grundlagen für zuverlässiges Crawling im großen Maßstab schreibt.