Um KI-Agenten-Workflows zu erstellen mit Crawlbase Web-MCPVerbinden Sie Ihren KI-Agenten (wie n8nDie Verbindung erfolgt zum Web-MCP-Server, der das Web-Scraping automatisch durchführt und dabei JavaScript-Rendering, Bot-Erkennung und unübersichtliches HTML umgeht. Diese Konfiguration ermöglicht es Ihrem Agenten, Live-Websitedaten abzurufen, zu analysieren und strukturierte Antworten zurückzugeben, ohne dass Sie eigenen Scraping-Code schreiben müssen.

Wer schon einmal mit KI-Agenten gearbeitet hat, ist wahrscheinlich an eine Grenze gestoßen, wenn diese echte Webdaten benötigen: Websites blockieren Anfragen, Inhalte werden über JavaScript geladen oder das HTML ist zu komplex. Crawlbase Der Web-MCP-Server löst diese Probleme, indem er Ihrem Agenten bei Bedarf saubere, strukturierte Daten bereitstellt. In dieser Anleitung führen wir Sie durch die vollständige Einrichtung.

Cloud Storage Scraper Smart CTA Banner

Wie Crawlbase Web MCP verarbeitet Web Scraping

Auf hohem Niveau, Crawlbase Web MCP ermöglicht es KI-Agenten, autonom zu entscheiden, wann und wie sie Webseiten extrahieren.

Der Arbeitsablauf sieht so aus:

  • Der KI-Agent erhält eine Aufgabe, die eine URL enthält.
  • Es bestimmt, ob ein Abkratzen erforderlich ist.
  • Crawlbase wird über MCP aufgerufen, um den tatsächlichen Seiteninhalt abzurufen
  • Der Agent analysiert die extrahierten Daten.
  • Es wird ein sauberes, strukturiertes Ergebnis zurückgegeben.

Der entscheidende Unterschied zu herkömmlichen Web-Scraping-Workflows besteht darin, dass Die Entscheidung zum Scrapen wird vom KI-Agenten getroffen und nicht manuell von Ihnen festgelegt..

Wie man ein Web-Scraping-Setup für einen KI-Agenten erstellt Crawlbase Web-MCP

Aufbau eines Web-Scraping-Workflows mit KI-Agenten Crawlbase Web MCP benötigt vier Kernkomponenten:

  • Eine KI-Agentenplattform (zum Beispiel n8n)
  • Die Crawlbase Web-MCP-Server
  • Ein Sprachmodell (wie z. B. GPT-4)
  • Ein MCP-Client, der alles miteinander verbindet

Wenn eine Aufgabe mit einer URL empfangen wird, ruft der Agent autonom Folgendes auf: Crawlbase Der Seiteninhalt, einschließlich JavaScript-gerenderter Elemente und botgeschützter Seiten, wird abgerufen und die Antwort analysiert, um eine strukturierte Ausgabe zu erzeugen. Dies geschieht ohne benutzerdefinierte Scraping-Logik, Anfrageparameter oder Parsing-Regeln schreiben zu müssen.

n8n Automatisierte Agenten-Workflow-Struktur

In n8n wird der Workflow mithilfe von fünf verbundenen Knoten implementiert:

  • A Manueller Auslöser den Arbeitsablauf starten
  • A Konfigurationsknoten um die Ziel-URL und die Anweisungen zu speichern
  • Die KI-Agent-Knoten zur Entscheidungsfindung
  • Die OpenAI-Chatmodell zum Argumentieren
  • Die MCP-Client-Tool das mit CrawlbaseScraping-Infrastruktur

Nach der Konfiguration ist der Workflow hochgradig wiederverwendbar. In den meisten Fällen müssen Sie lediglich die URL ändern und den Workflow erneut ausführen; Änderungen an den Anforderungseinstellungen oder der Extraktionslogik sind nicht erforderlich.

Schritt für Schritt: Aufbau des KI-Scraping-Workflows

Wenn Sie n8n noch nicht kennen oder eine kurze Auffrischung zu den Arbeitsabläufen und Nodes benötigen, n8n-Dokumentation Das ist ein guter Ausgangspunkt. Ansonsten bauen wir unseren KI-gestützten Web-Scraping-Workflow Schritt für Schritt auf.

Schritt 1: Erstellen Sie den Basis-Workflow.

Erstellen Sie zunächst einen neuen automatisierten Agenten-Workflow in n8n mit diesen Knoten:

  • Manueller Auslöser - Dadurch wird der Workflow bei Bedarf gestartet.
  • Workflow-Konfiguration (Felder bearbeiten) - Um die Parameter zu zentralisieren
  • KI-Agent - Das Gehirn unseres Betriebs
  • OpenAI-Chatmodell - Versorgt den KI-Agenten
  • MCP-Client-Tool - Verbindet mit Crawlbase

Sie sollten am Ende folgende Konfiguration erhalten:

Schritt 2: Eingaben im Konfigurationsknoten zentralisieren

In diesem Knoten definieren Sie alles, was der Agent benötigt.

Öffne deine Workflow-Konfigurationsknoten und fügen Sie die folgenden Felder hinzu:

  • websiteUrl (Zeichenkette): Die URL, die ausgelesen werden soll (e.g., https://www.amazon.com/product-page)
  • scrapeDepth (Zahl): Crawltiefe (Standard: 2)
  • userPrompt (Zeichenkette): Anweisungen für den KI-Agenten

Beispielaufforderung:

1
2
3
4
5
6
7
8
Scrapen Sie die Amazon-Produktseite unter und die wichtigsten Produktinformationen extrahieren.

Erstellen Sie auf Grundlage der extrahierten Daten eine prägnante, gut strukturierte Zusammenfassung, die Folgendes beinhaltet:
- Produktname
- Marke
- Wichtigste Merkmale oder Highlights
- Wichtigste Anwendungsfälle oder Vorteile
- Gesamtwertversprechen

Stelle sicher Weitere Felder einbeziehen ist aktiviert, sodass die Daten durchfließen.

Schritt 3: Verbinden Sie das MCP-Client-Tool

Öffnen Sie den MCP-Clientknoten und konfigurieren Sie ihn wie folgt:

  • Endpunkt-URL: Ihre MCP-Server-URL (z. B. https://your-ngrok-url.ngrok-free.app/mcp)
  • Transport: httpStreamable
  • Authentifizierung: none (oder konfigurieren Sie es entsprechend Ihrer Einrichtung)
  • Inklusive: all (um alle verfügbaren Werkzeuge aufzuzeigen)

Dadurch erhält der Agent Zugriff auf Crawlbase.

Schritt 4: Sprachmodell einrichten

Jetzt öffne deine OpenAI Chat Model-Knoten und stellen Sie Folgendes ein:

  • Modell: gpt-4o-mini (gute Balance zwischen Geschwindigkeit und Leistungsfähigkeit)
  • Anmeldeinformationen: Fügen Sie Ihr OpenAI-API-Schlüssel

Schritt 5: Konfigurieren Sie den KI-Agentenknoten

Dies ist der Kern Ihres Workflows, da der KI-Agent den gesamten Scraping- und Analyseprozess übernimmt. Öffnen Sie also diesen Knoten und fügen Sie Folgendes hinzu:

Textfeld (Benutzereingabeaufforderung):

1
={{ $json.Benutzeraufforderung.Alle ersetzen(' ', $json.Website-URL) }}

Dieser Ausdruck fügt die URL dynamisch in Ihre Eingabeaufforderung ein.

Systemmeldung:

1
2
3
4
5
6
7
8
9
Sie sind ein Web-Rechercheassistent mit Zugriff auf Web-Scraping-Tools.

Ihre Aufgabe ist es:
1. Verwenden Sie IMMER das verfügbare MCP-Client-Tool zum Auslesen von Webseiten, wenn Sie dazu aufgefordert werden.
2. Das Tool kann auf Inhalte von jeder beliebigen URL zugreifen und diese extrahieren.
3. Analysieren Sie nach dem Scraping die extrahierten Inhalte gründlich.
4. Geben Sie eine klare, strukturierte Zusammenfassung Ihrer Ergebnisse an.

WICHTIG: Sie MÜSSEN das MCP-Client-Tool verwenden, um Webseiten zu scrapen. Fragen Sie nicht nach URLs – diese werden Ihnen in der Benutzereingabeaufforderung angezeigt. Verwenden Sie das Tool, um den eigentlichen Webseiteninhalt abzurufen.

Diese Systemmeldung beseitigt Unklarheiten. Sie weist den Agenten an, das Scraping-Tool zu verwenden, dem vorgesehenen Ablauf zu folgen und die Ergebnisse in einem einheitlichen Format zurückzugeben.

An diesem Punkt ist der Workflow bereit zur Ausführung.

Schritt 6: Führen Sie Ihren Workflow aus.

Wenn Sie diesen Workflow ausführen, passiert Folgendes:

  1. Auslöser feuert: Der manuelle Auslöser startet den Workflow.
  2. Konfigurationsladungen: Anschließend bereitet der Workflow-Konfigurationsknoten alle Parameter vor.
  3. KI-Agent erhält Eingabeaufforderung: Der Agent erhält die Benutzeraufforderung mit der eingebetteten URL.
  4. Werkzeugauswahl: Anschließend analysiert er die Eingabeaufforderung und beschließt, das MCP-Client-Tool zu verwenden.
  5. Crawlbase Kratzer: Der MCP-Client ruft an Crawlbase's API zum Auslesen der Website
  6. Datenrückgabe: Crawlbase Gibt sauberen, strukturierten Markdown-Inhalt zurück
  7. KI analysiert: Der Agent verarbeitet die gesammelten Inhalte.
  8. Zusammenfassung generiert: Es erstellt eine strukturierte Zusammenfassung basierend auf Ihren Anforderungen.

Der Workflow ist mittlerweile so flexibel, dass er sich für viele verschiedene Szenarien eignet. Sie können ihn beispielsweise nutzen, um gelegentlich die Seiten von Mitbewerbern zu überprüfen, Produktdetails von E-Commerce-Websites abzurufen, Notizen aus verschiedenen Quellen für Recherchen zusammenzutragen oder Neuigkeiten zu relevanten Themen zu verfolgen. Je nach Bedarf kann er auch zur einfachen Lead-Anreicherung mithilfe öffentlicher Daten eingesetzt werden.

Wenn Sie den hier gezeigten Workflow wiederverwenden oder überprüfen möchten, finden Sie die vollständige Konfiguration und die JSON-Datei unter [Link einfügen]. GitHub und kann direkt in n8n importiert werden.

Warum verwenden Crawlbase MCP anstelle des HTTP-Anforderungsknotens von n8n

Theoretisch ist das möglich, aber in der Praxis hält es selten.

Die meisten modernen Websites setzen stark auf JavaScript, aggressive Bot-Erkennung und dynamisches Rendering. Das Abrufen von reinem HTML liefert oft unvollständige oder irreführende Inhalte. Daher müssen zusätzlich Wiederholungsversuche, Proxys und benutzerdefinierte Parsing-Logik implementiert werden.

Crawlbase Web MCP beseitigt diese gesamte Komplexitätsebene, da es dem KI-Agenten ermöglicht, mit dem System zu interagieren. Crawling API was Folgendes umfasst:

  • JavaScript-Rendering
  • Proxy-Rotation
  • Anti-Bot-Maßnahmen
  • Wiederholungsversuche und Fehlschläge
  • Saubere, strukturierte Ausgabe

Noch wichtiger ist, dass diese Konfiguration nicht an eine einzelne Website oder ein bestimmtes Anfragemuster gebunden ist. Da der Agent bereits mit … arbeitet. Crawlbase Sie können direkt auf verschiedene Websites verweisen, ohne die API-Aufrufe jedes Mal neu konfigurieren zu müssen.

Bewährte Verfahren für das Web-Scraping von KI-Agenten

Es empfiehlt sich, frühzeitig einige einfache Prüfungen einzubauen. Beispielsweise erleichtert das Hinzufügen einer grundlegenden Fehlerbehandlung nach dem KI-Agenten das Erkennen von Fehlern beim Scrapen, anstatt diese komplett zu übersehen. Wenn Sie mehrere URLs bearbeiten, sollten Sie die Anfragen etwas verteilen. Zeitüberschreitungen Das kann helfen, Probleme zu vermeiden. Das Speichern der Ergebnisse in einer Datenbank oder sogar einer Tabellenkalkulation ist später auch praktisch, wenn man darauf zurückblicken oder weitere Analysen durchführen möchte.

Ein weiterer hilfreicher Punkt ist die Anpassung der Eingabeaufforderungen an die jeweilige Website. Der Versuch, eine einzige generische Eingabeaufforderung auf sehr unterschiedlichen Websites zu verwenden, führt in der Regel zu schlechteren Ergebnissen.

Fehlerbehebung bei häufigen Problemen

Wenn eine Meldung wie „Keines Ihrer Tools wurde verwendet“ erscheint, bedeutet dies in der Regel, dass der Agent sich nicht sicher war, ob er Daten extrahieren sollte. Eine präzisere Systemmeldung mit der eindeutigen Angabe der URL behebt dieses Problem fast immer.

Bei Problemen mit der MCP-Verbindung sollten Sie mit den Grundlagen beginnen. Prüfen Sie, ob der MCP-Server läuft, ob der Endpunkt erreichbar ist und testen Sie ihn direkt mit einem einfachen Befehl. Curl-Anfrage bevor wir tiefer graben.

Nächste Schritte: Bereitstellung Ihres KI-Agenten-Workflows

Statt fehleranfällige, seitenbezogene Scraper zu pflegen, entwickeln Sie ein System, in dem die KI entscheidet, was zu tun ist, die Tools die komplexen Aspekte des Webs bewältigen und die Ausgabe sauber und lesbar bleibt. Ändert eine Website ihr Layout, bricht der gesamte Workflow nicht sofort zusammen. Das ist der wahre langfristige Vorteil.

Von hier aus können Sie dasselbe Muster weiter ausbauen. Fügen Sie weitere MCP-Tools hinzu, planen Sie Ausführungen in n8n, experimentieren Sie mit mehreren Agenten, die unterschiedliche Aufgaben übernehmen, oder senden Sie Ergebnisse direkt an Ihre bestehenden Systeme.

Kombination von n8n KI-Agenten mit Crawlbase Web MCP bietet Ihnen eine praktische Möglichkeit, mit Live-Webdaten zu arbeiten, ohne ständig mit Scraping-Problemen zu kämpfen. Sobald Sie diesen Workflow einmal erstellt haben, werden Sie die gleiche Struktur wahrscheinlich immer wieder verwenden.

Wenn Sie es ausprobieren möchten, sind die nächsten Schritte unkompliziert: melden Sie sich an für CrawlbaseKlonen Sie das MCP-Server-Repository, importieren Sie den Workflow in n8n und beginnen Sie mit dem Experimentieren.

FAQ: KI-Agenten-Workflows mit Crawlbase Web-MCP

F: Kann dieser Workflow auch JavaScript-lastige Websites scrapen?

A: Ja. Crawlbase Web MCP übernimmt das JavaScript-Rendering automatisch, sodass der KI-Agent vollständig gerenderte Inhalte erhält, ohne dass Puppeteer oder Selenium benötigt werden.

F: Wie geht das? Crawlbase Web-MCP-Kontrolle zur Vermeidung von Bot-Erkennung?

A: Crawlbase nutzt Proxy-Rotation, Browser-Fingerprinting und CAPTCHA-Lösung, um Anti-Bot-Maßnahmen zu umgehen, die normale HTTP-Anfragen blockieren würden.

F: Welche KI-Modelle funktionieren mit dieser Konfiguration?

A: Sie können Claude, Cursor, Windsurf und andere MCP-kompatible KI-Agenten, die den Aufruf von Werkzeugen unterstützen, über den KI-Agenten-Knoten von n8n verbinden.