n8n mit Crawlbase Web MCP verbindenKI-Scraping-Workflows

n8n hat sich seine Anhänger verdient, weil es echte Arbeit automatisieren lässt, ohne viel Code schreiben zu müssen. Man verbindet Dienste auf einer visuellen Arbeitsfläche, löst Aktionen nach einem Zeitplan oder einem Ereignis aus und verkettet sie zu vollständigen Workflows. Kombiniert man das mit einem MCP-Server, der das Live-Web lesen kann, hören die KI-Schritte auf, aus veralteten Trainingsdaten zu raten, und beginnen stattdessen zu handeln, was eine Seite heute tatsächlich sagt.

Diese Anleitung zeigt, wie man n8n von Anfang bis Ende mit dem Crawlbase Web MCP verbindet: den Web MCP-Server starten, einen MCP Client Tool-Knoten in n8n hinzufügen, ihn auf den Server zeigen und einen kleinen KI-Workflow erstellen, der eine Seite crawlt und zusammenfasst. Kein eigener Scraper-Code, kein Proxy-Pool zum Überwachen. Am Ende hat man eine funktionierende Schleife, in der ein KI-Agent selbstständig nach einem Crawl-Tool greift und saubere, strukturierte Ausgabe zurückliefert.

Warum n8n überhaupt mit einem MCP-Server verbinden

Ein KI-Agent in n8n ist nur so gut wie die Daten, die er erreichen kann. Allein kann er denken und schreiben, aber er kann keine Live-Produktseite, keine Konkurrenzpreise und keinen Artikel sehen, der vor einer Stunde veröffentlicht wurde. Das Model Context Protocol (MCP) schließt diese Lücke: Es ist eine Standardschnittstelle, über die ein KI-Modell externe Tools aufrufen kann, ohne für jedes eine eigene Integration. Einen MCP-Server starten, und jeder MCP-fähige Client, einschließlich n8n, kann beliebige Funktionen aufrufen, die dieser Server bereitstellt.

Der Crawlbase Web MCP-Server stellt Crawling als Satz von Tools bereit. Ist er einmal verbunden, erhält der n8n-KI-Agent die Fähigkeit, eine URL abzurufen und gerendertes HTML, sauberes Markdown oder einen Screenshot zurückzubekommen, alles hinter der Anti-Block-Infrastruktur von Crawlbase. Das ist die gleiche Idee, die in Crawlbase MCP vorstellen behandelt wird: eine Plug-and-Play-Brücke zwischen LLM-Agenten und dem Echtzeit-Web.

Was Sie vor dem Start benötigen

Richten Sie diese Dinge zuerst ein, dann ist der Rest der Einrichtung schnell erledigt:

• n8n die Desktop-App oder n8n Cloud funktionieren beide; der einzige Unterschied ist, wie n8n Ihren lokalen MCP-Server erreicht.
• Ein Crawlbase-Konto melden Sie sich an, um Ihre kostenlosen API-Token vom Dashboard zu erhalten. Sie benötigen sowohl das Normal-Token als auch das JavaScript-Token.
• Node.js erforderlich, um den Crawlbase Web MCP-Server lokal auszuführen.
• ngrok (optional) nur für n8n Cloud-Nutzer, die ihren lokalen Server über das Internet erreichbar machen müssen.

Wie n8n über MCP mit Crawlbase kommuniziert

Statt eine HTTP-Integration mit Headern und Retry-Logik zu schreiben, starten Sie den MCP-Server und lassen n8n ihn aufrufen. Der Ablauf ist kurz:

• Der MCP Client Tool-Knoten in n8n verbindet sich mit dem laufenden MCP-Server.
• Der Crawlbase Web MCP-Server stellt die eigentlichen Crawling-Funktionen bereit.
• Ihr KI-Agent wählt das richtige Tool, der Workflow empfängt die Daten und der nächste Schritt handelt entsprechend.

Sie berühren keine API-Token innerhalb von n8n, denn die Token liegen beim Server, den Sie in Schritt 1 starten. n8n ruft nur die Tools auf und liest das Ergebnis.

Schritt 1: Den Crawlbase Web MCP-Server installieren und starten

Der Server ist das, was die Crawling-Tools für n8n verfügbar macht, er muss also laufen, bevor n8n etwas sehen kann. Öffnen Sie ein Terminal und laden Sie das Projekt herunter.

git clone https://github.com/crawlbase/crawlbase-mcp
cd crawlbase-mcp
npm install

Starten Sie nun den Server im HTTP-Transport-Modus und übergeben Sie Ihre zwei Token als Umgebungsvariablen. Ersetzen Sie die Platzhalter durch die echten Werte aus Ihrem Crawlbase-Dashboard.

CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token npm run start:http

Die zwei Token erfüllen unterschiedliche Aufgaben:

• CRAWLBASE_TOKEN verwaltet das Standard-Crawling statischer Seiten.
• CRAWLBASE_JS_TOKEN verwaltet Seiten, die ihren Inhalt mit JavaScript rendern, wobei der Server einen echten Browser startet, bevor er das HTML zurückgibt.

Wenn alles korrekt installiert wurde, startet der Server unter http://localhost:3000. Lassen Sie dieses Terminalfenster offen. n8n verbindet sich bei jedem Auslösen des Workflows mit diesem laufenden Prozess, das Schließen unterbricht also die Verbindung.

Optional für n8n Cloud-Nutzer: Den Server mit ngrok verfügbar machen

n8n Desktop läuft auf demselben Computer wie der MCP-Server, sodass http://localhost:3000 direkt funktioniert und Sie diesen Schritt überspringen können. n8n Cloud läuft auf den Servern von n8n und benötigt daher eine öffentliche URL, um den Server auf Ihrem Computer zu erreichen. ngrok erstellt dafür einen sicheren Tunnel.

ngrok http 3000

ngrok gibt eine öffentliche HTTPS-URL aus, die auf Ihren lokalen Port 3000 zeigt. Verwenden Sie diese URL als Endpunkt in n8n statt localhost. Da dies Ihren MCP-Server dem Internet aussetzt, halten Sie die URL und Ihre Token privat.

Schritt 2: n8n mit dem Crawlbase Web MCP-Server verbinden

Öffnen Sie n8n und gehen Sie zu Ihrem Workflow. Fügen Sie neben Ihrem KI-Agent-Knoten einen MCP Client Tool-Knoten hinzu. Dieser Knoten gibt dem Agenten Zugriff auf die Crawlbase-Crawling-Tools. Konfigurieren Sie ihn wie folgt:

• Endpunkt: Verwenden Sie http://localhost:3000 für n8n Desktop oder Ihre ngrok-HTTPS-URL für n8n Cloud.
• Server Transport: Wählen Sie HTTP Streamable, was dem start:http-Modus entspricht, mit dem Sie gestartet haben.
• Authentifizierung: Auf None setzen; Ihre Token wurden dem Server bereits in Schritt 1 übergeben, sodass n8n sie nicht benötigt.
• Einzuschließende Tools: Wählen Sie All, damit der Agent das passende Crawl-Tool für die jeweilige Aufgabe auswählen kann.

Wenn die Verbindung erfolgreich ist, listet der Knoten die Tools auf, die der Server bereitstellt:

{
  "tools": [
    { "name": "crawl", "description": "Crawl a URL and return HTML" },
    { "name": "crawl_markdown", "description": "Extract clean markdown from a URL" },
    { "name": "crawl_screenshot", "description": "Take a screenshot of a webpage" }
  ]
}

Wenn crawl, crawl_markdown und crawl_screenshot erscheinen, ist die Verbindung aktiv. Ist die Liste leer, wurde die Verbindung nicht hergestellt; der Abschnitt zur Fehlerbehebung unten behandelt die häufigsten Ursachen.

Schritt 3: Ihren ersten KI-Scraping-Workflow erstellen

Mit den verbundenen Tools erstellen Sie einen kleinen Workflow, der eine Webseite abruft und eine Zusammenfassung erstellt. Er besteht aus zwei Hauptteilen:

• Ein KI-Agent-Knoten, bei dem der MCP Client Tool bereits als Tool verdrahtet ist.
• Ein Chat-Modell-Knoten (OpenAI, Anthropic oder jedes von n8n unterstützte Modell), das der Agent zum Denken und Schreiben verwendet.

Geben Sie im KI-Agent-Knoten einen Prompt ein, der ihm mitteilt, was zu tun ist. Der Agent liest den Prompt, entscheidet, dass er crawlen muss, ruft das richtige Tool auf und leitet das Ergebnis an das Modell weiter. Ein einfaches Beispiel:

Crawl https://crawlbase.com/blog and summarize the
latest article in three bullet points.

Klicken Sie auf Schritt ausführen beim KI-Agent-Knoten. Einen Moment später erscheint die Zusammenfassung in der Ausgabe. Im Hintergrund griff der Agent nach crawl_markdown, das sauberes Markdown zurückgibt, das für ein Modell weit einfacher zu lesen ist als rohes HTML, und übergab diesen Text dann an das Chat-Modell für die Zusammenfassung. Öffnen Sie die Workflow-Ausführungsprotokolle, um die gesamte Kette zu sehen: die Crawl-Anfrage, das Markdown, das der Server zurückgegeben hat, und die endgültige Antwort des Modells.

Das ist die Kernschleife. Der Agent entscheidet anhand Ihres Prompts, welches Tool er verwenden soll, sodass ihn die Aufforderung, einen Screenshot einer Seite zu machen, stattdessen zu crawl_screenshot führt, ohne dass Sie Knoteneinstellungen ändern müssen. Wenn Sie tiefer in das Thema einsteigen möchten, wie ein Agent Tools auswählt und über Webdaten nachdenkt, deckt KI-Datenextraktion und wie sie funktioniert das Muster ab.

Fehlerbehebung bei der Verbindung

Die meisten Setup-Probleme fallen in wenige Kategorien. Schnelle Prüfungen lösen sie meist:

n8n kann keine Verbindung zum MCP-Server herstellen

• Bestätigen Sie, dass der Server noch in seinem Terminalfenster läuft und nicht beendet wurde.
• Überprüfen Sie den Endpunkt: http://localhost:3000 für Desktop oder die aktuelle ngrok-HTTPS-URL für Cloud (ngrok vergibt bei jedem Neustart eine neue URL).
• Stellen Sie sicher, dass nichts anderes auf Ihrem Computer Port 3000 belegt.

Im MCP Client Tool-Knoten erscheinen keine Tools

• Prüfen Sie, ob Server Transport auf HTTP Streamable eingestellt ist, passend zum start:http-Startmodus.
• Aktualisieren Sie die Tool-Liste im Knoten.
• Wenn sie immer noch leer ist, starten Sie sowohl den MCP-Server als auch n8n neu und verbinden Sie sich erneut.

Token- oder Berechtigungsfehler

• Kopieren Sie beide Token erneut aus dem Dashboard, um unbeabsichtigte Leerzeichen oder fehlende Zeichen auszuschließen.
• Bestätigen Sie, dass Ihr Konto über ausreichend Credits für die Anfrage verfügt.
• Wenn eine JavaScript-lastige Seite leer zurückkommt, stellen Sie sicher, dass CRAWLBASE_JS_TOKEN beim Start des Servers gesetzt wurde.

Ausgabe ist leer oder sieht falsch aus

• Öffnen Sie die Ausführungsprotokolle, um genau zu sehen, was der Crawl zurückgegeben hat.
• Testen Sie zunächst mit einer einfacheren, statischen URL, um zu isolieren, ob das Problem die Seite oder der Prompt ist.
• Schärfen Sie den Prompt, sodass er den Agenten klar anweist, vor dem Zusammenfassen zu crawlen.

Wie es weitergeht

Der Zusammenfassungs-Workflow ist bewusst klein gehalten, aber dieselbe Verdrahtung skaliert zu echter Automatisierung. Einige lohnende Richtungen:

• Konkurrenzseiten nach einem Zeitplan crawlen und n8n kurze Zusammenfassungen in Slack posten lassen.
• Produktpreise auf mehreren Websites verfolgen und eine Benachrichtigung auslösen, wenn sich einer ändert.
• Eine Handvoll Artikel zu einem Thema abrufen und das Modell eine kombinierte Zusammenfassung erstellen lassen.
• Öffentliche Geschäftsdaten aus Verzeichnissen sammeln und in ein CRM leiten.
• Beobachten, wie sich Schlüsselseiten im Laufe der Zeit für SEO- oder Compliance-Arbeit verändern.

Da der MCP-Server hinter der Infrastruktur von Crawlbase läuft, werden die schwierigen Teile des Scrapings (Rendering, Rotation und das Vermeiden von Sperren) für Sie erledigt. Wenn Sie bei einem schwierigen Ziel auf Widerstand stoßen, ist wie man Websites scrapt, ohne geblockt zu werden das Playbook. Und wenn Sie abwägen, wie verwalteter Zugriff mit reinem Proxying verglichen wird, ist was ist ein KI-Proxy eine nützliche Lektüre. Für umfangreichere eigene Builds außerhalb von n8n geben Ihnen die Crawling API und der Smart AI Proxy dieselbe Engine zum direkten Aufrufen.

Der Reiz dieses Setups liegt darin, dass es ohne Code funktioniert: n8n steuert die Automatisierung, Crawlbase erledigt das Crawling, und MCP hält die beiden synchron. Crawlbase wird von über 70.000 Entwicklern vertraut, sodass die Crawling-Schicht unter Ihrem Workflow dieselbe ist, die produktive Scraper in großem Maßstab antreibt.

Häufig gestellte Fragen

Was ist der Crawlbase Web MCP-Server?

Es ist ein kleiner Server, der die Crawling-Funktionen von Crawlbase als Model Context Protocol-Tools bereitstellt. Jeder MCP-fähige Client, einschließlich n8n, Claude Desktop und Cursor, kann sich damit verbinden und Funktionen wie crawl, crawl_markdown und crawl_screenshot aufrufen, um Live-Webdaten abzurufen, ohne eine eigene Integration zu schreiben.

Brauche ich beide Crawlbase-Token, um n8n zu verbinden?

Verwenden Sie beide für das reibungsloseste Setup. CRAWLBASE_TOKEN verwaltet statische Seiten und CRAWLBASE_JS_TOKEN rendert JavaScript-lastige Seiten in einem echten Browser. Beide beim Serverstart zu übergeben ermöglicht es dem KI-Agenten, einfache und komplexe Seiten zu crawlen, ohne dass Sie etwas im Workflow umschalten müssen.

Was ist der Unterschied zwischen n8n Desktop und n8n Cloud für dieses Setup?

n8n Desktop läuft auf demselben Computer wie der MCP-Server und kann http://localhost:3000 direkt erreichen. n8n Cloud läuft auf den Servern von n8n und benötigt eine öffentliche URL; tunneln Sie Ihren lokalen Server mit ngrok und verwenden Sie diese HTTPS-Adresse stattdessen als Endpunkt.

Warum zeigt der MCP Client Tool-Knoten keine Tools?

Die häufigste Ursache ist ein Transport-Mismatch: Stellen Sie sicher, dass Server Transport auf HTTP Streamable gesetzt ist, passend zum start:http-Startmodus. Bestätigen Sie außerdem, dass der Server noch läuft, der Endpunkt korrekt ist und Port 3000 frei ist. Das Aktualisieren der Tool-Liste oder das Neustarten von Server und n8n löst das Problem normalerweise.

Muss ich Code schreiben, um das zu nutzen?

Nein. Abgesehen von einigen Terminalbefehlen zum Starten des Servers wird der gesamte Workflow visuell in n8n erstellt. Der KI-Agent entscheidet basierend auf Ihrem Prompt, welches Crawl-Tool aufgerufen werden soll, sodass Sie die Knoten einmal verdrahten und alles mit klaren Anweisungen steuern.

Kann der KI-Agent selbst entscheiden, welches Crawl-Tool er verwendet?

Ja. Mit Tools einschließen auf All liest der Agent Ihren Prompt und wählt das passende Tool. Bitten Sie ihn, eine Seite zusammenzufassen, und er greift nach crawl_markdown; bitten Sie um einen Screenshot und er verwendet crawl_screenshot. Sie steuern die Wahl durch die Formulierung des Prompts, nicht durch Knoteneinstellungen.

IK

Ian Kalvin

Technical Support Engineer · Crawlbase

Technical Support Engineer bei Crawlbase, der von der Front darüber schreibt, was beim Scraping und bei Proxy-Setups im Produktivbetrieb tatsächlich kaputtgeht.

NZ

Neil Zamora

Senior Architect · Crawlbase

Senior Architect bei Crawlbase mit Fokus auf den Systemen hinter großflächigem Crawling: Proxy-Rotation, Anti-Bot-Resilienz und den APIs, die diese Komplexität verbergen.