Crawlbase Web MCP-ServerEchtzeit-Web-Daten für LLMs

Große Sprachmodelle sind gut darin, über Text zu schlussfolgern, und schlecht darin, zu wissen, was vor fünf Minuten passiert ist. Ihr Wissen ist zum Zeitpunkt des Trainings eingefroren, sie laufen in abgeschotteten Umgebungen ohne ausgehenden Web-Zugriff, und sie sind keine Browser. In dem Moment, in dem Ihre Frage von einer Live-Seite, einem aktuellen Preis oder einer Meldung abhängt, die heute Morgen erschienen ist, rät das Modell, und eine selbstbewusste Vermutung über veraltete Daten ist nur eine gut formulierte Halluzination.

Der Crawlbase Web MCP-Server schließt diese Lücke. Es ist ein MCP-Server für AI Scraping, der einem LLM-Client eine Reihe von Tools gibt, um Live-Webseiten zu crawlen und zu lesen und dabei saubere strukturierte Daten zurückzugeben, über die das Modell noch in derselben Sitzung schlussfolgern kann. Dieser Leitfaden erklärt, was das Model Context Protocol ist, was der Crawlbase Web MCP bereitstellt, wie man es mit einem MCP-fähigen Client verbindet und warum Echtzeit-Web-Zugriff verändert, was Ihre Agenten tatsächlich leisten können.

Das Problem: LLMs sind vom Live-Web getrennt

Jedes Allzweckmodell, von Claude bis zu den anderen, sitzt auf einem großen statischen Trainingsset. Dieses Training ermöglicht dem Modell, zu schlussfolgern, zusammenzufassen und vorherzusagen, aber es kann nicht beobachten. Einige Einschränkungen machen das konkret:

• Das Wissen ist eingefroren. Alles, was sich nach dem Trainings-Cutoff geändert hat, ist bis zum nächsten Retraining unsichtbar.
• Die Laufzeit ist abgeschottet. Modelle laufen in Umgebungen, die ausgehenden Netzwerkzugriff aus gutem Grund einschränken, sodass sie nicht einfach eine Seite abrufen können.
• Modelle sind keine Browser. Selbst mit einer URL zur Hand hat ein rohes Modell keine Engine, um JavaScript zu rendern, Weiterleitungen zu folgen oder Anti-Bot-Abwehr zu überwinden.

Die Workarounds, auf die Entwickler zurückgreifen, sind alle auf ihre eigene Weise schlecht: gecrawlte Ergebnisse manuell in den Prompt kopieren, Halluzinationen akzeptieren, wenn Kontext fehlt, oder Agenten bauen, die in dem Moment fehlschlagen, in dem sich die zugrunde liegenden Daten aktualisieren. Nichts davon skaliert, und alles hat dieselbe Grundursache, nämlich dass das Modell keine Live-Verbindung zum Web hat.

Was das Model Context Protocol (MCP) ist

Das Model Context Protocol ist ein offener Standard, der eine konsistente Möglichkeit definiert, wie KI-Modelle mit externen Tools und Datenquellen kommunizieren können. Anstatt dass jede Integration ein eigenständiges Einzelstück ist, gibt MCP dem Modell eine einheitliche Schnittstelle: Es kann die Tools auflisten, die ein Server anbietet, einen mit Argumenten aufrufen und ein strukturiertes Ergebnis in sein Kontextfenster zurückbekommen.

Stellen Sie es sich als USB für KI vor. USB hat dafür gesorgt, dass jedes Gerät über einen Standard-Port in jeden Computer gesteckt werden kann; MCP sorgt dafür, dass jedes Tool oder jede Datenquelle über ein Standardprotokoll in jeden MCP-fähigen Client gesteckt werden kann. Ein MCP-Client (Claude Desktop, Cursor, Windsurf und eine wachsende Liste weiterer) spricht das Protokoll; ein MCP-Server stellt Fähigkeiten darüber bereit. Der Crawlbase Web MCP ist ein solcher Server, und die Fähigkeit, die er bereitstellt, ist das Live-Web.

Was der Crawlbase Web MCP-Server bereitstellt

Der Crawlbase MCP-Server ist das Verbindungsgewebe zwischen einem LLM-Client und dem Echtzeit-Web. Er basiert auf derselben Crawling-Infrastruktur, die bereits einer großen Entwicklerbasis dient, sodass ein Agent, der ihn nutzt, JavaScript-Rendering, serverseitige Proxy-Rotation und Anti-Bot-Behandlung erhält, ohne zu wissen, dass das passiert. Für das Modell sind es nur ein paar Tools, die eine URL in Daten verwandeln.

Die Tools, die der Server bereitstellt, erledigen das Abrufen und die Bereinigung, sodass das Modell Inhalte erhält, die es tatsächlich verwenden kann:

• crawl ruft eine URL ab und gibt das Seiten-HTML zurück, gerendert wenn die Seite JavaScript benötigt, um sich zu füllen.
• crawl_markdown ruft eine URL ab und gibt sauberes Markdown zurück, bereinigt von Navigations-Chrome und Boilerplate, das Format, das Modelle am zuverlässigsten lesen.
• crawl_screenshot nimmt einen visuellen Screenshot einer Seite für Fälle auf, in denen Layout oder ein Bild wichtiger sind als Text.

Unter der Haube ist jedes davon dasselbe gehärtete Crawlen, das die Crawling API durchführt: Ein echter Browser rendert die Seite hinter einer vertrauenswürdigen privaten IP, sodass clientseitig gerenderte Sites vollständig gefüllt zurückkommen und die Anfrage als echter Besucher und nicht als markierter Bot erscheint. Das Modell sieht diese Maschinerie nie. Es fragt nach einer URL und erhält fertigen, strukturierten Inhalt zurück.

Wie man den Crawlbase Web MCP mit einem Client verbindet

Die Verbindung des Servers erfolgt mit denselben drei Schritten in jedem MCP-Client: Tokens besorgen, einen kleinen JSON-Block in die Client-Konfiguration einfügen und neu starten. Hier ist der vollständige Weg.

Schritt 1: Crawlbase-Tokens besorgen

Erstellen Sie ein Crawlbase-Konto, das mit bis zu 20.000 kostenlosen Anfragen beginnt und mehr hinzufügt, wenn Sie eine Karte hinterlegen. Öffnen Sie im Dashboard Ihre Kontodokumentation und kopieren Sie zwei Tokens: das normale Token für statische Seiten und das JavaScript-Token für Seiten, die clientseitig rendern. Der MCP-Server verwendet beide und wählt das richtige pro Anfrage aus.

Schritt 2: Den Server zur Client-Konfiguration hinzufügen

MCP-Clients lesen eine JSON-Konfiguration, die die zu startenden Server auflistet. Der Crawlbase-Eintrag weist den Client an, den Server über stdio mit npx auszuführen und übergibt Ihre Tokens als Umgebungsvariablen. Derselbe Block funktioniert in Claude Desktop, Cursor und Windsurf; nur die Datei, in der er sich befindet, unterscheidet sich je Client.

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Ersetzen Sie your_token_here und your_js_token_here durch Ihre tatsächlichen normalen und JavaScript-Tokens. Wo dieser Block hinkommt, hängt vom Client ab:

• Claude Desktop: Datei, dann Einstellungen, dann Entwickler, dann Konfiguration bearbeiten, was claude_desktop_config.json öffnet.
• Cursor: Cursor-Einstellungen, dann Tools und Integrationen, dann Benutzerdefinierten MCP hinzufügen, was mcp.json bearbeitet.
• Windsurf: Windsurf-Einstellungen, dann MCP-Server, dann MCPs verwalten, dann Rohkonfiguration anzeigen, was mcp_config.json bearbeitet.

Schritt 3: Neu starten und verifizieren

Speichern Sie die Konfiguration und starten Sie den Client neu (oder aktualisieren Sie ihn). Crawlbase sollte nun in der Liste der verbundenen MCP-Server des Clients erscheinen, mit seinen verfügbaren Tools. Wenn er nicht erscheint, starten Sie noch einmal neu, da einige Clients Server-Änderungen nur beim sauberen Start übernehmen.

Schritt 4: Von einem Prompt aus verwenden

Sie steuern die Tools in natürlicher Sprache. Das Modell entscheidet, welches Tool mit welcher URL aufgerufen wird. Ein erster Prompt zur Bestätigung der Verkabelung sieht wie das Beispiel unten aus; der Client wird Sie normalerweise beim ersten Mal bitten, den Tool-Aufruf zu genehmigen, also erteilen Sie die Erlaubnis, wenn Sie dazu aufgefordert werden.

Crawl https://www.nytimes.com and return the page as markdown

Hinter diesem Satz ruft der Client das Tool crawl_markdown mit der URL als Argument auf. Konzeptionell sieht der Aufruf, den der Client macht, so aus:

{
  "tool": "crawl_markdown",
  "arguments": {
    "url": "https://www.nytimes.com"
  }
}

Der Server rendert die Seite, bereinigt sie und gibt Markdown in den Kontext des Modells zurück, und das Modell antwortet aus diesem Live-Inhalt statt aus dem Gedächtnis. In einer IDE wie Cursor oder Windsurf kann derselbe Ablauf das Ergebnis direkt in eine Datei schreiben, sodass ein Prompt zum Crawlen einer Seite und Speichern als Markdown eine Markdown-Datei auf der Festplatte mit dem Live-Inhalt erzeugt.

Warum Echtzeit-Web-Zugriff für Agenten wichtig ist

Ein Agent, der das Live-Web lesen kann, ist eine andere Kategorie von Tool als einer, der das nicht kann. Der Unterschied zeigt sich in dem Moment, in dem eine Aufgabe von etwas abhängt, das das Modell nicht hätte auswendig lernen können:

• Recherche, die tatsächlich aktuell ist. Das Modell kann den heutigen Artikel, die aktuelle Preisseite oder die Release-Notiz abrufen und darüber schlussfolgern, anstatt aus Trainingsdaten zu approximieren, die möglicherweise ein Jahr veraltet sind.
• Coding-Assistenten mit Laufzeit-Bewusstsein. Ein IDE-Agent kann die aktuellen Dokumentationen für eine Bibliotheksversion lesen, anstatt eine API vorzuschlagen, die vor zwei Releases entfernt wurde.
• Agenten, die bei Updates nicht brechen. Da die Daten bei jedem Durchlauf frisch abgerufen werden, funktioniert ein Workflow weiter, wenn sich die Quellseite ändert, anstatt still einen zwischengespeicherten Snapshot zu liefern.
• Strukturierter Input, kein Screen-Scraping. Sauberes Markdown und HTML bedeuten, dass das Modell seinen Kontext auf Inhalte verwendet, nicht auf das Parsen von Layout-Rauschen.

Das ist derselbe Schritt, der einen verwalteten Proxy für einen Agenten nützlicher macht als eine rohe IP-Liste. Wenn Sie das größere Bild sehen möchten, wie KI-Tooling das Web konsumiert, decken Was ist ein AI-Proxy und AI-Proxy-Anwendungsfälle die Zugriffsschicht ab, und Wie KI-Datenextraktion funktioniert deckt ab, was mit den Daten nach der Ankunft passiert.

Wie der MCP zum Rest von Crawlbase passt

Der Web MCP ist keine separate Scraping-Engine; er ist eine MCP-geformte Eingangstür zur Infrastruktur, die Sie auch direkt erreichen können. Dasselbe Rendering und Entsperren, das die MCP-Tools verwenden, steht über die Crawling API für codegesteuerte Crawls zur Verfügung, über den Smart AI Proxy, wenn Sie einen KI-Proxy-Endpunkt möchten, durch den Sie normale Anfragen routen, und über die Crawling API, wenn Sie Felder automatisch aus gängigen Seitentypen geparst haben möchten.

Die praktische Schlussfolgerung: Verwenden Sie den Web MCP, wenn der Verbraucher ein LLM-Client ist und Sie möchten, dass das Modell konversationell Live-Daten abruft, und greifen Sie auf die API- oder Proxy-Produkte zurück, wenn der Verbraucher Ihr eigener Code ist. Sie teilen dasselbe Backend, sodass das Verhalten über alle konsistent ist.

Häufig gestellte Fragen

Was ist der Crawlbase Web MCP-Server?

Es ist ein MCP-Server für AI Scraping, der einem LLM-Client Tools gibt, um Live-Webseiten zu crawlen und zu lesen. Er stellt crawl, crawl_markdown und crawl_screenshot über das Model Context Protocol bereit, sodass ein Modell eine URL abrufen und gerendertes HTML, sauberes Markdown oder einen Screenshot direkt in seinem Kontext erhalten kann. Das Crawlen, Rendern und Entsperren geschieht auf der Infrastruktur von Crawlbase, sodass das Modell nur fertige Daten sieht.

Was ist das Model Context Protocol (MCP)?

MCP ist ein offener Standard, der eine konsistente Möglichkeit definiert, wie KI-Modelle mit externen Tools und Datenquellen kommunizieren können. Ein MCP-Client (wie Claude Desktop, Cursor oder Windsurf) verbindet sich mit MCP-Servern, listet ihre Tools auf, ruft sie mit Argumenten auf und erhält strukturierte Ergebnisse zurück. Es wird oft als USB für KI beschrieben, weil ein Protokoll es jedem kompatiblen Tool ermöglicht, in jeden kompatiblen Client gesteckt zu werden.

Welche Clients können sich mit dem Crawlbase Web MCP verbinden?

Jeder MCP-fähige Client. Die Einrichtung in diesem Leitfaden deckt Claude Desktop, Cursor und Windsurf ab, die eine JSON-Konfiguration lesen, die den Server über stdio startet. Derselbe Konfigurationsblock funktioniert in allen; nur die Datei, in der er lebt, unterscheidet sich je Client. Da mehr Tools MCP übernehmen, funktioniert derselbe Server auch mit ihnen.

Benötige ich ein normales Token oder ein JavaScript-Token?

Sie stellen beide in der Konfiguration bereit. Der Server verwendet das normale Token für statische Seiten und das JavaScript-Token für Seiten, die clientseitig rendern und einen echten Browser benötigen, um sich zu füllen. Das Bereitstellen beider lässt den Server das richtige pro Anfrage auswählen, sodass clientseitig gerenderte Seiten vollständig geladen statt als leere Hülle zurückkommen.

Wie unterscheidet sich der Web MCP von der Crawling API?

Sie teilen dasselbe Backend; der Unterschied liegt darin, wer sie aufruft. Der Web MCP ist für LLM-Clients und ermöglicht einem Modell, konversationell über MCP-Tools Live-Daten abzurufen. Die Crawling API ist für Ihren eigenen Code, direkt über HTTP aufgerufen. Verwenden Sie den MCP, wenn ein KI-Client der Verbraucher ist, und die API, wenn Ihre Anwendung es ist.

Warum benötigen KI-Agenten Echtzeit-Web-Zugriff?

Weil die Trainingsdaten eines Modells eingefroren sind und seine Laufzeit das Web nicht von sich aus erreichen kann, ist jede Aufgabe, die von aktuellen Informationen abhängt (heutige Nachrichten, Live-Preise, die neuesten Dokumentationen), ohne ein Tool eine Vermutung. Echtzeit-Zugriff lässt den Agenten frische, strukturierte Inhalte abrufen und noch in derselben Sitzung darüber schlussfolgern, was Recherche aktuell hält und verhindert, dass Workflows brechen, wenn sich Quellseiten ändern.

IK

Ian Kalvin

Technical Support Engineer · Crawlbase

Technical Support Engineer bei Crawlbase, der von der Front darüber schreibt, was beim Scraping und bei Proxy-Setups im Produktivbetrieb tatsächlich kaputtgeht.

NZ

Neil Zamora

Senior Architect · Crawlbase

Senior Architect bei Crawlbase mit Fokus auf den Systemen hinter großflächigem Crawling: Proxy-Rotation, Anti-Bot-Resilienz und den APIs, die diese Komplexität verbergen.