AI & MCP
Binden Sie Crawlbase in Ihren KI-Agenten-Stack ein. Der MCP-Server gibt jedem MCP-kompatiblen Client (Claude Desktop, Cursor, VS Code, OpenAIs Codex Agent) live, strukturierten Zugriff auf das Web - ohne ihn kann kein Modell browsen, mit ihm kann das Modell jede URL auf Abruf crawlen, scrapen und per Screenshot erfassen.
MCP (Model Context Protocol) ist eine offene Spezifikation von Anthropic zur Anbindung von KI-Assistenten an externe Tools und Daten. Ein MCP-Server stellt eine Reihe benannter Tools bereit (wie crawl_url, crawl_markdown, crawl_screenshot), die jeder MCP-fähige Client erkennen und aufrufen kann. Der Crawlbase MCP-Server gibt Ihrem Agenten dieselben Crawl- und Scrape-Fähigkeiten, die auch die Crawling API bietet - bereitgestellt als vom Agenten aufrufbare Tools statt als REST-Endpoints.
Hier starten
ai-mcp- MCP-Server-Referenz. Installationsschritte, bereitgestellte Tools (mit Input-/Output-Schemas), Client-Konfiguration, Umgebungsvariablen, Sicherheitshinweise. Die ausführlichste Seite in diesem Abschnitt - lesen Sie sie zuerst.
Mit Ihrem Client verwenden
Client-spezifische Setup-Anleitungen für die IDEs und Agenten, die MCP bereits sprechen:
ai-claude- Claude Desktop und Claude Code. Fügen Sie einen JSON-Block in Ihre Einstellungen ein, und Claude kann URLs crawlen, die Sie im Chat referenzieren.ai-cursor- Cursor. Der MCP-Server erscheint als Tool, das der Agent mitten in der Konversation aufrufen kann.ai-vscode- VS Code (mit Continue, Claude Code oder einer beliebigen MCP-fähigen Extension).ai-codexnew - OpenAI Codex Agent. Bindet Crawlbase als angeschlossenes Tool ein.ai-opencodenew - OpenCode Terminal-Agent. Nativer MCP-Client (lokal + remote, mit OAuth) - bringt Crawlbase-Tools direkt in den Coding-Loop in der Shell.
Prompt-Muster
ai-prompts- Rezepte, um das Modell dazu zu bringen, die Crawlbase-Tools effektiv zu nutzen. RAG-Retrieval, Vergleichs-Flows, mehrstufige Recherche, Screenshot-gestütztes Reasoning - bewährte Prompt-Formen für jeden Fall.
Warum KI über Crawlbase routen
Die meisten LLM-Clients können das Live-Web überhaupt nicht browsen; die wenigen, die es können (suchergänzter Chat, browser-nutzende Agenten), stoßen auf dieselben Hürden wie menschliche Scraper: JS-lastige SPAs, Anti-Bot-Challenges, geo-beschränkte Inhalte, Rate-Limits. Der MCP-Server übergibt dem Agenten ein Tool, das diese Probleme bereits gelöst hat: Jedes Crawlbase-Feature (Residential Proxies, JS-Rendering, Bot-Bypass, Geo-Routing, die Scraper-Bibliothek) ist vom Agenten aus erreichbar, ohne das Modell mit Implementierungsdetails zu konfrontieren.
Wenn Sie ein Agenten-Produkt ausliefern, ist dies der günstigste Weg, ihm echten Web-Zugriff zu geben, ohne eine eigene Browser-Automation-Schicht zu schreiben.