MCP Server

Was ist MCP?

Das Model Context Protocol ist ein offener Standard zur Anbindung von KI-Assistenten an externe Tools. Der Crawlbase MCP-Server spricht MCP, sodass jeder kompatible Client - Claude Desktop, Cursor, Zed, Continue, das OpenAI Agents SDK - Crawlbase als native Funktion nutzen kann.

Das Ergebnis: Ihre KI kann während eines Gesprächs eine Seite abrufen, ein Produkt parsen, einen Screenshot erstellen oder das Web durchsuchen. Kein Glue-Code, kein Copy-Paste zwischen Fenstern, kein Proxy-Server.

Installation

Der Server läuft als kleiner Node-Prozess. Die meisten Clients starten ihn bei Bedarf über npx: keine globale Installation erforderlich.

# No install - let your client launch it
npx @crawlbase/mcp@latest

# Or install globally if you prefer
npm install -g @crawlbase/mcp
crawlbase-mcp

docker run -i --rm \
  -e CRAWLBASE_TOKEN=YOUR_TOKEN \
  -e CRAWLBASE_JS_TOKEN=YOUR_JS_TOKEN \
  crawlbase/mcp

Quellcode auf GitHub. Erfordert Node 18+ bei direkter Ausführung.

Client konfigurieren

Jeder MCP-Client verwendet dieselbe Config-Struktur: Servername, auszuführender Befehl, Umgebungsvariablen. Fügen Sie dies in die Config-Datei Ihres Clients ein.

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "YOUR_TOKEN",
        "CRAWLBASE_JS_TOKEN": "YOUR_JS_TOKEN"
      }
    }
  }
}

Gehosteter Server, nichts zu installieren

Crawlbase betreibt denselben Server unter https://mcp.crawlbase.com/mcp. Richten Sie Ihren Client mit Ihrem Token als Bearer-Header darauf; Clients ohne Header-Unterstützung hängen ihn als ?token=YOUR_TOKEN an die URL.

{
  "mcpServers": {
    "crawlbase": {
      "type": "streamable-http",
      "url": "https://mcp.crawlbase.com/mcp",
      "headers": { "Authorization": "Bearer YOUR_TOKEN" }
    }
  }
}

Ein Schlüssel genügt: eine Anfrage, die einen Browser braucht (Screenshots, Wartezeiten, Geräte), geht mit javascript=true hinaus, und die API rendert sie mit dem JS-Schlüssel Ihres Kontos. Der gehostete Server hält keinen eigenen Token: eine Anfrage ohne Schlüssel wird mit 401 abgewiesen.

Setup-Anleitungen pro Client:

• Claude Desktop & Claude Code - Config in claude_desktop_config.json / claude.json
• Cursor - Settings → Tools and Integrations → Add Custom MCP
• VS Code & Windsurf - über Continue, Cline oder den integrierten MCP-Support von Windsurf
• Codex Plugin - kapselt diesen Server als natives Codex-Plugin

Bereitgestellte Tools

Der Server registriert drei Crawl-Tools und sechs Storage-Tools. Ihre KI sieht jedes davon als aufrufbare Funktion.

Crawl-Tools

Storage-Tools

Sechs Tools zum Abrufen und Verwalten von Seiten, die über store: true gespeichert wurden:

Beispielsitzung

Einmal konfiguriert, ruft Ihre KI diese Tools natürlich während des Gesprächs auf. Ein typischer Durchgang sieht so aus:

# You
What's the current price of "Web Scraping with Python" (3rd ed.) on Amazon US, UK, and DE?

# AI (calls crawl_markdown three times in parallel)
tool_use: crawl_markdown(
  url="https://www.amazon.com/dp/1098145356"
)
tool_use: crawl_markdown(
  url="https://www.amazon.co.uk/dp/1098145356"
)
tool_use: crawl_markdown(
  url="https://www.amazon.de/dp/1098145356"
)

# AI
"Web Scraping with Python" (3rd ed.) prices right now:
- US: $59.99 (in stock)
- UK: £52.99 (in stock)
- DE: €57.99 (in stock)
The US price is the lowest after currency conversion (~£47).

Umgebungsvariablen

Sicherheitshinweise

• Tokens verlassen niemals den Serverprozess. Der MCP-Client sieht Tool-Definitionen und Ergebnisse, nicht Ihre Credentials.
• Das Modell kann jede URL anfordern. Der Server hat keine eigene Domain-Allowlist; geben Sie ihm einen Schlüssel, den Sie rotieren können, und behalten Sie die Seite Requests im Blick. Eine Allowlist gehört auf die Client-Seite.
• Lokal ausführen. Der Server ist für lokalen Stdio-Transport ausgelegt. Stellen Sie ihn nicht ohne Auth-Layer übers Netzwerk bereit.