Die besten MCP-Server für Web ScrapingNeun Optionen im Vergleich für 2026

Ein MCP-Server ermöglicht es einem KI-Assistenten wie Claude, Cursor oder einem Agenten auf Basis des OpenAI Agents SDK, mitten in einer Unterhaltung externe Tools aufzurufen. Beim Web Scraping heißt das: Das Modell kann eine Live-Seite abrufen, sie als Markdown lesen, einen Screenshot erstellen oder eine Suche ausführen, ohne dass Sie Glue Code schreiben müssen. Die meisten Scraping-Anbieter liefern inzwischen einen solchen Server aus, und sie unterscheiden sich stark darin, was sie bereitstellen, wo sie laufen und vor allem, wie gut sie Websites erreichen, die Bots blockieren.

Dieser Leitfaden vergleicht die MCP-Server für Web Scraping, die 2026 einen Test wert sind, zeigt, wofür sich jeder tatsächlich eignet, und erklärt, wie Sie den Crawlbase Web MCP Server mit Claude Desktop und Claude Code verbinden. Alle Angaben zu den Servern wurden am 29. September 2026 erneut mit der Dokumentation oder dem Repository des jeweiligen Anbieters abgeglichen. MCP-Server ändern sich schnell, prüfen Sie daher Tool-Namen und Limits, bevor Sie darauf aufbauen.

Was ein MCP-Server für Web Scraping leistet

Das Model Context Protocol ist ein offener Standard, um KI-Assistenten mit externen Tools zu verbinden. Ein Scraping-MCP-Server registriert einige Tools, etwa „diese URL als Markdown abrufen“, und der Client entscheidet, wann er sie aufruft. Der Server übernimmt die Netzwerkarbeit und gibt das Ergebnis als Text oder Bild an das Modell zurück.

Daraus ergeben sich zwei Konsequenzen. Die Qualität der Antwort ist durch die Qualität des Abrufs begrenzt: Ein Server, der von Ihrer eigenen IP abruft, scheitert genau dort, wo auch ein einfaches Skript scheitert. Und jedes Tool, das der Server registriert, wird dem Modell in jedem Turn beschrieben, sodass ein Server mit Dutzenden Tools mehr vom Kontextfenster verbraucht, bevor die eigentliche Arbeit beginnt, als einer mit nur wenigen.

Worauf es beim Vergleich ankommt

1. Erfolg auf geschützten Websites. Läuft der Server auf einem Proxy-Netzwerk mit Anti-Bot-Handling, oder ruft er von Ihrem Rechner ab? Testen Sie ihn auf den Websites, die Sie tatsächlich brauchen.
2. JavaScript-Rendering. Kann er Single-Page-Apps und spät geladene Inhalte laden, und rendert er bei jedem Aufruf oder nur auf Anforderung?
3. Ausgabeformat. Sauberes Markdown ist das günstigste Format, das ein Modell lesen kann. Rohes HTML eignet sich zum Parsen, kostet aber viele Token.
4. Gehostet oder lokal. Ein gehosteter Endpunkt erfordert keine Installation. Ein lokaler Server, der mit npx oder uvx gestartet wird, hält den Token in einem Prozess, den Sie kontrollieren.
5. Anzahl der Tools. Ein breit aufgestellter Server deckt mehr Aufgaben ab, fügt aber jedem Turn Kontext hinzu. Prüfen Sie, ob sich Tool-Gruppen abschalten lassen.
6. Abrechnung. Kostenloser Server plus abgerechnete API-Aufrufe, Credits mit Multiplikatoren oder Open Source ohne Service dahinter, und ob fehlgeschlagene Requests berechnet werden.
7. Client-Unterstützung. Konfigurationen zum Kopieren für die Clients, die Ihr Team nutzt: Claude Desktop, Claude Code, Cursor, VS Code oder Windsurf.

Die Server

1. Crawlbase Web MCP Server

Ideal für: Assistenten, die aktuelle, JavaScript-lastige oder geschützte Seiten live auf derselben Infrastruktur lesen müssen, die auch ein Scraper im Produktivbetrieb nutzen würde.

Der Crawlbase Web MCP Server leitet jeden Aufruf über die Crawling API, sodass Proxys und Anti-Bot-Handling durchgehend greifen, und JavaScript-Rendering kommt zum Einsatz, wenn ein Aufruf es braucht: für Screenshots, Wartezeiten auf der Seite, Geräteemulation und Scrollen. Er registriert drei Crawl-Tools:

• crawl ruft eine URL ab und gibt ihr HTML zurück.
• crawl_markdown liefert sauberes, aus der Seite extrahiertes Markdown, das günstigste Format, das ein Modell lesen kann.
• crawl_screenshot liefert ein JPEG der Seite, standardmäßig als ganzseitige Aufnahme, das das Modell direkt sehen kann.

Daneben gibt es sechs Storage-Tools für Seiten, gespeichert mit store: true, sodass v1.3.0 insgesamt neun Tools registriert. Der Server ist Open Source auf GitHub und läuft mit npx @crawlbase/mcp@latest auf Node 18 oder neuer; Crawlbase hostet ihn außerdem unter https://mcp.crawlbase.com/mcp, wo ein einziger Schlüssel genügt. Er funktioniert mit Claude Desktop, Claude Code, Cursor, Windsurf und n8n.

Abrechnung: Der Server selbst ist kostenlos. Sie zahlen für die Crawling API Requests, die er ausführt, und fehlgeschlagene Requests werden nicht berechnet. Ein gerenderter Request kostet das Doppelte der Preisstufe der Website, ein Screenshot kostet 2 Credits, und eine in Cloud Storage gespeicherte Seite kostet einen halben Credit pro Monat. Neue Konten erhalten zum Start bis zu 5.000 kostenlose Requests, ohne Karte.

2. Bright Data MCP

Ideal für: Agenten, die Suche, Scraping, strukturierte Daten von großen Websites und Browser-Automatisierung aus einem einzigen Server brauchen.

Bei Bright Data ist der Open-Source-MCP-Server (MIT) der umfassendste in dieser Übersicht: Suche über Google, Bing und Yandex, scrape_as_markdown und Batch-Scraping, eine große Familie von web_data_* Tools für strukturierte Daten von Websites wie Amazon und LinkedIn sowie 13 Tools für Browser-Automatisierung. Nutzen Sie den gehosteten Endpunkt unter mcp.brightdata.com oder betreiben Sie ihn lokal mit npx @brightdata/mcp. Das kostenlose Kontingent umfasst 5.000 Requests pro Monat, ohne Karte.

Zu beachten: Der vollständige Tool-Satz ist groß. Die README dokumentiert GROUPS und TOOLS als Einstellungen, um nur das Nötige zu laden, und es lohnt sich, sie zu nutzen.

3. Firecrawl MCP

Ideal für: Crawling und Mapping ganzer Websites aus einem Assistenten heraus, mit Suche und Extraktion.

Der Firecrawl-MCP-Server (MIT) stellt firecrawl_scrape, firecrawl_map, firecrawl_search, firecrawl_crawl, Parse- und Agent-Tools sowie neuere Tools für Research und Monitoring bereit, 26 im vollständigen Profil. Er läuft gehostet unter mcp.firecrawl.dev, lokal mit npx -y firecrawl-mcp, alternativ verbindet er sich mit einer selbst gehosteten Firecrawl-Instanz. Scrape, Search und Parse funktionieren ohne Schlüssel mit Rate Limit; Crawl, Map und Agent benötigen einen.

Zu beachten: Der selbst gehostete Firecrawl-Build lässt Fire-engine weg, seine Anti-Bot-Schicht, sodass ein selbst gehostetes MCP-Setup geschützte Websites möglicherweise nicht erreicht.

4. Apify MCP

Ideal für: Agenten, die aus einem großen Marktplatz einen fertigen Scraper für eine bestimmte Website auswählen sollen.

Der Apify-MCP-Server (MIT) verbindet einen Assistenten mit den Tausenden von Actors im Apify Store. Seine Standard-Tools suchen einen Actor, laden seine Details und rufen ihn auf, sodass das Modell einen Scraper für eine Website finden und ausführen kann. Er ist gehostet unter mcp.apify.com mit OAuth oder einem Bearer Token erreichbar und läuft lokal mit npx @apify/actors-mcp-server. Er funktioniert mit Claude Code, Claude.ai, Cursor und VS Code.

Zu beachten: Qualität und Kosten hängen vom Actor ab, den das Modell auswählt. Legen Sie für produktive Jobs die Actors fest, denen Sie vertrauen, statt das Modell den gesamten Store durchsuchen zu lassen.

5. Oxylabs MCP

Ideal für: Teams, die bereits Oxylabs nutzen und dessen Scraper-APIs und AI Studio Tools in einem Assistenten verwenden möchten.

Oxylabs empfiehlt seinen gehosteten Endpunkt unter mcp.oxylabs.io, der Tools für die Web Scraper API (ein universeller Scraper sowie Scraper für Google und Amazon) und AI Studio Tools für Scraping, Crawling, Browsing, Suche und Site Mapping bietet. Das GitHub-Repository ist archiviert, die Dokumentation von Oxylabs beschreibt aber weiterhin eine lokale Installation mit uvx oxylabs-mcp.

6. ScrapingBee MCP

Ideal für: Teams, die ScrapingBee nutzen und HTML, Text, Screenshots sowie einige website-spezifische Tools in einem Assistenten wollen.

ScrapingBee betreibt einen Remote-MCP-Server unter mcp.scrapingbee.com, der Tools für Seiten-HTML und -Text, Screenshots, Datei-Downloads, Google-Suche sowie Amazon, Walmart und YouTube bietet. Claude Desktop und Cursor verbinden sich über mcp-remote, und Aufrufe verbrauchen ScrapingBee Credits zum gleichen Satz wie die API.

Zu beachten: Das einzige dokumentierte Setup übergibt den API-Schlüssel in der Endpunkt-URL, behandeln Sie die MCP-Konfigurationsdatei daher als Geheimnis.

7. ScraperAPI MCP

Ideal für: strukturierte Daten von Such-, Einzelhandels- und Immobilien-Websites sowie asynchrone Crawl-Jobs.

Der ScraperAPI-MCP-Server (MIT) registriert 28 Tools: ein allgemeines scrape Tool mit Optionen für Rendering, Land und Ausgabe, Tools für strukturierte Daten von Google, Amazon, Walmart, eBay und Redfin, Tools für Crawler-Jobs und Tools für AI-Parser. Er läuft remote oder lokal als Python-Paket (Python 3.11 oder neuer) oder in Docker.

Zu beachten: Bei 28 Tools sind die Kontextkosten spürbar. Wenn Sie nur Seiteninhalte brauchen, ist ein kleinerer Server pro Turn günstiger.

8. Jina MCP

Ideal für: Lesen öffentlicher Seiten und Paper, Suche und Reranking für recherche-orientierte Agenten.

Der Remote-MCP-Server von Jina (Apache-2.0) bündelt Reader und Search: read_url und capture_screenshot_url für Seiten, search_web und search_arxiv für die Suche sowie sort_by_relevance und deduplicate_strings für das Ranking. Die Lese-Tools funktionieren ohne Schlüssel mit Rate Limit; Suche und Ranking benötigen einen. Er eignet sich gut für Dokumentation und Artikel. Reader ist der Abrufmechanismus dahinter, und die FAQ von Jina selbst besagt, dass Reader keine Anti-Bot-Systeme umgeht.

9. Playwright MCP

Ideal für: Durchklicken von Abläufen, Ausfüllen von Formularen und Testen Ihrer eigenen Web-App aus einem Assistenten heraus.

Der Playwright MCP von Microsoft (Apache-2.0) steuert einen echten lokalen Browser über Accessibility-Snapshots und läuft mit npx @playwright/mcp@latest. Er ist kostenlos. Er akzeptiert einen Proxy-Server, dokumentiert aber keine Entsperrung, sodass Sie auf geschützten Websites die Proxys selbst stellen. Die eigene README legt nahe, dass Coding-Agenten mit Playwright CLI und Skills möglicherweise eine bessere Token-Effizienz erreichen.

Ebenfalls wissenswert: Scrapy MCP

Zyte hat Scrapy MCP am 23. September 2026 angekündigt. Scrapy MCP ruft keine Seiten ab: Es verbindet einen Agenten wie Claude Code mit einem laufenden Scrapy-Crawl, sodass der Agent Jobs inspizieren und den Spider live debuggen kann. Wenn Ihr Team Scrapy-Spiders schreibt, lässt es sich gut mit jedem der oben genannten Fetcher kombinieren.

Die Server im Vergleich

Den Crawlbase Web MCP Server mit Claude verbinden

Sie benötigen ein Crawlbase-Konto und Ihre Tokens aus dem Dashboard: den Normal token für einfache Requests und den JavaScript token für gerenderte Seiten und Screenshots. Die Beispiele verwenden Platzhalter; fügen Sie niemals echte Tokens in geteilte Dateien oder Screenshots ein.

Claude Desktop

Öffnen Sie Settings, dann Developer, dann Edit Config, ergänzen Sie diesen Block in der Datei claude_desktop_config.json, und starten Sie Claude Desktop anschließend neu:

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "YOUR_TOKEN",
        "CRAWLBASE_JS_TOKEN": "YOUR_JS_TOKEN"
      }
    }
  }
}

Claude Code

Claude Code liest dieselbe mcpServers Struktur aus der Projektdatei .mcp.json, alternativ aus ~/.claude.json für Ihren Benutzer. Der obige Block startet den Server lokal. Um stattdessen den gehosteten Server ohne Installation zu nutzen, richten Sie ihn auf den Endpunkt aus und senden einen Token als Bearer-Header:

{
  "mcpServers": {
    "crawlbase": {
      "type": "streamable-http",
      "url": "https://mcp.crawlbase.com/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_TOKEN"
      }
    }
  }
}

Sobald die Verbindung steht, bitten Sie um etwas, das Live-Daten erfordert, etwa „Lies die Preisseite unter dieser URL und fasse die Tarife als Tabelle zusammen.“ Claude nutzt crawl_markdown, liest das Ergebnis und antwortet. Der Launch-Beitrag und die MCP-Dokumentation decken den Rest ab.

Zwei Hinweise zur Sicherheit. Beim lokalen Server sieht der Client Tool-Definitionen und Ergebnisse, aber nie Ihre Tokens; beim gehosteten Setup liegt der Token in der Konfigurationsdatei des Clients, behandeln Sie diese Datei daher als Geheimnis. In beiden Fällen kann das Modell jede beliebige URL anfordern, verwenden Sie also einen Token, den Sie rotieren können, und behalten Sie Ihr Request-Log im Blick.

So wählen Sie aus

• Ihr Assistent braucht Live-Seiten, auch geschützte und JavaScript-lastige: ein Server auf einem Scraping-Netzwerk mit Proxys und Rendering, etwa der Crawlbase Web MCP Server.
• Sie wollen Suche, Scraping und website-spezifische Daten aus einem Server: Bright Data deckt das meiste ab, wenn Sie die Tool-Gruppen reduzieren.
• Sie müssen ganze Websites aus dem Assistenten heraus crawlen oder mappen: die Crawl- und Map-Tools von Firecrawl.
• Sie wollen einen fertigen Scraper für eine einzelne Website: Apify, mit fest vorgegebenen Actors.
• Sie automatisieren einen Browser-Ablauf oder testen Ihre eigene App: Playwright MCP, mit eigenen Proxys, falls die Ziel-Website Bots blockiert.
• Sie debuggen Scrapy-Spiders: Scrapy MCP zusätzlich zu Ihrem Fetcher einsetzen.

Egal, welche Server auf Ihrer Shortlist landen: Schicken Sie dieselben 20 bis 50 echten URLs durch jeden Server und vergleichen Sie drei Dinge: wie viele mit echtem Inhalt zurückkommen, wie sauber die Ausgabe ist und wie viel Kontext jeder Turn kostet.

Häufig gestellte Fragen (FAQs)

Was ist ein MCP-Server für Web Scraping?

Ein kleiner Server, der das Model Context Protocol spricht und Scraping-Aktionen, etwa das Abrufen einer Seite als Markdown oder das Erstellen eines Screenshots, als Tools bereitstellt, die ein KI-Assistent aufrufen kann. Der Assistent entscheidet, wann er sie aufruft, und liest das Ergebnis.

Welcher MCP-Server ist der beste für Claude?

Jeder Server in diesem Leitfaden funktioniert mit Claude. Um Live-Seiten zu lesen, auch geschützte, nutzen Sie einen Server, hinter dem eine Scraping-API mit Proxys und Rendering steht, etwa den Crawlbase Web MCP Server, damit das Modell echte Inhalte statt Blockierungsseiten erhält. Für Browser-Abläufe nutzen Sie Playwright MCP.

Ist der Crawlbase Web MCP Server kostenlos?

Der Server ist kostenlos und Open Source. Sie zahlen für die Crawling API Requests, die er ausführt, und fehlgeschlagene Requests werden nicht berechnet; ein Screenshot kostet 2 Credits, und das Speichern einer Seite in Cloud Storage kostet einen halben Credit pro Monat. Neue Konten erhalten zum Start bis zu 5.000 kostenlose Requests, ohne Kreditkarte.

Muss ich etwas installieren?

Nicht immer. Crawlbase, Bright Data, Firecrawl, Apify, Oxylabs, ScrapingBee, ScraperAPI und Jina bieten alle gehostete Endpunkte an. Lokale Server laufen meist bei Bedarf über npx oder uvx, sodass auch keine globale Installation nötig ist.

Kann ein MCP-Server Websites scrapen, die Bots blockieren?

Nur wenn er auf einer dafür gebauten Infrastruktur läuft. Ein Server, der von Ihrem eigenen Rechner abruft, etwa ein lokaler Server für Browser-Automatisierung, wird genauso blockiert wie ein Skript. Server mit einer Scraping-API dahinter leiten Requests über Proxys und bewältigen Anti-Bot-Challenges serverseitig.

VP

Viktor Petrov

Data-Science-Architekt · Crawlbase

Data-Science-Architekt bei Crawlbase. Arbeitet an den Modellen, die groß angelegtes Crawling auch gegen moderne Bot-Abwehr zuverlässig halten.