Changelog
Aktuelle Releases rund um die Crawlbase API, SDKs und Integrationen. Die Quell-Repos finden Sie unter github.com/crawlbase.
Juli 2026
2026-07-24 · Neue Scraper: OLX
- Zwei neue Scraper für OLX-Kleinanzeigen, in der Kategorie E-Commerce, über das gemeinsame Frontend (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz) - OLX SERP (eine Such- oder Kategorie-Ergebnisseite als geordnetes Array von Anzeigen mit Preisen und Standort, plus Paginierung) und OLX Item (eine einzelne Anzeige mit allen Attributen, Preis, Verkäufer und Bildern).
2026-07-22 · Neue Scraper: Exercism
- Vier neue Scraper für Exercism, in der Kategorie Entwickler & Tech - Exercism Exercises (eine Track-Übungsseite als strukturiertes Array mit Schwierigkeit und Freischaltstatus), Exercism Exercise (eine einzelne Übung mit ihren vollständigen Anweisungen als Text und HTML), Exercism Solutions (eine Übungs-Community-Lösungsseite als paginiertes Array von Autoren, Sprachen und Sternen) und Exercism Solution (eine einzelne veröffentlichte Lösung mit ihrem Iterationsverlauf und vollständigem Quellcode).
2026-07-20 · Neue Scraper: Stack Exchange
- Zwei neue Scraper für das Stack-Exchange-Netzwerk (Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow und alle
*.stackexchange.com-Sites), in der Kategorie Bewertungen & Q&A - Stack Exchange Questions (eine Fragen-, Tag- oder Suchergebnisseite als strukturiertes Array mit Paginierung) und Stack Exchange Thread (eine einzelne Frage mit allen Antwort- und Kommentar-Threads).
2026-07-16 · Neue Scraper: Booking.com
- Zwei neue Scraper für Booking.com, in der Kategorie Reisen, Events & Immobilien - Booking SERP (eine Suchergebnisseite als strukturiertes Array von Unterkünften mit Preisen und Review-Scores, plus Paginierung) und Booking Hotel (eine einzelne Hotelseite mit Preisen, Review-Scores und Ausstattung).
2026-07-16 · Neue Scraper: Product Hunt
- Zwei neue Scraper für Product Hunt, in der Kategorie Bewertungen & Q&A - Product Hunt Leaderboard (tägliche und wöchentliche Bestenlisten als geordnetes Array von Produkten) und Product Hunt Product (eine einzelne Produktseite mit Upvotes, Makern, Themen und Bewertungen).
2026-07-15 · Neue Scraper: Reddit
- Drei neue Scraper für Reddit, in der Kategorie Social Media - Reddit Subreddit (eine Subreddit-Liste als geordnetes Array von Beiträgen mit Paginierung), Reddit Search (eine Reddit-Suchergebnisseite als strukturiertes Array mit Paginierung) und Reddit Post (ein einzelner Beitrag mit seinem vollständigen Kommentarbaum).
2026-07-14 · Neue Scraper: GitHub
- Drei neue Scraper für GitHub, zusammengefasst in der neuen Kategorie Entwickler - GitHub Repository (eine einzelne Repository-Seite: Stars, Forks, Watcher, Sprachen, Topics, Lizenz, offene Issues und PRs, Standard-Branch und neuestes Release), GitHub SERP (eine Repository-Suchergebnisseite als strukturiertes Array mit Paginierung) und GitHub Profile (ein Benutzer- oder Organisationsprofil: Bio, Follower, Following, öffentliche Repos, angeheftete Repos und Organisationen).
Juni 2026
2026-06-30 · Neue Scraper: Google Trends
- Zwei neue Scraper für Google Trends - Google Trends (die „Trending now"-Seite, liefert die wichtigsten Trend-Suchanfragen mit Suchvolumen-Metriken und Trend-Aufschlüsselungen) und Google Trends Explore (liefert Interesse im Zeitverlauf, Interesse nach Region, verwandte Themen und verwandte Suchanfragen zu einem Thema).
2026-06-29 · Crawler-API: Crawler löschen
- Der neue Endpunkt
POST /crawler/<TOKEN>/<NAME>/deletelöscht einen Crawler vollständig - er leert die Warteschlange und meldet den Crawler ab, sodass er nicht mehr in Ihrem Dashboard oder Ihren Statistiken erscheint. Anders als Purge, das nur die Warteschlange leert, entfernt delete den Crawler selbst. Diese Aktion ist endgültig.
2026-06-06 · Neue Scraper: Galaxus
- Drei neue Scraper für Galaxus - Product, SERP und Product Reviews - liefern strukturierte Produkt-, Such- und Rezensionsdaten von galaxus.ch.
2026-06-04 · Crawling API: PDF-Ausgabe
- Der neue Parameter
pdf=trueder Crawling API gibt die vollständig gerenderte Seite als PDF (Content-Type: application/pdf) statt als HTML zurück. - Kombinieren Sie ihn mit den Rendering-Parametern (
country,device,page_wait); PDF-Requests werden wie ein JavaScript-gerenderter Request abgerechnet.
2026-06-02 · Crawler-Management-API
- Erstellen, abrufen und aktualisieren Sie Crawler programmatisch über REST, statt nur über das Dashboard.
- Neue Endpoints:
POST /crawler/<TOKEN>zum Erstellen,GET /crawler/<TOKEN>/<NAME>für Details undPUT /crawler/<TOKEN>/<NAME>zum Aktualisieren.
Mai 2026
2026-05-21 · Passwortloses Onboarding
- Melden Sie sich mit einem Einmalcode an, der Ihnen per E-Mail zugeschickt wird. Kein Passwort zum Festlegen, Merken oder Zurücksetzen; bestehende Konten funktionieren weiterhin wie gewohnt.
- Neu gestaltetes Onboarding für neue Konten. Wir wählen anhand Ihres angegebenen Anwendungsfalls einen Workflow vor (Scraping, MCP oder Integrationen), zeigen eine Live-Vorschau Ihres ersten Crawling API-Requests und leiten Sie nach Abschluss in den passenden Dashboard-Bereich weiter.
2026-05-08 · Neue Docs-Site
- /docs wurde durchgängig neu aufgesetzt - umstrukturierte Navigation, Dark Mode und sofortige Seitenübergänge in allen Bereichen.
- Die Command-Palette-Suche (
⌘K/Ctrl K) springt von überall direkt zu Seiten, Abschnitten und API-Parametern. - Der neue Ask AI-Button öffnet einen Crawlbase-trainierten Assistenten direkt auf der Seite, sodass Sie alles zur Dokumentation fragen können, ohne sie zu verlassen.
- Der interaktive API Playground führt echte Crawling API-Aufrufe direkt im Browser aus — mit Response-Headern und einer gerenderten Seitenvorschau neben dem Body.
- Hängen Sie
.mdan eine beliebige Docs-URL an (z. B./docs/crawling-api.md), um eine saubere Markdown-Kopie zu erhalten, die Sie an ein LLM weitergeben können. - /llms.txt wurde als Index für die Auffindbarkeit durch KI-Assistenten veröffentlicht.
- Aktualisierte deutsche, französische, russische und vereinfachte chinesische Übersetzungen auf allen Seiten — präziser und idiomatischer formuliert.
2026-05-03 · Go SDK v0.1.0
- Erstes offizielles Go SDK für die Crawlbase API. Ein einziger
CrawlingAPI-Client, ohne Abhängigkeiten, idiomatisches Go. - Quelle: github.com/crawlbase/crawlbase-go. Referenzdokumentation veröffentlicht auf pkg.go.dev.
2026-05-02 · LangChain-Integration v0.1.0
- langchain-crawlbase ist jetzt auf PyPI verfügbar - ein Document Loader, Tool und Retriever, der von der Crawling API unterstützt wird.
- Quelle: github.com/crawlbase/langchain-crawlbase.
April 2026
2026-04-24 · Crawling API: Markdown-Ausgabe
- Der neue Parameter
format=mdder Crawling API liefert sauberes Markdown anstelle von HTML. - Kombinieren Sie es mit
md_readability=true, um Navigation, Werbung und UI-Elemente vor der Konvertierung zu entfernen - dieselbe Idee wie der Reader Mode.
2026-04-23 · Tablet-Geräteoption
- Der
device-Parameter der Crawling API akzeptiert jetzt nebendesktopundmobileauchtablet.
2026-04-23 · MCP Server v1.3.0 - Storage-Tools
- Der Crawlbase MCP-Server erhält sechs Storage-Tools, sodass Agenten Cloud Storage-Einträge zwischen Crawls auflisten, lesen und aufräumen können - nicht nur neue auslösen.
- Veröffentlicht als
@crawlbase/[email protected].
2026-04-23 · Codex-Plugin
- Das Crawlbase Codex Plugin bringt Crawlbase MCP in OpenAI Codex.
- Manuelle Installation derzeit per
git clonein~/.codex/plugins/; Eintrag im Codex Marketplace befindet sich in Prüfung. - Quelle: github.com/crawlbase/crawlbase-codex-plugin
März 2026
2026-03-25 · Enterprise Crawler: queue_timeout
- Enterprise Crawler Push akzeptiert jetzt
queue_timeout, sodass Sie begrenzen können, wie lange ein Request in der Queue verbleibt, bevor er verworfen wird, anstatt ewig zu warten.
Februar 2026
2026-02-10 · Crawler in Enterprise Crawler umbenannt
- Das asynchrone Push/Pull-Produkt heißt nun im Dashboard und in der Dokumentation Enterprise Crawler, um es von der synchronen Crawling API abzugrenzen.
- Endpoints, Parameter und Token bleiben unverändert.
November 2025
2025-11-25 · MCP Server v1.2.0 - Auth & HTTP-Modus
- Der MCP-Server unterstützt jetzt header-basierte Authentifizierung sowie zusätzlich zu stdio einen optionalen HTTP-Transportmodus - nützlich für geteilte/remote MCP-Setups.
- Veröffentlicht als
@crawlbase/[email protected].
2025-11-04 · Crawlbase-Marke in allen Sprachversionen
- Die Umbenennung in Crawlbase ist jetzt in jeder übersetzten Ausgabe der Dokumentation umgesetzt (bisher nur auf Englisch).
Oktober 2025
2025-10-20 · Storage API in Cloud Storage umbenannt
- Das Produkt für Abruf und Aufbewahrung heißt jetzt in Docs, Dashboard und SDK-Methodennamen Cloud Storage. Bestehende
/storage-Endpoints funktionieren weiterhin.
September 2025
2025-09-26 · custom_success_code-Parameter
- Die Crawling API erhält
custom_success_code, sodass Sie Nicht-2xx-Antworten als erfolgreich markieren können, wenn Sie Endpoints scrapen, die berechtigterweise z. B. 404 oder 451 zurückgeben.
2025-09-16 · Smart Proxy → Smart AI Proxy
- Smart Proxy heißt jetzt Smart AI Proxy und spiegelt damit die KI-gesteuerte Routing- und Retry-Logik wider, die darunter ergänzt wurde. Keine Änderungen auf Client-Seite.
Juli 2025
2025-07-10 · Crawlbase MCP Server v1.0
- Erste öffentliche Veröffentlichung des Crawlbase MCP-Servers als
@crawlbase/mcpauf npm - drei Crawl-Tools (crawl,crawl_markdown,crawl_screenshot), nutzbar aus Claude Desktop & Claude Code, Cursor und VS Code / Windsurf.
Juni 2025
2025-06-25 · Smart Proxy: Header- und Cookie-Weiterleitung
- Smart Proxy leitet jetzt benutzerdefinierte Request-Header und Cookies an die Zielseite weiter - nützlich für authentifizierte Crawls und session-gebundenes Scraping.
2025-06-18 · scroll_interval-Abrechnung präzisiert
- Die Crawling-API-Dokumentation beschreibt jetzt genau, wie
scroll_intervalbei Long-Scroll-Seiten in die Abrechnung einfließt, sodass Sie die Kosten eines Infinite-Scroll-Crawls vor dem Absetzen vorhersagen können.