crawlbaseDocs
Anmelden

Changelog

Aktuelle Releases rund um die Crawlbase API, SDKs und Integrationen. Die Quell-Repos finden Sie unter github.com/crawlbase.

September 2026

2026-09-15 · Konsole: Rolle Betrachter

  • Workspaces erhalten die Rolle Betrachter für reinen Lesezugriff. Ein Betrachter kann Nutzung, Requests, Storage und Crawler öffnen, sieht aber nie einen API-Key oder ein Crawler-Ziel und kann nichts ändern. Die Rolle wählen Sie für ein Mitglied unter Einstellungen > Team.

2026-09-06 · Crawlbase Cookbook

  • Das Crawlbase Cookbook ist online: eine Seite für jede der 356 Websites, die unsere Kunden crawlen, beginnend mit Zahlen aus echtem Crawlbase-Traffic, etwa Erfolgsquote, ob ein Browser nötig ist und Credits pro Seite. Finden Sie eine Website über die Suche, Filter oder 26 Kategorieseiten, folgen Sie Schritt-für-Schritt-Rezepten wie Sephora und idealo, und lesen Sie, wie wir zählen.

2026-09-06 · Playground: ein Key für JavaScript-Rendering

  • Code-Snippets im Playground der Konsole und im Playground der Docs verwenden für gerenderte Requests jetzt Ihren normalen Key mit javascript=true statt des JavaScript-Keys. Die API wechselt vor dem Crawl auf Ihren JavaScript-Key, ein Key genügt also für beides, und der Request wird als JavaScript-Request abgerechnet. Siehe JavaScript-Parameter.

2026-09-06 · Konsole: Hinweise zu Kartenablauf und fehlgeschlagener Zahlung

  • Abrechnung zeigt die hinterlegte Karte und ihr Ablaufdatum. Innerhalb von 60 Tagen vor Ablauf wird der Hinweis gelb, nach Ablauf rot, sodass Sie die Karte vor der nächsten Abbuchung aktualisieren können. Schlägt eine Kartenzahlung fehl und wird erneut versucht, zeigt die Konsole ein Banner Zahlung fehlgeschlagen mit dem Betrag und einem Link zum Aktualisieren der Zahlungsmethode.

2026-09-05 · Konsole: Mehrverbrauch in Dollar

  • Bei Abonnements wird der Mehrverbrauch jetzt neben Credits auch in Dollar angezeigt, auf Abrechnung, der Startseite der Konsole und Nutzung, berechnet wie auf Ihrer Rechnung. Abrechnung zeigt außerdem Ihre nächste Verlängerung: den Plan plus den erwarteten Mehrverbrauch.

2026-09-05 · Konsole: Scraper-Katalog

  • Scraper zeigt jeden Scraper als Karte mit kurzer Beschreibung, einem Link zur Dokumentation und einer Schaltfläche Im Playground testen. Filtern Sie nach Name oder Kategorie.

2026-09-01 · Konsole: vollständige Rechnungshistorie

  • Die Rechnungsliste auf Abrechnung umfasst jetzt Ihre gesamte Historie, seitenweise, mit CSV-Export. Jede Rechnung wird als das Dokument heruntergeladen, das Ihnen zugeschickt wurde.

August 2026

2026-08-25 · Konsole: Organisation verlassen, Inhaber ändern

  • Unter Einstellungen > Team können Mitglieder eine Organisation jetzt selbst verlassen, und Inhaber können ein anderes Mitglied per Klick auf dessen Rolle zum Inhaber machen oder einen Inhaber zum Mitglied. Der letzte Inhaber kann nicht entfernt werden. Nehmen Sie eine Workspace-Einladung an, während Sie ein eigenes Abonnement haben, erklärt die Konsole zuerst, dass Ihr Abonnement weiter über Ihre eigene Organisation abgerechnet wird.
  • Die Seite zur LangChain-Integration verlinkt jetzt den Quellcode auf GitHub und das Paket auf PyPI, sodass Sie beides vor der Installation von langchain-crawlbase prüfen können.

2026-08-22 · Konsole: Crawler-Suche und Live-Ansicht

  • Crawler hat ein Suchfeld, das Crawler-Namen während der Eingabe abgleicht, dazu die Filter Alle, Aktiv und Pausiert; ein wegen niedrigen Guthabens pausierter Crawler zählt als pausiert. Der Live-Tab jedes Crawlers aktualisiert sich alle 5 Sekunden und zeigt wartende und laufende Jobs sowie die längste Wartezeit.

2026-08-22 · Konsole: Nutzung im Abrechnungszeitraum, mit Mehrverbrauchsrechner

  • Nutzung öffnet jetzt mit Dieser Zeitraum: dem Abrechnungszeitraum Ihres Plans oder ohne Plan dem laufenden Kalendermonat, sodass die Summen Ihrer Abrechnung entsprechen. Abonnenten sehen zuerst die verbrauchten Plan-Credits, und der Prognose-Regler dient als Mehrverbrauchsrechner: Er zeigt, welche Volumen Ihr Plan abdeckt und was darüber hinaus kosten würde.

2026-08-21 · Konsole: Workspaces archivieren, Nutzung pro Workspace

  • Inhaber können einen Workspace unter Einstellungen > Team archivieren. Seine Tokens funktionieren sofort nicht mehr; Nutzungs- und Abrechnungshistorie bleiben sichtbar. Bei Konten mit zwei oder mehr Workspaces zeigen Nutzung und das Diagramm auf der Startseite nach Auswahl eines Workspaces nur dessen Traffic.

2026-08-20 · Konsole: lesbare Storage-Vorschau

  • Die Vorschau in Storage ist jetzt formatiert: JSON-Inhalte, einschließlich Scraper-Ausgaben und Ergebnissen mit format=json, werden eingerückt, und HTML-Seiten erscheinen mit einem Tag pro Zeile statt in einer langen Zeile. Die gespeicherten Daten bleiben unverändert.

2026-08-19 · Konsole: Plan kündigen oder behalten

  • Der Abrechnungsinhaber kann einen Self-Service-Plan unter Abrechnung kündigen. Der Plan bleibt bis zum Ende des Zeitraums aktiv und wird nicht verlängert. Bis dahin zeigt er sein Enddatum, und Plan behalten macht die Kündigung rückgängig.

2026-08-14 · Die neue Konsole

  • Das Dashboard ist als Konsole neu gebaut. Requests ist ein durchsuchbares Log Ihrer API-Aufrufe mit Statusfiltern, einer Detailansicht pro Request und CSV-Export. Nutzung schlüsselt Credits nach Produkt, Stufe und Domain auf. Außerdem dabei: Storage, Crawler mit Zustellungslog und Wiederholungen, der Playground, Support-Tickets, Einstellungen und Abrechnung mit Rechnungen und Kartenzahlung. Mit Workspaces trennen Sie Keys und Nutzung nach Team oder Projekt.

2026-08-11 · Proxy-Modus eingestellt

  • Die Crawling API kann nicht mehr als HTTP-Proxy aufgerufen werden. Der Proxy-Modus-Listener wurde eingestellt und sein Referenzabschnitt aus dieser Dokumentation entfernt. Smart AI Proxy bleibt das Produkt mit Proxy-Schnittstelle und deckt dieselben Funktionen ab, mit eigenem Abonnement und eigenem Concurrency-Modell. REST-Aufrufe der Crawling API sind nicht betroffen.

2026-08-08 · Crawling API: Async für jede Domain

  • async=true funktioniert jetzt für jedes Ziel. Zuvor wurde es nur für linkedin.com-URLs akzeptiert, weitere Domains wurden pro Token auf Anfrage freigeschaltet. Der Aufruf liefert sofort eine rid, und die fertige Seite wird an Ihren callback-Webhook zugestellt oder gespeichert und später über dieselbe rid aus Cloud Storage abgerufen. Siehe Async & Storage.

2026-08-07 · Neue Scraper: LeetCode

  • Vier neue Scraper für LeetCode, in der Kategorie Entwickler & Tech - LeetCode Problem Set (eine Problemset-Liste als Array mit ID, Schwierigkeitsgrad, Acceptance Rate und Premium-Kennzeichen), LeetCode Problem (ein einzelnes Problem mit seiner Aufgabenstellung, seinen Topic-Tags, seinen Hinweisen und seinen Starter-Code-Snippets), LeetCode Solutions (der Community-Lösungen-Tab als Array mit Autor, Tags und Engagement-Zahlen) und LeetCode Solution (ein einzelner Lösungsbeitrag mit seinem Text und den extrahierten Codeblöcken).

Juli 2026

2026-07-29 · Neue Scraper: Kaggle

  • Vier neue Scraper für Kaggle, in der Kategorie Entwickler & Tech - Kaggle Dataset Search (eine Datensatz-Such- oder Listenseite als geordnetes Array mit Eigentümer, Größe, Usability-Bewertung und Downloads), Kaggle Dataset (ein einzelner Datensatz mit seiner Beschreibung, seinen Keywords, seiner Lizenz und seiner Dateiliste), Kaggle Notebook Search (eine Notebook-Such- oder Listenseite als geordnetes Array mit Autor, Co-Autoren und Wettbewerbskontext) und Kaggle Notebook (ein einzelnes Notebook mit seiner Sprache, seiner Laufzeit, seinem Versionsverlauf und seinen angehängten Inputs).

2026-07-24 · Neue Scraper: OLX

  • Zwei neue Scraper für OLX-Kleinanzeigen, in der Kategorie E-Commerce, über das gemeinsame Frontend (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz) - OLX SERP (eine Such- oder Kategorie-Ergebnisseite als geordnetes Array von Anzeigen mit Preisen und Standort, plus Paginierung) und OLX Item (eine einzelne Anzeige mit allen Attributen, Preis, Verkäufer und Bildern).

2026-07-22 · Neue Scraper: Exercism

  • Vier neue Scraper für Exercism, in der Kategorie Entwickler & Tech - Exercism Exercises (eine Track-Übungsseite als strukturiertes Array mit Schwierigkeit und Freischaltstatus), Exercism Exercise (eine einzelne Übung mit ihren vollständigen Anweisungen als Text und HTML), Exercism Solutions (eine Übungs-Community-Lösungsseite als paginiertes Array von Autoren, Sprachen und Sternen) und Exercism Solution (eine einzelne veröffentlichte Lösung mit ihrem Iterationsverlauf und vollständigem Quellcode).

2026-07-20 · Neue Scraper: Stack Exchange

  • Zwei neue Scraper für das Stack-Exchange-Netzwerk (Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow und alle *.stackexchange.com-Sites), in der Kategorie Bewertungen & Q&A - Stack Exchange Questions (eine Fragen-, Tag- oder Suchergebnisseite als strukturiertes Array mit Paginierung) und Stack Exchange Thread (eine einzelne Frage mit allen Antwort- und Kommentar-Threads).

2026-07-16 · Neue Scraper: Booking.com

  • Zwei neue Scraper für Booking.com, in der Kategorie Reisen, Events & Immobilien - Booking SERP (eine Suchergebnisseite als strukturiertes Array von Unterkünften mit Preisen und Review-Scores, plus Paginierung) und Booking Hotel (eine einzelne Hotelseite mit Preisen, Review-Scores und Ausstattung).

2026-07-16 · Neue Scraper: Product Hunt

2026-07-15 · Neue Scraper: Reddit

  • Drei neue Scraper für Reddit, in der Kategorie Social Media - Reddit Subreddit (eine Subreddit-Liste als geordnetes Array von Beiträgen mit Paginierung), Reddit Search (eine Reddit-Suchergebnisseite als strukturiertes Array mit Paginierung) und Reddit Post (ein einzelner Beitrag mit seinem vollständigen Kommentarbaum).

2026-07-14 · Neue Scraper: GitHub

  • Drei neue Scraper für GitHub, zusammengefasst in der neuen Kategorie Entwickler - GitHub Repository (eine einzelne Repository-Seite: Stars, Forks, Watcher, Sprachen, Topics, Lizenz, offene Issues und PRs, Standard-Branch und neuestes Release), GitHub SERP (eine Repository-Suchergebnisseite als strukturiertes Array mit Paginierung) und GitHub Profile (ein Benutzer- oder Organisationsprofil: Bio, Follower, Following, öffentliche Repos, angeheftete Repos und Organisationen).

Juni 2026

2026-06-30 · Neue Scraper: Google Trends

  • Zwei neue Scraper für Google Trends - Google Trends (die „Trending now"-Seite, liefert die wichtigsten Trend-Suchanfragen mit Suchvolumen-Metriken und Trend-Aufschlüsselungen) und Google Trends Explore (liefert Interesse im Zeitverlauf, Interesse nach Region, verwandte Themen und verwandte Suchanfragen zu einem Thema).

2026-06-29 · Crawler-API: Crawler löschen

  • Der neue Endpunkt POST /crawler/<TOKEN>/<NAME>/delete löscht einen Crawler vollständig - er leert die Warteschlange und meldet den Crawler ab, sodass er nicht mehr in Ihrem Dashboard oder Ihren Statistiken erscheint. Anders als Purge, das nur die Warteschlange leert, entfernt delete den Crawler selbst. Diese Aktion ist endgültig.

2026-06-06 · Neue Scraper: Galaxus

2026-06-04 · Crawling API: PDF-Ausgabe

  • Der neue Parameter pdf=true der Crawling API gibt die vollständig gerenderte Seite als PDF (Content-Type: application/pdf) statt als HTML zurück.
  • Kombinieren Sie ihn mit den Rendering-Parametern (country, device, page_wait); PDF-Requests werden wie ein JavaScript-gerenderter Request abgerechnet.

2026-06-02 · Crawler-Management-API

  • Erstellen, abrufen und aktualisieren Sie Crawler programmatisch über REST, statt nur über das Dashboard.
  • Neue Endpoints: POST /crawler/<TOKEN> zum Erstellen, GET /crawler/<TOKEN>/<NAME> für Details und PUT /crawler/<TOKEN>/<NAME> zum Aktualisieren.

Mai 2026

2026-05-21 · Passwortloses Onboarding

  • Melden Sie sich mit einem Einmalcode an, der Ihnen per E-Mail zugeschickt wird. Kein Passwort zum Festlegen, Merken oder Zurücksetzen; bestehende Konten funktionieren weiterhin wie gewohnt.
  • Neu gestaltetes Onboarding für neue Konten. Wir wählen anhand Ihres angegebenen Anwendungsfalls einen Workflow vor (Scraping, MCP oder Integrationen), zeigen eine Live-Vorschau Ihres ersten Crawling API-Requests und leiten Sie nach Abschluss in den passenden Dashboard-Bereich weiter.

2026-05-08 · Neue Docs-Site

  • /docs wurde durchgängig neu aufgesetzt - umstrukturierte Navigation, Dark Mode und sofortige Seitenübergänge in allen Bereichen.
  • Die Command-Palette-Suche (⌘K / Ctrl K) springt von überall direkt zu Seiten, Abschnitten und API-Parametern.
  • Der neue Ask AI-Button öffnet einen Crawlbase-trainierten Assistenten direkt auf der Seite, sodass Sie alles zur Dokumentation fragen können, ohne sie zu verlassen.
  • Der interaktive API Playground führt echte Crawling API-Aufrufe direkt im Browser aus, mit Response-Headern und einer gerenderten Seitenvorschau neben dem Body.
  • Hängen Sie .md an eine beliebige Docs-URL an (z. B. /docs/crawling-api.md), um eine saubere Markdown-Kopie zu erhalten, die Sie an ein LLM weitergeben können.
  • /llms.txt wurde als Index für die Auffindbarkeit durch KI-Assistenten veröffentlicht.
  • Aktualisierte deutsche, französische, russische und vereinfachte chinesische Übersetzungen auf allen Seiten, jetzt präziser und idiomatischer formuliert.

2026-05-03 · Go SDK v0.1.0

  • Erstes offizielles Go SDK für die Crawlbase API. Ein einziger CrawlingAPI-Client, ohne Abhängigkeiten, idiomatisches Go.
  • Quelle: github.com/crawlbase/crawlbase-go. Referenzdokumentation veröffentlicht auf pkg.go.dev.

2026-05-02 · LangChain-Integration v0.1.0

April 2026

2026-04-24 · Crawling API: Markdown-Ausgabe

  • Der neue Parameter format=md der Crawling API liefert sauberes Markdown anstelle von HTML.
  • Kombinieren Sie es mit md_readability=true, um Navigation, Werbung und UI-Elemente vor der Konvertierung zu entfernen - dieselbe Idee wie der Reader Mode.

2026-04-23 · Tablet-Geräteoption

  • Der device-Parameter der Crawling API akzeptiert jetzt neben desktop und mobile auch tablet.

2026-04-23 · MCP Server v1.3.0 - Storage-Tools

2026-04-23 · Codex-Plugin

März 2026

2026-03-25 · Enterprise Crawler: queue_timeout

  • Enterprise Crawler Push akzeptiert jetzt queue_timeout, sodass Sie begrenzen können, wie lange ein Request in der Queue verbleibt, bevor er verworfen wird, anstatt ewig zu warten.

Februar 2026

2026-02-10 · Crawler in Enterprise Crawler umbenannt

  • Das asynchrone Push/Pull-Produkt heißt nun im Dashboard und in der Dokumentation Enterprise Crawler, um es von der synchronen Crawling API abzugrenzen.
  • Endpoints, Parameter und Token bleiben unverändert.

November 2025

2025-11-25 · MCP Server v1.2.0 - Auth & HTTP-Modus

  • Der MCP-Server unterstützt jetzt header-basierte Authentifizierung sowie zusätzlich zu stdio einen optionalen HTTP-Transportmodus - nützlich für geteilte/remote MCP-Setups.
  • Veröffentlicht als @crawlbase/[email protected].

2025-11-04 · Crawlbase-Marke in allen Sprachversionen

  • Die Umbenennung in Crawlbase ist jetzt in jeder übersetzten Ausgabe der Dokumentation umgesetzt (bisher nur auf Englisch).

Oktober 2025

2025-10-20 · Storage API in Cloud Storage umbenannt

  • Das Produkt für Abruf und Aufbewahrung heißt jetzt in Docs, Dashboard und SDK-Methodennamen Cloud Storage. Bestehende /storage-Endpoints funktionieren weiterhin.

September 2025

2025-09-26 · custom_success_code-Parameter

  • Die Crawling API erhält custom_success_code, sodass Sie Nicht-2xx-Antworten als erfolgreich markieren können, wenn Sie Endpoints scrapen, die berechtigterweise z. B. 404 oder 451 zurückgeben.

2025-09-16 · Smart Proxy → Smart AI Proxy

  • Smart Proxy heißt jetzt Smart AI Proxy und spiegelt damit die KI-gesteuerte Routing- und Retry-Logik wider, die darunter ergänzt wurde. Keine Änderungen auf Client-Seite.

Juli 2025

2025-07-10 · Crawlbase MCP Server v1.0

Juni 2025

2025-06-25 · Smart Proxy: Header- und Cookie-Weiterleitung

  • Smart Proxy leitet jetzt benutzerdefinierte Request-Header und Cookies an die Zielseite weiter - nützlich für authentifizierte Crawls und session-gebundenes Scraping.

2025-06-18 · scroll_interval-Abrechnung präzisiert

  • Die Crawling-API-Dokumentation beschreibt jetzt genau, wie scroll_interval bei Long-Scroll-Seiten in die Abrechnung einfließt, sodass Sie die Kosten eines Infinite-Scroll-Crawls vor dem Absetzen vorhersagen können.