Anmelden

Erste Schritte

Fünf kurze Seiten, die Sie von der Anmeldung bis zum ersten erfolgreichen Crawl führen und anschließend die operativen Details abdecken (Authentifizierung, Kontingente, Fehler), die Sie benötigen, sobald Sie echten Traffic senden. Lesen Sie von oben nach unten oder springen Sie zu dem Teil, weswegen Sie hergekommen sind.

Neu hier?

Beginnen Sie mit Quick Start: In unter fünf Minuten haben Sie einen funktionierenden Request. Die anderen Seiten in diesem Abschnitt sind Referenzmaterial, auf das Sie bei Bedarf zurückkommen können.

Ihr erster Request

  • Quick start: Anmelden, Token holen und in fünf Minuten einen funktionierenden Crawl senden. Codebeispiele in curl, Python, Node.js, Ruby, PHP, Go, Java und C#. Lesen Sie dies zuerst.

Authentifizierung & Limits

Sobald Requests fließen, lauten die nächsten Fragen meist: „Wie funktioniert die Authentifizierung?" und „Wie viel darf ich senden?". Zwei kurze Referenzseiten beantworten beides.

  • Authentication: Normal token vs. JavaScript token, warum es zwei gibt, wann Sie welches nutzen und wie Sie sie aus Ihrem Repository fernhalten. Tokens authentifizieren jede Crawlbase-API auf die gleiche Weise, das gilt also plattformweit.
  • Rate limits: Concurrency-Budgets pro Plan-Stufe, der Unterschied zwischen Request-Durchsatz und gleichzeitigen Verbindungen sowie das Muster für das Zurücknehmen, wenn Sie an die Grenze stoßen.

Statuscodes & Fehler

Echter Traffic bedeutet echte Fehler: Captchas, Geo-Blocks, ausgefallene Zielseiten oder ein Client, der einen Parameter falsch konfiguriert. Zwei Seiten erklären, was zurückkommt und was Sie damit tun können.

  • Status codes: Jeder HTTP-Status, den die Plattform zurückgibt, und seine Bedeutung. Crawlbase teilt die Response in zwei Status-Felder auf (pc_status für unsere Seite, original_status für die Zielseite), damit Sie die beiden Fehlerarten auseinanderhalten können.
  • Error handling: behebbare vs. terminale Fehler, Retry-Strategie und die konkreten Fehler-Envelopes, die die Plattform zurückgibt, damit Ihr Client darauf verzweigen kann.

Wie geht es weiter

Sobald Sie Erste Schritte hinter sich haben, gliedert sich die Plattform entlang zweier Achsen: was Sie bauen und wie Sie integrieren möchten.

  • Nach API-Oberfläche: Die API Reference deckt Crawling API, Smart AI Proxy, Cloud Storage, Enterprise Crawler und die kleineren Helfer (Account API, User Agents API) ab.
  • Nach Integrationsform: SDKs für die sieben wichtigsten Sprachen, Integrationen für Low-Code-Plattformen (LangChain, Zapier, n8n, Make, Airbyte) und der Bereich AI & MCP für agentengesteuerten Zugriff über Claude, Cursor, VS Code und andere MCP-fähige Clients.
  • Nach Aufgabe: Die Scraper Library bietet fertige Scraper, die strukturiertes JSON für gängige Seiten zurückgeben, meist schneller, als HTML selbst zu parsen.
  • Zum Experimentieren: Mit dem API Playground können Sie Live-Requests im Browser bauen und ausführen, ohne Client-Code zu schreiben.