Anmelden

n8n

Open-Source-Automatisierung, Ihre Server. Der Crawlbase n8n Community Node bietet Ihnen dieselben APIs in einem self-hosted Workflow — ohne SaaS-Lock-in.

Installation

Der Crawlbase Node ist als Community Node veröffentlicht. Installieren Sie ihn von Ihrer n8n-Instanz aus:

  1. Gehen Sie zu Settings → Community Nodes → Install a community node.
  2. Geben Sie n8n-nodes-crawlbase ein und klicken Sie auf Install.
  3. Starten Sie n8n neu, falls Sie dazu aufgefordert werden. Der Crawlbase Node erscheint nun in der Canvas-Suche.

Credentials

Fügen Sie unter Settings → Credentials ein Crawlbase API-Credential hinzu:

  1. Fügen Sie Ihr API Token aus dem Crawlbase Dashboard ein.
  2. Klicken Sie auf Test connection, um zu bestätigen, dass das Token gültig ist, bevor Sie einen Workflow ausführen.

Verwenden Sie Ihren Normal Token für HTML-Targets und Ihren JavaScript Token für SPAs und JS-gerenderte Seiten - erstellen Sie ein Credential pro Token-Stufe und wählen Sie das passende pro Node aus.

Der Crawlbase Node

Ein einzelner Crawlbase Node kapselt die Crawling API. Ziehen Sie ihn in einen Workflow, verknüpfen Sie ihn mit einem Credential und konfigurieren Sie die untenstehenden Request-Felder.

Method
Feld
GET, POST oder PUT. Verwenden Sie POST/PUT, wenn das Ziel einen Request-Body benötigt.
Response format
Feld
HTML (Standard), JSON (geparste Scraper-Ausgabe) oder Markdown (sauberer Text für LLM-Pipelines).
Options
Feld
Optionale Crawling API-Parameter - page_wait, country, device, request_headers, Cookies, Scraper, Screenshot, store, async und JS-Rendering-Helfer. Die vollständige Liste finden Sie in der Referenz zu den Crawling API-Parametern.
Output
Feld
Jedes Item gibt statusCode, headers, body und metadata zurück (mit originalStatus, cbStatus und der aufgelösten url).

Item-List-Modus

Setzen Sie URL Source auf From input item field und benennen Sie das Feld, das die URL enthält (zum Beispiel url). Der Node führt pro Input Item einen Crawling API-Request aus und emittiert pro Input ein Output Item - leiten Sie einen Read-from-Sheet, Split-In-Batches oder einen beliebigen listenerzeugenden Node direkt ein.

Rate Limits und Retries

Crawlbase Rate Limits hängen von Ihrem Plan ab. Damit Workflows robust bleiben:

  • Aktivieren Sie n8ns Retry On Fail am Crawlbase Node (Tab Settings am Node).
  • Setzen Sie Wait Between Tries auf mindestens 1 Sekunde - höher, falls Sie an Limits stoßen.
  • Verarbeiten Sie große URL-Listen mit Loop Over Items oder Split In Batches in Batches, statt alle Requests auf einmal abzufeuern.

Typische Workflows

  • Schedule → Crawlbase → Postgres: tägliches Snapshot der Preisseite eines Wettbewerbers in eine Datenbank.
  • Webhook → Crawlbase → Email: On-Demand-Produktanreicherung.
  • RSS → Crawlbase → Vector DB: Befüllen eines self-hosted Retrieval-Index.