What is the Crawlbase Crawler?

An asynchronous crawler built on the Crawling API. You push URLs to a managed push/pull queue and Crawlbase renders each page, retries failures and delivers the result to your webhook or to cloud storage, so you never manage queues, retries or proxies.

How is it different from the Crawling API?

The Crawling API is synchronous, you get the response on the same call. The Crawler is asynchronous, you push URLs and the data is delivered later to your webhook or storage. It keeps every Crawling API feature, including JavaScript rendering, residential proxies and parameters.

How do I start using it?

Create a named crawler in the dashboard, then add two parameters to your Crawling API call, callback=true and crawler=YourCrawlerName. That is the only change needed to switch synchronous calls to the async push/pull system.

How do I receive the data?

Two ways. Point the crawler at your webhook endpoint and Crawlbase posts each result to it, or store results in Crawlbase cloud storage and pull them when you are ready. Webhook URLs are monitored so delivery stays reliable.

Can I monitor and control my crawls?

Yes. The dashboard shows live stats for each crawler, and the Crawler API lets you check stats and manage crawls programmatically. You can pause and resume crawling to match your budget and needs.

Yes. Every page is crawled live from the internet at request time. Nothing is cached or served from an earlier crawl, so the data you receive is current.

Produkt / Crawler

Crawler.
URLs pushen, Daten pullen, async im großen Maßstab.

Pushen Sie Millionen von URLs in eine verwaltete Push/Pull-Queue auf Basis der Crawling API und empfangen Sie die gerenderten Daten auf Ihrem Webhook oder im Cloud Storage.
Keine Queues, Retries oder Proxys zu betreiben.

Kostenlos starten Zur Dokumentation

99% ErfolgsrateAsync Push und PullWebhook oder Cloud Storage

Live-Crawler-Queue1.24M req/minStreaming

301bestbuy.com/site/searchpage.jsp?st=tvAU174ms

200tripadvisor.com/Hotels-g60763-oa30NL165ms

301ebay.com/sch/i.html?_nkw=gpu&_pgn=1FR108ms

200tripadvisor.com/Hotels-g60763-oa30ES94ms

200target.com/c/electronics/-/N-5xtg6CA55ms

200etsy.com/c/jewelry?page=4AU177ms

200walmart.com/browse/electronics/3944US139ms

200indeed.com/jobs?q=engineer&start=20FR201ms

200yelp.com/search?find_desc=cafe&start=30NL128ms

200glassdoor.com/Reviews/company-reviews.htmDE213ms

200amazon.com/s?k=laptops&page=2US186ms

200amazon.com/s?k=laptops&page=2AU66ms

200amazon.com/s?k=laptops&page=1IN50ms

200booking.com/searchresults.html?offset=25ES112ms

200bestbuy.com/site/searchpage.jsp?st=tvCA62ms

200amazon.com/s?k=laptops&page=2BR134ms

200glassdoor.com/Reviews/company-reviews.htmJP167ms

200glassdoor.com/Reviews/company-reviews.htmBR165ms

200crunchbase.com/discover/organization.companiesSG218ms

200bestbuy.com/site/searchpage.jsp?st=tvCA108ms

200etsy.com/c/jewelry?page=4ES59ms

200etsy.com/c/jewelry?page=4CA171ms

200tripadvisor.com/Hotels-g60763-oa30NL144ms

200indeed.com/jobs?q=engineer&start=20JP77ms

200bestbuy.com/site/searchpage.jsp?st=tvJP95ms

200booking.com/searchresults.html?offset=25NL48ms

301bestbuy.com/site/searchpage.jsp?st=tvAU174ms

200tripadvisor.com/Hotels-g60763-oa30NL165ms

301ebay.com/sch/i.html?_nkw=gpu&_pgn=1FR108ms

200tripadvisor.com/Hotels-g60763-oa30ES94ms

200target.com/c/electronics/-/N-5xtg6CA55ms

200etsy.com/c/jewelry?page=4AU177ms

200walmart.com/browse/electronics/3944US139ms

200indeed.com/jobs?q=engineer&start=20FR201ms

200yelp.com/search?find_desc=cafe&start=30NL128ms

200glassdoor.com/Reviews/company-reviews.htmDE213ms

200amazon.com/s?k=laptops&page=2US186ms

200amazon.com/s?k=laptops&page=2AU66ms

200amazon.com/s?k=laptops&page=1IN50ms

200booking.com/searchresults.html?offset=25ES112ms

200bestbuy.com/site/searchpage.jsp?st=tvCA62ms

200amazon.com/s?k=laptops&page=2BR134ms

200glassdoor.com/Reviews/company-reviews.htmJP167ms

200glassdoor.com/Reviews/company-reviews.htmBR165ms

200crunchbase.com/discover/organization.companiesSG218ms

200bestbuy.com/site/searchpage.jsp?st=tvCA108ms

200etsy.com/c/jewelry?page=4ES59ms

200etsy.com/c/jewelry?page=4CA171ms

200tripadvisor.com/Hotels-g60763-oa30NL144ms

200indeed.com/jobs?q=engineer&start=20JP77ms

200bestbuy.com/site/searchpage.jsp?st=tvJP95ms

200booking.com/searchresults.html?offset=25NL48ms

01 Live-Demo

Eine URL pushen. Ausgeliefert bekommen.

Der Crawler, live getippt. Pushen Sie eine URL in die Queue und empfangen Sie das gerenderte Ergebnis auf Ihrem Webhook. Fahren Sie mit der Maus darüber, um anzuhalten und mitzulesen.

bereit

Tasten 1-2 wechseln · klicken zum Pausiereneigene URL ausführen

Führen Sie Ihren ersten Request in Minuten aus. Bis zu 20,000 kostenlose Requests, keine Kreditkarte.Kostenlos starten

02 Funktionen

Crawling im großen Maßstab, Queues inklusive.

Alles, was große Crawls schwierig macht, für Sie erledigt: eine async Queue, Retries, Auslieferung und Monitoring, alles auf Basis der Crawling API.

async

Asynchrones Push und Pull

Pushen Sie so viele URLs, wie Sie möchten, und machen Sie weiter. Crawlbase reiht sie in die Queue ein, plant und rendert sie im Hintergrund, sodass Ihr Client nie blockiert.

built-on

Auf Basis der Crawling API

Jede Funktion der Crawling API bleibt erhalten: JavaScript-Rendering, Residential Proxys, Geotargeting, Parameter und Anti-Bot-Handling bei jedem Request.

deliver

Webhook-Auslieferung

Richten Sie den Crawler auf Ihren Endpoint aus, und jedes Ergebnis wird an ihn gepostet. Crawlbase überwacht Ihren Webhook, damit die Auslieferung präzise und zuverlässig bleibt.

storage

Cloud Storage

Lieber pullen? Behalten Sie jede gecrawlte Seite im Crawlbase Cloud Storage und rufen Sie sie nach Ihrem eigenen Zeitplan ab. Cloud Storage ansehen.

monitor

Individuelle Crawler, Live-Statistiken

Benennen Sie einen Crawler pro Workload und beobachten Sie ihn in Echtzeit. Prüfen Sie Statistiken über die API und pausieren oder setzen Sie fort, passend zu Ihrem Budget.

fresh

Frische Daten, weniger Retries

Jede Seite wird live gecrawlt, nichts wird gecacht. Das Push/Pull-System bringt die Erfolgsraten nahe an 100%, sodass clientseitige Retries so gut wie verschwinden.

03 So funktioniert es

Migrieren Sie mit zwei zusätzlichen Parametern.

Behalten Sie Ihre Crawling-API-Calls. Fügen Sie einen Callback und einen Crawler-Namen hinzu, und Sie sind async.

Einen Crawler erstellen

Öffnen Sie das Crawler-Dashboard, erstellen Sie einen benannten Crawler und richten Sie ihn auf Ihren Webhook oder Cloud Storage aus.

Die URLs pushen

Rufen Sie die Crawling API mit callback=true und crawler=YourCrawlerName auf, für eine URL oder Millionen.

Wir reihen ein und rendern

Crawlbase plant jeden Request, rotiert einen Residential Proxy, rendert die Seite und wiederholt fehlgeschlagene Versuche.

Das Ergebnis ausliefern

Jede gerenderte Seite wird an Ihren Webhook gepostet oder in Cloud Storage geschrieben, als HTML oder strukturiertes JSON.

Pullen und überwachen

Pullen Sie aus dem Storage, wenn bereit, und verfolgen Sie jeden Crawler live, mit Pause und Fortsetzen auf Abruf.

04 Anwendungsfälle

Was Teams mit dem Crawler bauen.

USE / 01Skalierung

Millionen von Seiten

Pushen Sie ganze Kataloge oder Sitemaps und lassen Sie die Queue sie abarbeiten, ganz ohne clientseitige Planung.

USE / 02Pipelines

Daten in Ihren Stack

Liefern Sie gerenderte Seiten direkt an einen Webhook oder Storage, bereit für Ihr Warehouse, Ihren Index oder Ihr Modell.

USE / 03Commerce

Kontinuierliches Monitoring

Crawlen Sie Preise, Bestände und Listings nach Zeitplan neu, mit frischen Daten bei jedem Durchlauf.

USE / 04AI

Trainings- und RAG-Korpora

Bauen Sie große, saubere Seitensets für Training und Retrieval auf, aus dem Storage im großen Umfang gepullt.

USE / 05Migration

Weg vom eigenen Crawler

Tauschen Sie Ihr Push/Pull-System gegen unseres mit zwei Parametern und lassen Sie Proxys, Queues und Retries fallen.

USE / 06Abdeckung

Millionen von Websites

Crawlen Sie über Millionen unterstützter Websites mit einem Crawler und einem Token.

05 Preise

Fügen Sie die Websites hinzu, die Sie crawlen, und sehen Sie den Preis.

Fügen Sie die Websites hinzu, die Sie crawlen, mit ihrem monatlichen Volumen und Request-Typ. Wir gruppieren sie nach Schwierigkeit und Typ und berechnen jede Gruppe nach ihrem kombinierten Volumen, sodass es günstiger wird, je mehr Sie crawlen.

100k / mo

Noch keine Websites. Fügen Sie oben eine hinzu, um Ihre Schätzung zu starten.

Geschätzte monatliche Kosten

$0/ Mon.

≈ $0.00 gemischt pro 1,000 Requests

Bis zu 20,000 Requests kostenlos. Keine Kreditkarte.

Kostenlos starten Crawlen Sie über 1B pro Monat? Sprechen Sie mit uns →

06 Hinweise

Gut zu wissen.

Kostenlos testen

Bis zu 20,000 Requests sind kostenlos, ohne Kreditkarte. Derselbe Token funktioniert über den Crawler, die Crawling API und jeden Scraper.

Nutzungsbasierte Preise

Zahlen Sie für das, was Sie crawlen, keine langfristigen Verträge, jederzeit kündbar. Pausieren und fortsetzen, passend zu Ihrem Budget. Sehen Sie die vollständige Aufschlüsselung auf der Preisseite.

Vollständig dokumentiert

Das Erstellen von Crawlern, Callbacks und die Auslieferung werden alle in den Crawler-Docs behandelt, mit Copy-Paste-Beispielen.

GDPR- und CCPA-konform

Crawlbase wendet Verbraucherschutzstandards weltweit an, mit Fairness und Transparenz, die in den Umgang mit Daten eingebaut sind.

07 Warum Crawlbase

Gebaut, um das Web im großen Maßstab zu crawlen.

Der Crawler läuft auf demselben Netzwerk, das 70,000+ Entwickler und die anspruchsvollsten Crawling-Workloads der Welt bedient. Keine Queues zu betreiben, keine Proxys zu kaufen, nichts zu patchen, wenn sich eine Website ändert.

99%

Durchschnittliche Erfolgsrate der Requests

70K+

Kunden im Netzwerk

Async

Push und Pull, Queues erledigt

99.99%

Netzwerk-Verfügbarkeit

Ein Token über den Crawler, die Crawling API und jeden Scraper, mit Auslieferung an Ihren Webhook oder Storage.

08 FAQ

Fragen zum Crawler.

Ein asynchroner Crawler auf Basis der Crawling API. Sie pushen URLs in eine verwaltete Push/Pull-Queue und Crawlbase rendert jede Seite, wiederholt fehlgeschlagene Versuche und liefert das Ergebnis an Ihren Webhook oder an Cloud Storage, sodass Sie nie Queues, Retries oder Proxys verwalten.

Die Crawling API ist synchron, Sie erhalten die Response im selben Call. Der Crawler ist asynchron, Sie pushen URLs und die Daten werden später an Ihren Webhook oder Storage ausgeliefert. Er behält jede Funktion der Crawling API, einschließlich JavaScript-Rendering und Residential Proxys.

Erstellen Sie einen benannten Crawler im Dashboard und fügen Sie dann Ihrem Crawling-API-Call zwei Parameter hinzu, callback=true und crawler=YourCrawlerName. Das ist die einzige nötige Änderung, um synchrone Calls auf das async Push/Pull-System umzustellen.

Auf zwei Wegen. Richten Sie den Crawler auf Ihren Webhook-Endpoint aus und Crawlbase postet jedes Ergebnis an ihn, oder speichern Sie Ergebnisse in Cloud Storage und pullen Sie sie, wenn Sie bereit sind. Webhook-URLs werden überwacht, damit die Auslieferung zuverlässig bleibt.

Ja. Das Dashboard zeigt Live-Statistiken für jeden Crawler, und mit der Crawler API können Sie Statistiken prüfen und Crawls verwalten. Sie können das Crawling pausieren und fortsetzen, passend zu Ihrem Budget und Ihren Anforderungen.

Ja. Jede Seite wird zum Zeitpunkt des Requests live aus dem Internet gecrawlt. Nichts wird gecacht oder aus einem früheren Crawl bereitgestellt, sodass die Daten, die Sie erhalten, aktuell sind.

Crawlen Sie das Web asynchron.
URLs pushen, wir liefern die Daten.

Kostenlos beginnen mit bis zu 20,000 Requests. Ein Token für den Crawler, die Crawling API und jeden Scraper.