What is the Crawlbase Crawling API?

A single REST API that crawls any URL through residential proxies in a real browser, clears bot checks and CAPTCHAs, and returns the fully rendered HTML. Add a scraper or autoparse for structured JSON, or screenshot=true for an image.

Does it render JavaScript?

Yes. A real browser executes the page, so dynamically loaded content, infinite scroll and single-page apps are captured, not just the initial HTML. Add ajax_wait or page_wait for slow pages.

Can I get structured JSON instead of HTML?

Yes. Add scraper=generic-extractor for universal JSON, autoparse=true for popular sites like Amazon and Google, or a named scraper for a specific site. Otherwise you get the full rendered HTML to parse yourself.

How do I avoid getting blocked?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when a site changes its setup.

Can I take screenshots?

Yes. Add screenshot=true and the API captures a full-page screenshot of the rendered page as an image, stored for you for up to an hour.

Which languages and frameworks are supported?

Any. The Crawling API is a plain REST endpoint, with official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, so it drops into your existing stack.

How much does it cost?

Start free with up to 20,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Produkt / Crawling API

Crawling API.
Jede URL, vollständig gerendert.

Senden Sie eine beliebige URL und erhalten Sie das vollständig gerenderte HTML zurück, über 140M Residential IPs mit integriertem Anti-Bot-Handling.
Ergänzen Sie einen Scraper oder Autoparse für strukturiertes JSON, oder einen Screenshot.

Kostenlos starten zur Dokumentation

99% Erfolgsrate140M Residential IPs30 Regionen

Live-Crawl-Feed1.24M req/minStreaming

200zillow.com/homes/for_sale/SG196ms

200linkedin.com/jobs/searchCA89ms

301amazon.com/dp/B08N5WRWNWAU47ms

200github.com/crawlbaseES161ms

200amazon.com/dp/B08N5WRWNWNL197ms

200zillow.com/homes/for_sale/BR108ms

200target.com/p/-/A-79404211DE203ms

200reddit.com/r/programmingNL216ms

200linkedin.com/jobs/searchFR143ms

200walmart.com/ip/55048794BR148ms

200github.com/crawlbaseAU123ms

200google.com/search?q=web+scrapingSG49ms

200github.com/crawlbaseSG212ms

200stackoverflow.com/questions/11227809GB100ms

301booking.com/searchresults.html?ss=ParisSG119ms

200linkedin.com/jobs/searchES180ms

200walmart.com/ip/55048794JP157ms

200walmart.com/ip/55048794NL146ms

200zillow.com/homes/for_sale/JP120ms

200indeed.com/jobs?q=developerFR79ms

200github.com/crawlbaseUS185ms

200target.com/p/-/A-79404211US170ms

404linkedin.com/jobs/searchAU215ms

200target.com/p/-/A-79404211ES107ms

200indeed.com/jobs?q=developerGB103ms

200producthunt.com/posts/notionNL49ms

200zillow.com/homes/for_sale/SG196ms

200linkedin.com/jobs/searchCA89ms

301amazon.com/dp/B08N5WRWNWAU47ms

200github.com/crawlbaseES161ms

200amazon.com/dp/B08N5WRWNWNL197ms

200zillow.com/homes/for_sale/BR108ms

200target.com/p/-/A-79404211DE203ms

200reddit.com/r/programmingNL216ms

200linkedin.com/jobs/searchFR143ms

200walmart.com/ip/55048794BR148ms

200github.com/crawlbaseAU123ms

200google.com/search?q=web+scrapingSG49ms

200github.com/crawlbaseSG212ms

200stackoverflow.com/questions/11227809GB100ms

301booking.com/searchresults.html?ss=ParisSG119ms

200linkedin.com/jobs/searchES180ms

200walmart.com/ip/55048794JP157ms

200walmart.com/ip/55048794NL146ms

200zillow.com/homes/for_sale/JP120ms

200indeed.com/jobs?q=developerFR79ms

200github.com/crawlbaseUS185ms

200target.com/p/-/A-79404211US170ms

404linkedin.com/jobs/searchAU215ms

200target.com/p/-/A-79404211ES107ms

200indeed.com/jobs?q=developerGB103ms

200producthunt.com/posts/notionNL49ms

01 Live-Demo

Jede URL rein. HTML oder JSON raus.

Die Crawling API, live getippt. Crawlen Sie eine Seite für gerendertes HTML oder scrapen Sie sie für strukturiertes JSON. Fahren Sie mit der Maus darüber, um anzuhalten und mitzulesen.

bereit

Tasten 1-2 wechseln · klicken zum Pausiereneigene URL ausführen

Führen Sie Ihren ersten Request in Minuten aus. Bis zu 20,000 kostenlose Requests, keine Kreditkarte.Kostenlos starten

02 Funktionen

Ein Endpoint, der ganze Stack darunter.

Jeder schwierige Teil des Crawlings im großen Maßstab, für Sie erledigt: ein echter Browser, ein Residential-Netzwerk und bei jedem Request überwundene Bot-Abwehr.

render

Vollständiges JavaScript-Rendering

Ein echter Browser führt die Seite aus, sodass dynamisch geladene Inhalte, Infinite Scroll und Single-Page-Apps erfasst werden, nicht nur das anfängliche HTML.

proxies

140M Residential IPs

Jeder Request rotiert eine Residential IP über 30 Regionen, sodass Sie jede Website wie ein echter lokaler Besucher erreichen.

anti-bot

Blocks und CAPTCHAs erledigt

Bot-Walls, CAPTCHAs und Rate Limits werden automatisch überwunden. Nichts zu lösen, nichts zu warten, wenn sich eine Website ändert.

extract

Autoparse und Scraper

Erhalten Sie das vollständig gerenderte HTML, oder fügen Sie autoparse=true oder scraper=… hinzu, um Titel, Inhalt, Preise, Bilder und Links als JSON zurückzugeben.

capture

Screenshots

Fügen Sie screenshot=true hinzu, um ein Vollseitenbild der gerenderten Seite zu erfassen, gespeichert und bereit zum Download.

scale

Async und Cloud Storage

Laufen Sie asynchron mit Webhooks und dem Crawler und behalten Sie jede gecrawlte Seite im Cloud Storage. Zur Live-Demo.

03 Parameter

Jeder Request, vollständig parametrisiert.

Ein Endpoint, gesteuert über Query-Parameter. Geotargeting, Rendering, Parsing, Screenshot, Speichern und Session, alles über denselben Aufruf.

token=PRIVATE_TOKEN

Required. Your API access token.

url=https://crawlbase.com/ip

Required. A URL to crawl.

country=US

Proxy location country, +48 countries.

scraper=scraper-name

Crawl then extract with a scraper.

screenshot=true

Take screenshots of browser as images.

format=html

Response format: html, json or md (Markdown).

store=true

Store your crawled or scraped data in the cloud.

device=mobile

Crawl on mobile devices or desktop.

autoparse=true

Crawling API can autoparse any web page.

tor_network=true

Crawl onion websites over the Tor network.

Alle Parameter ansehen →

04 So funktioniert es

Von der URL zu den Daten in einem Aufruf.

Jeder Request durchläuft denselben Pfad. Sie senden eine URL, wir betreiben alles dazwischen.

Sie senden die URL

Übergeben Sie eine beliebige URL mit Ihrem Token, plus alle benötigten Parameter: Land, Render-Wartezeiten, Parsing, Screenshots oder Storage.

Wir rotieren einen Proxy

Eine Residential IP und Region, die die Website sauber erreichen, gezogen aus 140M IPs über 30 Regionen.

Wir rendern die Seite

Ein echter Browser lädt die Seite, sodass JavaScript, dynamische Inhalte und Infinite Scroll vor der Erfassung rendern.

Wir überwinden die Anti-Bots

Bot-Prüfungen, CAPTCHAs und Rate Limits werden automatisch erledigt. Nichts zu lösen, nichts zu warten.

Wir liefern HTML oder JSON zurück

Das vollständig gerenderte HTML kommt zurück, typisiertes JSON, wenn Sie einen Scraper oder Autoparse ergänzen, sauberes Markdown, wenn Sie es anfordern, oder ein Bild, wenn Sie einen Screenshot anfragen.

05 Anwendungsfälle

Was Teams auf der Crawling API bauen.

USE / 01Commerce

Preis- und Katalog-Monitoring

Verfolgen Sie Preise, Lagerbestände und Listings über Händler und Marktplätze hinweg, bei jedem Crawl zu JSON geparst.

USE / 02Search

SERP- und SEO-Tracking

Crawlen Sie Suchergebnisse und Konkurrenzseiten, um Rankings, Snippets und Inhalte im großen Maßstab zu überwachen.

USE / 03AI

Trainingsdaten und RAG

Speisen Sie saubere gerenderte Seiten und strukturiertes JSON über eine API in Modelle, RAG-Pipelines und Agenten.

USE / 04Growth

Lead- und Kontakt-Discovery

Crawlen Sie Verzeichnisse, Profile und Listings, um Pipelines aufzubauen und anzureichern.

USE / 05Research

Markt- und Content-Intelligence

Aggregieren Sie News, Bewertungen und öffentliche Daten, um Produkt, Pricing und Strategie zu untermauern.

USE / 06Coverage

Jede Website, eine API

Crawlen Sie jede öffentliche URL mit demselben Token, von einer einzelnen Seite bis zu Millionen mit dem asynchronen Crawler.

06 Preise

Fügen Sie die Websites hinzu, die Sie crawlen, und sehen Sie den Preis.

Fügen Sie die Websites hinzu, die Sie crawlen, mit ihrem monatlichen Volumen und Request-Typ. Wir gruppieren sie nach Schwierigkeit und Typ und berechnen dann jede Gruppe nach ihrem kombinierten Volumen, sodass es günstiger wird, je mehr Sie crawlen.

100k / mo

Noch keine Websites. Fügen Sie oben eine hinzu, um Ihre Schätzung zu starten.

Geschätzte monatliche Kosten

$0/ mo

≈ $0.00 gemischt pro 1,000 Requests

Bis zu 20,000 Requests kostenlos. Keine Kreditkarte.

Kostenlos starten Crawlen Sie über 1B im Monat? Sprechen Sie mit uns →

07 Hinweise

Gut zu wissen.

Kostenlos testen

Bis zu 20,000 Requests sind kostenlos, ohne Kreditkarte. Derselbe Token funktioniert über die Crawling API und jeden Scraper hinweg.

Einfaches, nutzungsbasiertes Pricing

Zahlen Sie für das, was Sie crawlen, keine langfristigen Verträge, jederzeit kündbar. Die vollständige Aufschlüsselung finden Sie auf der Preisseite.

Vollständig dokumentiert

Jeder Parameter und jede Response ist in der Crawling API Dokumentation abgedeckt, mit Copy-Paste-Beispielen für jedes SDK.

GDPR- und CCPA-konform

Crawlbase setzt Verbraucherschutzstandards weltweit um, mit Fairness und Transparenz, die in den Umgang mit Daten eingebaut sind.

08 Warum Crawlbase

Gebaut, um das Web im großen Maßstab zu crawlen.

Die Crawling API läuft auf demselben Netzwerk, das 46,000+ zahlende Kunden und 70,000+ Entwickler bedient. Keine Proxys zu kaufen, keine Browser zu betreiben, nichts zu patchen, wenn sich eine Website ändert.

99%

Durchschnittliche Erfolgsrate der Requests

46K+

Zahlende Kunden im Netzwerk

Regionen für präzise lokale Ergebnisse

99.99%

Netzwerk-Verfügbarkeit

Ein Token, offizielle SDKs für Node, Python, Ruby, PHP, Java, .NET und Go, und ein Residential-Netzwerk darunter.

09 FAQ

Fragen zur Crawling API.

Eine einzige REST API, die jede URL über Residential Proxys in einem echten Browser crawlt, Bot-Prüfungen und CAPTCHAs überwindet und das vollständig gerenderte HTML zurückgibt. Ergänzen Sie einen Scraper oder Autoparse für strukturiertes JSON, oder screenshot=true für ein Bild.

Ja. Ein echter Browser führt die Seite aus, sodass dynamisch geladene Inhalte, Infinite Scroll und Single-Page-Apps erfasst werden, nicht nur das anfängliche HTML. Ergänzen Sie ajax_wait oder page_wait für langsame Seiten.

Ja. Ergänzen Sie scraper=generic-extractor für universelles JSON, autoparse=true für beliebte Websites wie Amazon und Google, oder einen benannten Scraper für eine bestimmte Website. Andernfalls erhalten Sie das vollständig gerenderte HTML, um es selbst zu parsen.

Crawlbase leitet jeden Request über rotierende Residential IPs in 30 Regionen und überwindet Bot-Prüfungen automatisch. Sie verwalten keine Proxys und lösen keine CAPTCHAs, und es gibt nichts zu warten, wenn eine Website ihr Setup ändert.

Ja. Ergänzen Sie screenshot=true und die API erfasst einen Vollseiten-Screenshot der gerenderten Seite als Bild, bis zu einer Stunde für Sie gespeichert.

Alle. Die Crawling API ist ein einfacher REST-Endpoint, mit offiziellen SDKs für Node, Python, Ruby, PHP, Java, .NET und Go, sodass sie sich in Ihren bestehenden Stack einfügt.

Kostenlos starten mit bis zu 20,000 Requests und ohne Kreditkarte. Kostenpflichtige Pläne skalieren mit der Nutzung, und derselbe Token funktioniert über die Crawling API und jeden Crawlbase Scraper hinweg.

Beginnen Sie, das Web zu crawlen.
Überspringen Sie Proxys und Blocks.

Kostenlos beginnen mit bis zu 20,000 Requests. Ein Token für die Crawling API und jeden Scraper.