What is Crawlbase Cloud Storage?

A scalable cloud store for your crawled and scraped data. Add store=true to a crawl and the rendered HTML, JSON and screenshots are kept for you, ready to retrieve by RID or search, with no database of your own to run.

How do I store a page?

Add store=true to your Crawling API call, or use Cloud Storage as the webhook target for a Crawler. The response returns a storage RID that identifies the stored page.

How do I get my data back?

Send a GET request to the storage endpoint with the RID, run a full-text search across your stored pages, or browse and download from the storage dashboard.

Does it store screenshots too?

Yes. Stored crawls can include the rendered HTML, structured JSON and full-page screenshots, all retrievable by the same RID.

Do I have to manage scaling or backups?

No. Crawlbase handles scaling, backups and cleanup of your storage space, so you can stop maintaining an S3 bucket or a database of your own.

Produkt / Cloud Storage

Cloud Storage.
Jeder Crawl behalten, keiner erneut geholt.

Fügen Sie store=true zu jedem Crawl hinzu und Crawlbase behält die gerenderte Seite, JSON und Screenshots in der Cloud.
Rufen Sie per RID ab, führen Sie eine Volltextsuche aus und sparen Sie sich die Datenbank, den S3-Bucket und die Backups.

Kostenlos starten zur Dokumentation

0.5 credits per page per monthEin Flag: store=trueVolltextsuche

Live-Storage-Writes1.24M req/minStreaming

200booking.com/searchresults.html?ss=ParisNL53ms

200producthunt.com/posts/notionJP212ms

301target.com/p/-/A-79404211FR199ms

200github.com/crawlbaseGB104ms

200target.com/p/-/A-79404211FR114ms

200yelp.com/biz/blue-bottle-coffeeUS180ms

200google.com/search?q=web+scrapingNL186ms

200booking.com/searchresults.html?ss=ParisIN155ms

200amazon.com/dp/B08N5WRWNWDE181ms

200glassdoor.com/Reviews/index.htmBR95ms

200github.com/crawlbaseGB85ms

200linkedin.com/jobs/searchUS166ms

200booking.com/searchresults.html?ss=ParisCA217ms

200linkedin.com/jobs/searchJP219ms

200glassdoor.com/Reviews/index.htmNL93ms

301indeed.com/jobs?q=developerDE73ms

200booking.com/searchresults.html?ss=ParisES162ms

200linkedin.com/jobs/searchNL185ms

200booking.com/searchresults.html?ss=ParisIN123ms

200walmart.com/ip/55048794CA58ms

200glassdoor.com/Reviews/index.htmCA207ms

200indeed.com/jobs?q=developerAU133ms

200walmart.com/ip/55048794AU144ms

200google.com/search?q=web+scrapingAU143ms

200zillow.com/homes/for_sale/DE175ms

200ebay.com/itm/204512389011FR46ms

200booking.com/searchresults.html?ss=ParisNL53ms

200producthunt.com/posts/notionJP212ms

301target.com/p/-/A-79404211FR199ms

200github.com/crawlbaseGB104ms

200target.com/p/-/A-79404211FR114ms

200yelp.com/biz/blue-bottle-coffeeUS180ms

200google.com/search?q=web+scrapingNL186ms

200booking.com/searchresults.html?ss=ParisIN155ms

200amazon.com/dp/B08N5WRWNWDE181ms

200glassdoor.com/Reviews/index.htmBR95ms

200github.com/crawlbaseGB85ms

200linkedin.com/jobs/searchUS166ms

200booking.com/searchresults.html?ss=ParisCA217ms

200linkedin.com/jobs/searchJP219ms

200glassdoor.com/Reviews/index.htmNL93ms

301indeed.com/jobs?q=developerDE73ms

200booking.com/searchresults.html?ss=ParisES162ms

200linkedin.com/jobs/searchNL185ms

200booking.com/searchresults.html?ss=ParisIN123ms

200walmart.com/ip/55048794CA58ms

200glassdoor.com/Reviews/index.htmCA207ms

200indeed.com/jobs?q=developerAU133ms

200walmart.com/ip/55048794AU144ms

200google.com/search?q=web+scrapingAU143ms

200zillow.com/homes/for_sale/DE175ms

200ebay.com/itm/204512389011FR46ms

01 Live-Demo

Speichern mit einem Flag. Abrufen per RID.

Cloud Storage, live getippt. Speichern Sie einen Crawl mit einem Parameter und rufen Sie ihn später per RID ab. Fahren Sie mit der Maus darüber, um anzuhalten und mitzulesen.

bereit

Tasten 1-2 wechseln · klicken zum Pausiereneigene URL ausführen

Store your first crawl in minutes. Start free, no credit card.Kostenlos starten

02 Funktionen

Ein Store, gebaut für Crawls.

Behalten, finden und ziehen Sie Ihre gecrawlten Daten, ohne eigenen Storage aufzusetzen.

store

Speichern mit einem Flag

Fügen Sie store=true zu jedem Crawling-API-Aufruf hinzu, oder richten Sie einen Crawler auf Cloud Storage, und die gerenderte Seite wird automatisch behalten.

retrieve

Abrufen per RID

Jeder gespeicherte Crawl erhält eine RID. Senden Sie einen GET-Request damit und die Seite kommt direkt zurück, ohne erneuten Crawl.

Volltextsuche

Durchsuchen Sie alles, was Sie gecrawlt haben, um die exakten Seiten zu finden, die Sie brauchen, statt Ihre eigene Datenbank zu durchsuchen.

capture

Seiten und Screenshots

Behalten Sie gerendertes HTML, strukturiertes JSON und Full-Page-Screenshots zusammen, alles abrufbar über dieselbe RID.

scale

Skalierung erledigt

Crawlbase verwaltet Skalierung, Backups und Bereinigung Ihres Speichers, sodass Sie den S3-Bucket und die Wartung aufgeben können.

pipe

Crawler-Webhook-Ziel

Nutzen Sie Storage als Auslieferungsziel für den asynchronen Crawler, sodass große Crawls abrufbereit ankommen.

03 So funktioniert es

Ein Flag zum Speichern, ein Aufruf zum Abrufen.

Behalten Sie Ihren Crawl, wie er ist. Fügen Sie einen Parameter zum Speichern hinzu und einen GET zum Abrufen.

store=true hinzufügen

Crawlen Sie jede URL mit store=true, oder legen Sie Cloud Storage als Ihr Crawler-Webhook-Ziel fest.

Wir speichern und indexieren

Die gerenderte Seite, JSON und Screenshot werden gespeichert und für die Volltextsuche indexiert, mit erledigter Skalierung.

RID speichern

Die Response gibt eine Storage-RID zurück, die die soeben behaltene Seite eindeutig identifiziert.

Abrufen oder suchen

Senden Sie einen GET an den Storage-Endpoint mit der RID, durchsuchen Sie Ihre Crawls oder ziehen Sie sie aus der Console.

04 Anwendungsfälle

Was Teams in Cloud Storage behalten.

USE / 01Pipelines

Ein Puffer für Ihren Stack

Lassen Sie gecrawlte Seiten im Storage landen und ziehen Sie sie nach Ihrem eigenen Zeitplan in Ihr Warehouse, Ihren Index oder Ihr Modell.

USE / 02Historie

Snapshots über die Zeit

Behalten Sie jeden Crawl, um eine Seite über verschiedene Zeitpunkte hinweg zu vergleichen, ohne sie erneut zu crawlen.

USE / 03Suche

Über Ihre Crawls hinweg finden

Führen Sie eine Volltextsuche über alles Gespeicherte aus, um die exakten Seiten und Felder zu finden, die Sie brauchen.

USE / 04Kosten

Eigenen Storage aufgeben

Lassen Sie den S3-Bucket und die Datenbank weg. Storage skaliert, sichert und bereinigt sich für Sie selbst.

USE / 05AI

Korpora für Training und RAG

Bauen und ziehen Sie große, saubere Seitensets für Training und Retrieval direkt aus dem Storage.

USE / 06Async

Crawler-Auslieferung

Kombinieren Sie Storage mit dem Crawler, sodass umfangreiche asynchrone Crawls abrufbereit ankommen.

05 Pricing

One rate card, shared with every product.

Storage bills from the same balance as your crawls: half a credit keeps a page stored for a month, with no database to run.

Pay as you go$3.00 down to $0.02 per 1,000 successful requests

Only successful requests are billed, and rates fall as volume grows. Optional subscriptions from $99 / mo. Start free with up to 5,000 requests, no credit card.

See pricing Start free

06 Warum Crawlbase

Storage, den Sie nicht selbst betreiben müssen.

Cloud Storage läuft auf demselben Netzwerk, das 70,000+ Entwickler bedient. Kein S3 zum Bereitstellen, keine Datenbank zum Sichern, nichts zum Aufräumen, wenn es voll wird.

99%

Durchschnittliche Erfolgsrate der Requests

70K+

Kunden im Netzwerk

0.5

Credits per stored page per month

99.99%

Netzwerk-Verfügbarkeit

Fügen Sie store=true einmal hinzu, und jeder Crawl wird behalten, indexiert und ist abrufbereit.

07 FAQ

Fragen zu Cloud Storage.

Ein skalierbarer Cloud-Store für Ihre gecrawlten und gescrapten Daten. Fügen Sie store=true zu einem Crawl hinzu und das gerenderte HTML, JSON und die Screenshots werden für Sie behalten, bereit zum Abrufen per RID oder zur Suche, ganz ohne eigene Datenbank, die Sie betreiben müssen.

Fügen Sie store=true zu Ihrem Crawling-API-Aufruf hinzu, oder nutzen Sie Cloud Storage als Webhook-Ziel für einen Crawler. Die Response gibt eine Storage-RID zurück, die die gespeicherte Seite identifiziert.

Senden Sie einen GET-Request an den Storage-Endpoint mit der RID, führen Sie eine Volltextsuche über Ihre gespeicherten Seiten aus, oder durchsuchen und laden Sie sie von der Storage-Seite in der Console herunter.

Ja. Gespeicherte Crawls können das gerenderte HTML, strukturiertes JSON und Full-Page-Screenshots enthalten, alle abrufbar über dieselbe RID.

Nein. Crawlbase übernimmt Skalierung, Backups und Bereinigung Ihres Speicherplatzes, sodass Sie keinen S3-Bucket und keine eigene Datenbank mehr warten müssen.

Storage draws on the same credit balance as your crawls: half a credit keeps a page stored for a month, and your free signup credits cover it to start. See the pricing page for how credits work.

Behalten Sie jede Seite, die Sie crawlen.
Sparen Sie sich die Datenbank.

Free to begin, no credit card. One balance across Cloud Storage and every product.