What is Crawlbase Cloud Storage?

A scalable cloud store for your crawled and scraped data. Add store=true to a crawl and the rendered HTML, JSON and screenshots are kept for you, ready to retrieve by RID or search, with no database of your own to run.

How do I store a page?

Add store=true to your Crawling API call, or use Cloud Storage as the webhook target for a Crawler. The response returns a storage RID that identifies the stored page.

How do I get my data back?

Send a GET request to the storage endpoint with the RID, run a full-text search across your stored pages, or browse and download from the storage dashboard.

Does it store screenshots too?

Yes. Stored crawls can include the rendered HTML, structured JSON and full-page screenshots, all retrievable by the same RID.

Do I have to manage scaling or backups?

No. Crawlbase handles scaling, backups and cleanup of your storage space, so you can stop maintaining an S3 bucket or a database of your own.

How much does it cost?

Storage draws on the same credit balance as your crawls: half a credit keeps a page stored for a month, and your free signup credits cover it to start. The same balance works across the Crawling API, the Crawler and every other product.

Produkt / Cloud Storage

Cloud Storage.
Jeder Crawl behalten, keiner erneut geholt.

Fügen Sie store=true zu jedem Crawl hinzu und Crawlbase behält die gerenderte Seite, JSON und Screenshots in der Cloud.
Rufen Sie per RID ab, führen Sie eine Volltextsuche aus und sparen Sie sich die Datenbank, den S3-Bucket und die Backups.

Kostenlos starten zur Dokumentation

0.5 Credits pro Seite und MonatEin Flag: store=trueVolltextsuche

Live-Storage-Writes1.24M req/minStreaming

200indeed.com/jobs?q=developerFR169ms

200walmart.com/ip/55048794SG125ms

200booking.com/searchresults.html?ss=ParisNL123ms

200zillow.com/homes/for_sale/SG46ms

200ebay.com/itm/204512389011JP208ms

200indeed.com/jobs?q=developerJP194ms

200linkedin.com/jobs/searchGB164ms

200google.com/search?q=web+scrapingNL155ms

200glassdoor.com/Reviews/index.htmBR104ms

200ebay.com/itm/204512389011FR87ms

200producthunt.com/posts/notionIN171ms

301indeed.com/jobs?q=developerGB47ms

200walmart.com/ip/55048794BR119ms

200reddit.com/r/programmingNL58ms

200booking.com/searchresults.html?ss=ParisUS171ms

200ebay.com/itm/204512389011GB50ms

200yelp.com/biz/blue-bottle-coffeeJP56ms

200stackoverflow.com/questions/11227809FR57ms

200target.com/p/-/A-79404211FR217ms

200ebay.com/itm/204512389011FR197ms

200reddit.com/r/programmingJP145ms

200reddit.com/r/programmingSG77ms

200booking.com/searchresults.html?ss=ParisES124ms

200reddit.com/r/programmingBR76ms

200glassdoor.com/Reviews/index.htmSG89ms

200producthunt.com/posts/notionES95ms

200indeed.com/jobs?q=developerFR169ms

200walmart.com/ip/55048794SG125ms

200booking.com/searchresults.html?ss=ParisNL123ms

200zillow.com/homes/for_sale/SG46ms

200ebay.com/itm/204512389011JP208ms

200indeed.com/jobs?q=developerJP194ms

200linkedin.com/jobs/searchGB164ms

200google.com/search?q=web+scrapingNL155ms

200glassdoor.com/Reviews/index.htmBR104ms

200ebay.com/itm/204512389011FR87ms

200producthunt.com/posts/notionIN171ms

301indeed.com/jobs?q=developerGB47ms

200walmart.com/ip/55048794BR119ms

200reddit.com/r/programmingNL58ms

200booking.com/searchresults.html?ss=ParisUS171ms

200ebay.com/itm/204512389011GB50ms

200yelp.com/biz/blue-bottle-coffeeJP56ms

200stackoverflow.com/questions/11227809FR57ms

200target.com/p/-/A-79404211FR217ms

200ebay.com/itm/204512389011FR197ms

200reddit.com/r/programmingJP145ms

200reddit.com/r/programmingSG77ms

200booking.com/searchresults.html?ss=ParisES124ms

200reddit.com/r/programmingBR76ms

200glassdoor.com/Reviews/index.htmSG89ms

200producthunt.com/posts/notionES95ms

01 Live-Demo

Speichern mit einem Flag. Abrufen per RID.

Cloud Storage, live getippt. Speichern Sie einen Crawl mit einem Parameter und rufen Sie ihn später per RID ab. Fahren Sie mit der Maus darüber, um anzuhalten und mitzulesen.

bereit

Tasten 1-2 wechseln · klicken zum Pausiereneigene URL ausführen

Speichern Sie Ihren ersten Crawl in Minuten. Kostenlos starten, keine Kreditkarte.Kostenlos starten

02 Funktionen

Ein Store, gebaut für Crawls.

Behalten, finden und ziehen Sie Ihre gecrawlten Daten, ohne eigenen Storage aufzusetzen.

store

Speichern mit einem Flag

Fügen Sie store=true zu jedem Crawling-API-Aufruf hinzu, oder richten Sie einen Crawler auf Cloud Storage, und die gerenderte Seite wird automatisch behalten.

retrieve

Abrufen per RID

Jeder gespeicherte Crawl erhält eine RID. Senden Sie einen GET-Request damit und die Seite kommt direkt zurück, ohne erneuten Crawl.

Volltextsuche

Durchsuchen Sie alles, was Sie gecrawlt haben, um die exakten Seiten zu finden, die Sie brauchen, statt Ihre eigene Datenbank zu durchsuchen.

capture

Seiten und Screenshots

Behalten Sie gerendertes HTML, strukturiertes JSON und Full-Page-Screenshots zusammen, alles abrufbar über dieselbe RID.

scale

Skalierung erledigt

Crawlbase verwaltet Skalierung, Backups und Bereinigung Ihres Speichers, sodass Sie den S3-Bucket und die Wartung aufgeben können.

pipe

Crawler-Webhook-Ziel

Nutzen Sie Storage als Auslieferungsziel für den asynchronen Crawler, sodass große Crawls abrufbereit ankommen.

03 So funktioniert es

Ein Flag zum Speichern, ein Aufruf zum Abrufen.

Behalten Sie Ihren Crawl, wie er ist. Fügen Sie einen Parameter zum Speichern hinzu und einen GET zum Abrufen.

store=true hinzufügen

Crawlen Sie jede URL mit store=true, oder legen Sie Cloud Storage als Ihr Crawler-Webhook-Ziel fest.

Wir speichern und indexieren

Die gerenderte Seite, JSON und Screenshot werden gespeichert und für die Volltextsuche indexiert, mit erledigter Skalierung.

RID speichern

Die Response gibt eine Storage-RID zurück, die die soeben behaltene Seite eindeutig identifiziert.

Abrufen oder suchen

Senden Sie einen GET an den Storage-Endpoint mit der RID, durchsuchen Sie Ihre Crawls oder ziehen Sie sie aus der Console.

04 Anwendungsfälle

Was Teams in Cloud Storage behalten.

USE / 01Pipelines

Ein Puffer für Ihren Stack

Lassen Sie gecrawlte Seiten im Storage landen und ziehen Sie sie nach Ihrem eigenen Zeitplan in Ihr Warehouse, Ihren Index oder Ihr Modell.

USE / 02Historie

Snapshots über die Zeit

Behalten Sie jeden Crawl, um eine Seite über verschiedene Zeitpunkte hinweg zu vergleichen, ohne sie erneut zu crawlen.

USE / 03Suche

Über Ihre Crawls hinweg finden

Führen Sie eine Volltextsuche über alles Gespeicherte aus, um die exakten Seiten und Felder zu finden, die Sie brauchen.

USE / 04Kosten

Eigenen Storage aufgeben

Lassen Sie den S3-Bucket und die Datenbank weg. Storage skaliert, sichert und bereinigt sich für Sie selbst.

USE / 05AI

Korpora für Training und RAG

Bauen und ziehen Sie große, saubere Seitensets für Training und Retrieval direkt aus dem Storage.

USE / 06Async

Crawler-Auslieferung

Kombinieren Sie Storage mit dem Crawler, sodass umfangreiche asynchrone Crawls abrufbereit ankommen.

05 Preise

Eine Preisstaffel für alle Produkte.

Storage wird aus demselben Guthaben wie Ihre Crawls abgerechnet: Ein halber Credit hält eine Seite einen Monat lang gespeichert, ohne eigene Datenbank.

Pay as you go$3.00 bis hinunter zu $0.02 pro 1,000 erfolgreiche Requests

Abgerechnet werden nur erfolgreiche Requests, und die Preise sinken mit wachsendem Volumen. Optionale Abonnements ab $99 / Monat. Kostenlos starten mit bis zu 5,000 Requests, keine Kreditkarte.

Preise ansehen Kostenlos starten

06 Warum Crawlbase

Storage, den Sie nicht selbst betreiben müssen.

Cloud Storage läuft auf demselben Netzwerk, das 70,000+ Entwickler bedient. Kein S3 zum Bereitstellen, keine Datenbank zum Sichern, nichts zum Aufräumen, wenn es voll wird.

99%

Durchschnittliche Erfolgsrate der Requests

70K+

Kunden im Netzwerk

0.5

Credits pro gespeicherter Seite und Monat

99.99%

Netzwerk-Verfügbarkeit

Fügen Sie store=true einmal hinzu, und jeder Crawl wird behalten, indexiert und ist abrufbereit.

07 FAQ

Fragen zu Cloud Storage.

Ein skalierbarer Cloud-Store für Ihre gecrawlten und gescrapten Daten. Fügen Sie store=true zu einem Crawl hinzu und das gerenderte HTML, JSON und die Screenshots werden für Sie behalten, bereit zum Abrufen per RID oder zur Suche, ganz ohne eigene Datenbank, die Sie betreiben müssen.

Fügen Sie store=true zu Ihrem Crawling-API-Aufruf hinzu, oder nutzen Sie Cloud Storage als Webhook-Ziel für einen Crawler. Die Response gibt eine Storage-RID zurück, die die gespeicherte Seite identifiziert.

Senden Sie einen GET-Request an den Storage-Endpoint mit der RID, führen Sie eine Volltextsuche über Ihre gespeicherten Seiten aus, oder durchsuchen und laden Sie sie von der Storage-Seite in der Console herunter.

Ja. Gespeicherte Crawls können das gerenderte HTML, strukturiertes JSON und Full-Page-Screenshots enthalten, alle abrufbar über dieselbe RID.

Nein. Crawlbase übernimmt Skalierung, Backups und Bereinigung Ihres Speicherplatzes, sodass Sie keinen S3-Bucket und keine eigene Datenbank mehr warten müssen.

Storage nutzt dasselbe Credit-Guthaben wie Ihre Crawls: Ein halber Credit hält eine Seite einen Monat lang gespeichert, und Ihre kostenlosen Credits aus der Registrierung decken den Start ab. Wie Credits funktionieren, erfahren Sie auf der Preisseite.

Behalten Sie jede Seite, die Sie crawlen.
Sparen Sie sich die Datenbank.

Kostenlos beginnen, keine Kreditkarte. Ein Guthaben für Cloud Storage und jedes Produkt.