What is Crawlbase Cloud Storage?

A scalable cloud store for your crawled and scraped data. Add store=true to a crawl and the rendered HTML, JSON and screenshots are kept for you, ready to retrieve by RID or search, with no database of your own to run.

How do I store a page?

Add store=true to your Crawling API call, or use Cloud Storage as the webhook target for a Crawler. The response returns a storage RID that identifies the stored page.

How do I get my data back?

Send a GET request to the storage endpoint with the RID, run a full-text search across your stored pages, or browse and download from the storage dashboard.

Does it store screenshots too?

Yes. Stored crawls can include the rendered HTML, structured JSON and full-page screenshots, all retrievable by the same RID.

Do I have to manage scaling or backups?

No. Crawlbase handles scaling, backups and cleanup of your storage space, so you can stop maintaining an S3 bucket or a database of your own.

How much does it cost?

It is free for developers, storing up to 10,000 documents for 14 days with no credit card. Beyond that it scales inexpensively with your crawl volume, and the same token works across the Crawling API, the Crawler and every scraper.

Produkt / Cloud Storage

Cloud Storage.
Jeder Crawl behalten, keiner erneut geholt.

Fügen Sie store=true zu jedem Crawl hinzu und Crawlbase behält die gerenderte Seite, JSON und Screenshots in der Cloud.
Rufen Sie per RID ab, führen Sie eine Volltextsuche aus und sparen Sie sich die Datenbank, den S3-Bucket und die Backups.

Kostenlos starten zur Dokumentation

10,000 Dokumente kostenlosEin Flag: store=trueVolltextsuche

Live-Storage-Writes1.24M req/minStreaming

200github.com/crawlbaseSG78ms

200github.com/crawlbaseES155ms

200amazon.com/dp/B08N5WRWNWDE150ms

200amazon.com/dp/B08N5WRWNWCA200ms

200producthunt.com/posts/notionSG132ms

200reddit.com/r/programmingNL46ms

200producthunt.com/posts/notionDE120ms

200tripadvisor.com/Restaurants-g60763DE216ms

200glassdoor.com/Reviews/index.htmIN140ms

200amazon.com/dp/B08N5WRWNWGB151ms

200indeed.com/jobs?q=developerDE217ms

200google.com/search?q=web+scrapingGB66ms

200glassdoor.com/Reviews/index.htmUS166ms

200linkedin.com/jobs/searchGB100ms

200google.com/search?q=web+scrapingSG48ms

200reddit.com/r/programmingFR47ms

200google.com/search?q=web+scrapingDE96ms

200google.com/search?q=web+scrapingUS115ms

200walmart.com/ip/55048794NL95ms

200ebay.com/itm/204512389011AU192ms

200stackoverflow.com/questions/11227809CA85ms

200indeed.com/jobs?q=developerBR206ms

200yelp.com/biz/blue-bottle-coffeeBR148ms

200tripadvisor.com/Restaurants-g60763JP93ms

200stackoverflow.com/questions/11227809FR172ms

200linkedin.com/jobs/searchFR141ms

200github.com/crawlbaseSG78ms

200github.com/crawlbaseES155ms

200amazon.com/dp/B08N5WRWNWDE150ms

200amazon.com/dp/B08N5WRWNWCA200ms

200producthunt.com/posts/notionSG132ms

200reddit.com/r/programmingNL46ms

200producthunt.com/posts/notionDE120ms

200tripadvisor.com/Restaurants-g60763DE216ms

200glassdoor.com/Reviews/index.htmIN140ms

200amazon.com/dp/B08N5WRWNWGB151ms

200indeed.com/jobs?q=developerDE217ms

200google.com/search?q=web+scrapingGB66ms

200glassdoor.com/Reviews/index.htmUS166ms

200linkedin.com/jobs/searchGB100ms

200google.com/search?q=web+scrapingSG48ms

200reddit.com/r/programmingFR47ms

200google.com/search?q=web+scrapingDE96ms

200google.com/search?q=web+scrapingUS115ms

200walmart.com/ip/55048794NL95ms

200ebay.com/itm/204512389011AU192ms

200stackoverflow.com/questions/11227809CA85ms

200indeed.com/jobs?q=developerBR206ms

200yelp.com/biz/blue-bottle-coffeeBR148ms

200tripadvisor.com/Restaurants-g60763JP93ms

200stackoverflow.com/questions/11227809FR172ms

200linkedin.com/jobs/searchFR141ms

01 Live-Demo

Speichern mit einem Flag. Abrufen per RID.

Cloud Storage, live getippt. Speichern Sie einen Crawl mit einem Parameter und rufen Sie ihn später per RID ab. Fahren Sie mit der Maus darüber, um anzuhalten und mitzulesen.

bereit

Tasten 1-2 wechseln · klicken zum Pausiereneigene URL ausführen

Speichern Sie Ihren ersten Crawl in Minuten. 10,000 Dokumente kostenlos, keine Kreditkarte.Kostenlos starten

02 Funktionen

Ein Store, gebaut für Crawls.

Behalten, finden und ziehen Sie Ihre gecrawlten Daten, ohne eigenen Storage aufzusetzen.

store

Speichern mit einem Flag

Fügen Sie store=true zu jedem Crawling-API-Aufruf hinzu, oder richten Sie einen Crawler auf Cloud Storage, und die gerenderte Seite wird automatisch behalten.

retrieve

Abrufen per RID

Jeder gespeicherte Crawl erhält eine RID. Senden Sie einen GET-Request damit und die Seite kommt direkt zurück, ohne erneuten Crawl.

Volltextsuche

Durchsuchen Sie alles, was Sie gecrawlt haben, um die exakten Seiten zu finden, die Sie brauchen, statt Ihre eigene Datenbank zu durchsuchen.

capture

Seiten und Screenshots

Behalten Sie gerendertes HTML, strukturiertes JSON und Full-Page-Screenshots zusammen, alles abrufbar über dieselbe RID.

scale

Skalierung erledigt

Crawlbase verwaltet Skalierung, Backups und Bereinigung Ihres Speichers, sodass Sie den S3-Bucket und die Wartung aufgeben können.

pipe

Crawler-Webhook-Ziel

Nutzen Sie Storage als Auslieferungsziel für den asynchronen Crawler, sodass große Crawls abrufbereit ankommen.

03 So funktioniert es

Ein Flag zum Speichern, ein Aufruf zum Abrufen.

Behalten Sie Ihren Crawl, wie er ist. Fügen Sie einen Parameter zum Speichern hinzu und einen GET zum Abrufen.

store=true hinzufügen

Crawlen Sie jede URL mit store=true, oder legen Sie Cloud Storage als Ihr Crawler-Webhook-Ziel fest.

Wir speichern und indexieren

Die gerenderte Seite, JSON und Screenshot werden gespeichert und für die Volltextsuche indexiert, mit erledigter Skalierung.

RID speichern

Die Response gibt eine Storage-RID zurück, die die soeben behaltene Seite eindeutig identifiziert.

Abrufen oder suchen

Senden Sie einen GET an den Storage-Endpoint mit der RID, durchsuchen Sie Ihre Crawls oder ziehen Sie sie aus dem Dashboard.

04 Anwendungsfälle

Was Teams in Cloud Storage behalten.

USE / 01Pipelines

Ein Puffer für Ihren Stack

Lassen Sie gecrawlte Seiten im Storage landen und ziehen Sie sie nach Ihrem eigenen Zeitplan in Ihr Warehouse, Ihren Index oder Ihr Modell.

USE / 02Historie

Snapshots über die Zeit

Behalten Sie jeden Crawl, um eine Seite über verschiedene Zeitpunkte hinweg zu vergleichen, ohne sie erneut zu crawlen.

USE / 03Suche

Über Ihre Crawls hinweg finden

Führen Sie eine Volltextsuche über alles Gespeicherte aus, um die exakten Seiten und Felder zu finden, die Sie brauchen.

USE / 04Kosten

Eigenen Storage aufgeben

Lassen Sie den S3-Bucket und die Datenbank weg. Storage skaliert, sichert und bereinigt sich für Sie selbst.

USE / 05AI

Korpora für Training und RAG

Bauen und ziehen Sie große, saubere Seitensets für Training und Retrieval direkt aus dem Storage.

USE / 06Async

Crawler-Auslieferung

Kombinieren Sie Storage mit dem Crawler, sodass umfangreiche asynchrone Crawls abrufbereit ankommen.

05 Preise

Kostenlos starten, günstig skalieren.

Cloud Storage ist kostenlos für Entwickler und günstig für Unternehmen. Sie zahlen für das Crawl-Volumen, nicht für eine Datenbank, die Sie betreiben müssen.

FreeBeginnen Sie mit KI- und Webdaten-Workflows

$0/ mo

Kostenlos starten

10k Requests
14 Tage Aufbewahrung
Get API
Delete API
Bulk API

DeveloperZuverlässiger Storage für KI- und Automatisierungs-Workflows

$29/ mo

Developer wählen

100k Requests
30 Tage Aufbewahrung
Get API
Delete API
Bulk API

Am beliebtesten

BusinessGebaut für skalierbare Datenoperationen

$249/ mo

Business wählen

1M Requests
30 Tage Aufbewahrung
Get API
Delete API
Bulk API

EnterpriseMaßgeschneiderte Infrastruktur für Datensysteme im großen Maßstab

Kontaktieren Sie uns

Individuelles Volumen
Individuelle Aufbewahrung
Get API
Delete API
Bulk API

06 Warum Crawlbase

Storage, den Sie nicht selbst betreiben müssen.

Cloud Storage läuft auf demselben Netzwerk, das 70,000+ Entwickler bedient. Kein S3 zum Bereitstellen, keine Datenbank zum Sichern, nichts zum Aufräumen, wenn es voll wird.

99%

Durchschnittliche Erfolgsrate der Requests

70K+

Kunden im Netzwerk

10K

Dokumente kostenlos für 14 Tage

99.99%

Netzwerk-Verfügbarkeit

Fügen Sie store=true einmal hinzu, und jeder Crawl wird behalten, indexiert und ist abrufbereit.

07 FAQ

Fragen zu Cloud Storage.

Ein skalierbarer Cloud-Store für Ihre gecrawlten und gescrapten Daten. Fügen Sie store=true zu einem Crawl hinzu und das gerenderte HTML, JSON und die Screenshots werden für Sie behalten, bereit zum Abrufen per RID oder zur Suche, ganz ohne eigene Datenbank, die Sie betreiben müssen.

Fügen Sie store=true zu Ihrem Crawling-API-Aufruf hinzu, oder nutzen Sie Cloud Storage als Webhook-Ziel für einen Crawler. Die Response gibt eine Storage-RID zurück, die die gespeicherte Seite identifiziert.

Senden Sie einen GET-Request an den Storage-Endpoint mit der RID, führen Sie eine Volltextsuche über Ihre gespeicherten Seiten aus, oder durchsuchen und laden Sie sie aus dem Storage-Dashboard herunter.

Ja. Gespeicherte Crawls können das gerenderte HTML, strukturiertes JSON und Full-Page-Screenshots enthalten, alle abrufbar über dieselbe RID.

Nein. Crawlbase übernimmt Skalierung, Backups und Bereinigung Ihres Speicherplatzes, sodass Sie keinen S3-Bucket und keine eigene Datenbank mehr warten müssen.

Es ist kostenlos für Entwickler, mit Speicherung von bis zu 10,000 Dokumenten für 14 Tage ohne Kreditkarte. Darüber hinaus skaliert es günstig mit Ihrem Crawl-Volumen, und derselbe Token funktioniert über die Crawling API, den Crawler und jeden Scraper hinweg.

Behalten Sie jede Seite, die Sie crawlen.
Sparen Sie sich die Datenbank.

Kostenlos beginnen, bis zu 10,000 Dokumente für 14 Tage speichern. Ein Token über Cloud Storage und jedes Produkt hinweg.