# Masse

Eine /bulk Der Endpunkt ermöglicht es Clients, Daten in großen Mengen mithilfe einer Liste von Anforderungs-IDs (RIDs) abzurufen. Dieser Vorgang unterstützt den effizienten Datenabruf für große Datensätze und bietet eine Option zum automatischen Löschen der abgerufenen Elemente aus dem Speicher nach dem Abruf.

# Kenngrößen

Senden Sie ein JSON-Objekt mit den folgenden Eigenschaften:

rids (erforderlich): Ein Array von RIDs für die Daten, die Sie abrufen möchten.
auto_delete (optional): Ein boolescher Parameter, der, wenn er auf true, löscht die abgerufenen Elemente automatisch aus dem Speicher, nachdem sie abgerufen wurden. Der Standardwert ist false, dh, Elemente werden nicht gelöscht, sofern dies nicht ausdrücklich verlangt wird.

# PREISANFRAGE (Anfrage)

Rufen Sie also die Daten für drei RIDs ab und löschen Sie sie automatisch:

curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'

# Antwort

Die Antwort ist ein JSON-Array von Objekten, von denen jedes die Daten für eine RID darstellt. Beachten Sie, dass Sie sterben body Das Feld ist base64-codiert und gzip-komprimiert. Sie müssen es base64-decodieren und dann gzip-dekomprimieren, um den Originalinhalt abzurufen.

[
  {
    "stored_at": "2021-03-01T14:22:58+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID1",
    "url": "URL1",
    "body": "BODY1"
  },
  {
    "stored_at": "2021-03-01T14:30:51+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID2",
    "url": "URL2",
    "body": "BODY2"
  }
]

# Notizen

Für eine effiziente Nutzung der /bulk API, beachten Sie bitte Folgendes:

Die maximale Anzahl an RIDs, die pro Anfrage verarbeitet werden können, beträgt 100. Wenn mehr als 100 RIDs gesendet werden, werden nur die ersten 100 verarbeitet.
Eine auto_delete Es ist besonders nützlich, um die Speichereffizienz aufrechtzuerhalten und den Datenlebenszyklus zu verwalten, ohne dass separate Löschanforderungen erforderlich sind. Verwenden Sie diese Funktion umsichtig, um unbeabsichtigten Datenverlust zu vermeiden.

← Löschen RIDs →