Dokumentation Crawlbase

# Передача данных в Enterprise Crawler

Bevor Sie die URL-Adresse anzeigen lassen Crawler, das habe ich gerade gelesen здесдать здесь новый краулер (открывается новое окно) (öffnet neues Fenster).

Sie müssen eine URL-Adresse zum Scannen bereitstellen Crawler, вы использовать Crawling API Mit zwei zusätzlichen Parametern:

In Dies ist die Push-Funktion eines Roboters, Die API verfügt über eine JSON-Unterstützung mit einer einzigartigen Identifikation für RID. Das ist RID einzigartig und ermöglicht die Identifizierung von Verstößen in meinem Leben.

Beispielhafte Antwort zur Push-Übertragung:

{ "rid": "1e92e8bff32c31c2728714d4" }

Zur Überprüfung können Sie innerhalb von 30 Sekunden weitere XNUMX URL-Adressen lesen Crawler.

# Enterprise Crawler Die Haftungsbeschränkungen beschränken sich auf die Dauer

Общая сumma for all Crawler ожидание очередей ограничено 1 млн seite. Wenn Sie bereits vor 1 Millionen Seiten gearbeitet haben oder mehrere Monate vergangen sind, sind Sie hier Crawler Die Push-Zugriffsfunktion ist eine ganze Weile in Betrieb, und ich muss sie auf elektronischem Wege bedienen. Crawler Die automatische Push-Ladefunktion beträgt nur 1 Million.

# Weitere Informationen finden Sie hier

Bevor Sie eine Anfrage stellen, müssen Sie die erforderlichen Daten für die Auswahl verwenden, sofern Sie diese nicht verwenden callback_headers Parameter. Dies ist nicht unbedingt erforderlich, um mehr Daten und eine Reihe von Identifikationsdaten auf Ihrer Website zu übertragen.

Nachfolgendes Format: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc. Am nächsten Tag muss ich mich grundsätzlich anmelden.

Пример заголовков и значений MY-ID 1234, some-other 4321

&callback_headers=MY-ID%3A1234%7Csome-other%3A4321

Diese Beiträge werden im Rahmen der Veröffentlichung im Internet veröffentlicht.

# Dies ist eine Frage, ob es sich um einen Antrag handelt

Sie können die folgenden Parameter steuern, da mehrere Betonanschläge im Laufe dieser Arbeiten durchgeführt werden können: queue_timeout Diese Parameter wurden für die Scan-Darstellung verwendet, was zu einer großen Anzahl von Betriebsvorgängen führte, die nur wenige Tage später zur Folge hatten, nachdem sie in der letzten Woche veröffentlicht worden waren определенного временного окна.

Parameter Typ Beschreibung
queue_timeout Ganz Maximale Zeitspanne в Minuten Es besteht die Möglichkeit, dass im Laufe der Zeit Abstriche gemacht werden. Weitere Informationen: 1 в 10080 (von 1 Minute bis 7 Tage). Sofern in dieser Zeit keine weiteren Fragen gestellt werden, erfolgt dies erneut. Es sei denn, die Nachricht wurde nicht angefordert oder nicht heruntergeladen. 0Vor diesem Zeitpunkt wird die Gebühr nicht gelöscht.

Wichtige Notizen:

  • Die Dauer der Vertragsverlängerung wird auf bestimmte Zeitspanne begrenzt und auf die Dauer der Auftragserteilung beschränkt. Im Laufe der Zeit haben wir noch Fragen gestelltIm Anschluss daran, wie die Autoren sagen, queue_timeout Mehr ist nicht möglich.
  • Eine große Anzahl von Kunden kann zu zahlreichen Neuanträgen führen. Wählen Sie eine Nachricht aus, die angezeigt wird, da bei der Verwendung Ihres Szenarios mehr Ergebnisse erzielt werden.
  • Das Verfahren zur Ermittlung des Verfahrens wird von der zuständigen Behörde durchgeführt queue_timeoutUm sicherzustellen, dass Sie neue Ansichten mit dem HTTP-Status erstellen. 504 und einhundert Crawlbase Status 699.

Beispiel: URL-Adresse innerhalb von 30 Minuten innerhalb von 30 Minuten veröffentlichen:

curl 'https://api.crawlbase.com/scraper?token=YOUR_TOKEN&callback=true&crawler=YourCrawlerName&queue_timeout=30'

← Получение веб-хука →

© 2026 Crawlbase