# Senden Sie Daten an die Crawler

Beginnen Sie zunächst mit der Absendung der URL Crawler, du musst an Bord erstelle eine neue Crawler Ein Kind (ein neues Fenster) (öffnet neues Fenster).

Um die von Ihnen erkundete URL aufzurufen CrawlerSie müssen die verwenden Crawling API Mit zwei zusätzlichen Parametern:

• Sie müssen hinzufügen &callback=true
• Sie müssen hinzufügen &crawler=YourCrawlerName Unter dem Namen des Roboters, den Sie erstellt haben Hier (ein neues Fenster veröffentlicht) (öffnet neues Fenster).

In Antwort auf Ihren Push-Crawler, Die API stellt eine JSON-Darstellung mit einer angeforderten eindeutigen RID-Identifikation dar. Dieses RID ist einzigartig und wir helfen Ihnen, die Anforderung sofort in der Zukunft zu identifizieren.

Beispiel für eine Push-Antwort:

{ "rid": "1e92e8bff32c31c2728714d4" }

Standardmäßig können Sie nur 30 URLs pro Sekunde senden Crawler.

# Crawler Aufmerksamkeitsdateilimit

Die Gesamtkombination für alle Crawler Die Anzahl der zu ladenden Dateien ist auf 1 Million Seiten begrenzt. Wenn Sie eine Datei lesen oder alle Dateien lesen möchten, die mehr als 1 Million Seiten lang sind, für Sie Crawler Der Push wird vorübergehend ausgesetzt und wir informieren Sie per E-Mail. Crawler Die Push-Wiedergabe erfolgt automatisch, wenn die Seiten oder die zu wartenden Dateien unter 1 Mio. Seiten liegen.

# Versand von Zusatzleistungen

Alternativ können Sie auch persönliche Têtes für Ihr Abseilen erhalten, wenn Sie diese nutzen callback_headers Parameter. Dies ist ideal für die Übermittlung zusätzlicher Données an die Enden der Identifizierung an Ihren Küsten.

Das Format ist wie folgt: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc. Und es gibt noch einen Code zur Korrektur.

Beispiel für die Liebe und den Wert MY-ID 1234, some-other 4321

&callback_headers=MY-ID%3A1234%7Csome-other%3A4321

Diese werden auf Anfrage nach der Veröffentlichung des Webhooks wiederverwendet.