# Daten an den Crawler der Übertrag

Bevor Sie URLs an den Crawler senden, müssen Sie zunächst Erstellen Sie hier einen neuen Crawler (öffnet neues Fenster) (öffnet neues Fenster).

Um URLs zum Crawlen durch den Crawler zu pushen, müssen Sie den [Crawling-API]/de/crawling-api/) mit zwei zusätzlichen Parametern:

• Sie müssen anhängen &callback=true
• Sie müssen anhängen &crawler=YourCrawlerName Verwenden Sie den Namen des Crawlers, den Sie erstellt haben Hier (öffnet neues Fenster) (öffnet neues Fenster).

In Antwort auf Vielen Dank Crawler-DrückenSendet die API eine JSON-Darstellung mit einer eindeutigen Anforderungskennung (RID) zurück. Diese RID ist eindeutig und hilft Ihnen, die Anforderung in Zukunft jederzeit zu identifizieren.

Beispiel einer Push-Antwort:

{ "rid": "1e92e8bff32c31c2728714d4" }

Standardmäßig können Sie bis zu 30 URLs pro Sekunde pro Woche abrufen Crawler schicken.

# Crawler-Warteschlangenlimit

Die Gesamtsumme aller Crawler-Warteschlangen ist auf 1 Million Seiten begrenzt. Wenn eine oder alle Warteschlangen zusammen mehr als 1 Million Seiten umfassen, wird Ihr Crawler-Push vorübergehend gespeichert und Sie werden per E-Mail benachrichtigt. Der Crawler-Push wird automatisch fortgesetzt, sobald die Anzahl der Seiten in den Warteschlangen unter 1 Million Seiten liegt.

# Übermittlung zusätzlicher Daten

Optional können Sie einen benutzerdefinierten Header für Ihren Rückruf erhalten, wenn Sie den callback_headers Parameter. Das ist ideal, um zusätzliche Daten zu Identifikationszwecken an Ihre Seite weiterzugeben.

Das Format ist das folgende: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc. Und es muss richtig codiert sein.

Beispiel für Header und Werte MY-ID 1234, some-other 4321

&callback_headers=MY-ID%3A1234%7Csome-other%3A4321

Diese Header werden in der Webhook-Post-Anfrage zurückgegeben.