# 将数据推送到爬虫
Zurück zur Startseite URL-Adresse Crawler 之前,您首先需要 在这里创建一个新的爬虫 (打开新窗口) (öffnet neues Fenster).
Zurück zur Startseite URL Crawler 抓取,您必须使用 [抓取 API]/zh-cn/crawling-api/) 带有两个附加参数:
- 您必须附加
&callback=true
- 您必须附加
&crawler=YourCrawlerName
使用您创建的爬虫的名称 这里 (Nicht brennbar) (öffnet neues Fenster).
In Vergrößern Sie die AnzeigetafelDie API ist eine RID- und JSON-Version. Es ist RID是唯一的,将帮助您在将来的任何时候识别请求.
Beispiele für die Verwendung von kompatiblen Geräten:
{ "rid": "1e92e8bff32c31c2728714d4" }
默认情况下,您每秒最多可以将 30 个 URL 推送到 Crawler.
# 爬虫等待队列限制
所有 Crawler 等待队列的总和上限为 1 Jahr万页,您的爬虫推送将暂时暂停,我们将通过电子邮件通知您. 一旦等待队列中的页面低于1M 页面,爬虫推送将自动恢复.
# 发送附加数据
oder, leitendes Unternehmen callback_headers
的数据以进行识别.
Weitere Informationen: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc.
Die richtige Größe für Ihr Handy.
Beispiele für die Verwendung von Wasser und Abwasser MY-ID 1234, some-other 4321
&callback_headers=MY-ID%3A1234%7Csome-other%3A4321
这些标头将在 webhook 发布请求中返回.
← 爬虫介绍 Webhook-Optionen →