# API-Entwicklung

要监控爬虫统计信息、管理作业、通过 API 清除爬虫、暂停/取消暂停爬虫,请按照以下说明操作:

请 注意 : Wenn Sie JS verwenden, können Sie die API- und TCP-Schnittstelle verwenden, um die JS-Funktion zu nutzen.

# API-Entwicklung

获取爬虫的摘要,包括并发性、队列状态和爬取历史记录(成功和失败细目):

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'

按日期范围过滤历史记录:

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'

# API-Erweiterung

要清除特定的爬虫,请使用爬虫名称和令牌 (JS/TCP) 发出此 POST 请求:

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'

请 注意 : Vergrößern 所有页面 Keine Registrierung erforderlich.

# Übertragen Sie eine API

要从爬虫中删除作业,请发送此 POST 请求,其中包含请求 RID、爬虫名称和令牌 (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'

# API für die Netzwerkverbindung

要在爬虫程序队列中通过 RID 查找请求, 请使用以下 GET 请求 (JS/TCP):

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'

Name:

  • Leistungsindikatoren:
{
  "status": "QUEUED",
  "request_info": {
    "rid": "YOUR_RID",
    "url": "YOUR_URL",
    "retry": 3,
    "created_at": 1600494969.189415
  }
}
  • Fehler NOT_QUEUED: 如果请求已被抓取或者不在队列中.
{
  "status": "NOT_QUEUED",
  "request_info": {
    "rid": "YOUR_RID"
  }
}

# Mehr API

要暂停爬虫,请使用带有爬虫名称和令牌 (JS/TCP) 的 POST 请求:

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'

# API für die Wiederherstellung

要取消暂停爬虫,请使用爬虫名称和令牌 (JS/TCP) 发出此 POST 请求:

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'