# API-Entwicklung
要监控爬虫统计信息、管理作业、通过 API 清除爬虫、暂停/取消暂停爬虫,请按照以下说明操作:
请 注意 : Wenn Sie JS verwenden, können Sie die API- und TCP-Schnittstelle verwenden, um die JS-Funktion zu nutzen.
# API-Entwicklung
获取爬虫的摘要,包括并发性、队列状态和爬取历史记录(成功和失败细目):
curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'
按日期范围过滤历史记录:
curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'
# API-Erweiterung
要清除特定的爬虫,请使用爬虫名称和令牌 (JS/TCP) 发出此 POST 请求:
curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'
请 注意 : Vergrößern 所有页面 Keine Registrierung erforderlich.
# Übertragen Sie eine API
要从爬虫中删除作业,请发送此 POST 请求,其中包含请求 RID、爬虫名称和令牌 (JS/TCP):
curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'
# API für die Netzwerkverbindung
要在爬虫程序队列中通过 RID 查找请求, 请使用以下 GET 请求 (JS/TCP):
curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'
Name:
- Leistungsindikatoren:
{
"status": "QUEUED",
"request_info": {
"rid": "YOUR_RID",
"url": "YOUR_URL",
"retry": 3,
"created_at": 1600494969.189415
}
}
- Fehler NOT_QUEUED: 如果请求已被抓取或者不在队列中.
{
"status": "NOT_QUEUED",
"request_info": {
"rid": "YOUR_RID"
}
}
# Mehr API
要暂停爬虫,请使用带有爬虫名称和令牌 (JS/TCP) 的 POST 请求:
curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'
# API für die Wiederherstellung
要取消暂停爬虫,请使用爬虫名称和令牌 (JS/TCP) 发出此 POST 请求:
curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'