Crawler-FAQs

Standardmäßig wird eine Anfrage ab dem ersten Beginn der Verarbeitung innerhalb von 110 Stunden 48 Mal wiederholt.

Sie erhalten im Erfolgs- oder Misserfolgsfall immer einen Rückruf. Überprüfen Sie den PC-Status und den Originalstatus, um den Statuscode zu erfahren.

Wenn dein Crawler Wenn der Rückruf ausfällt, werden Sie per E-Mail benachrichtigt, Ihre Crawler werden angehalten und Ihre letzte fehlgeschlagene Anfrage aufgrund einer Ausfallzeit an Ihrem Endpunkt wird erneut versucht. Ihre Crawler werden fortgesetzt, wenn Ihr Endpunkt automatisch verfügbar wird. Unser Überwachungssystem überprüft Ihren Endpunkt jede Minute.

„Wartend“ bedeutet, dass Ihre Anfragen in Ihrer Crawler-Warteschlange darauf warten, verarbeitet zu werden. „Gleichzeitige Crawler“ sind die Anfragen, die gleichzeitig gecrawlt werden. Die Anzahl gleichzeitiger Crawler wird von unserem System erhöht, wenn Sie viele Seiten zu crawlen haben. Wir überwachen auch Crawler und erhöhen oder verringern die Gleichzeitigkeit je nach Pool. „Zu wiederholende Sets“ sind Ihre Anfragen, die aus irgendeinem Grund fehlgeschlagen sind. Sie landen in Ihrer Crawler-Wiederholungswarteschlange und werden mit einer Wiederholungsrate von bis zu maximal 110 Wiederholungen verarbeitet.

Sie können die API-Schlüssel abrufen oder Token von der Crawlbase-Kontodokumentationsseite anfordern.

https://crawlbase.com/dashboard/account/docs

Das Limit von 30 URLs pro Sekunde gilt für LinkedIn-Crawls. Für andere Websites können wir das Limit von Fall zu Fall bewerten und ggf. erhöhen. Bitte kontaktieren Sie uns um Ihre spezifischen Bedürfnisse zu besprechen.