Crawler FAQs

Standardmäßig wird ein Request 110 Mal über einen Zeitraum von 48 Stunden ab dem ersten Zeitpunkt, an dem er verarbeitet wird, erneut versucht.

Sie erhalten immer einen Callback im Falle eines Erfolgs oder Fehlers, bitte überprüfen Sie cb_status und original_status, um den Statuscode zu erfahren.

Wenn Ihr Crawler-Callback ausgefallen ist, werden Sie per E-Mail benachrichtigt, Ihre Crawler werden pausiert und Ihr letzter fehlgeschlagener Request aufgrund von Ausfallzeiten an Ihrem Endpoint wird für einen erneuten Versuch vorgesehen. Ihre Crawler werden automatisch fortgesetzt, sobald Ihr Endpoint wieder verfügbar ist. Unser Überwachungssystem prüft Ihren Endpoint jede Minute.

"Waiting" bedeutet, dass sich Ihre Requests in Ihrer Crawler-Warteschlange befinden und auf die Verarbeitung warten. "Concurrent crawlers" sind die Requests, die gleichzeitig gecrawlt werden. Concurrent Crawlers werden von unserem System erhöht, wenn Sie viele Seiten zu crawlen haben, wir überwachen die Crawler auch und erhöhen oder verringern die Parallelität je nach Pool. "Sets to be retried" sind Ihre Requests, die aus irgendeinem Grund fehlgeschlagen sind, sie landen in Ihrer Crawler-Retry-Warteschlange und werden mit einer Retry-Rate bis zu maximal 110 Retries verarbeitet.

Sie können die API-Schlüssel oder Request-Token von der Crawlbase Account Documentation-Seite abrufen.

https://crawlbase.com/dashboard/account/docs

Das Limit von 30 URLs pro Sekunde gilt für LinkedIn-Crawls. Für andere Websites können wir eine Erhöhung des Limits von Fall zu Fall prüfen und gegebenenfalls vornehmen. Bitte kontaktieren Sie uns, um Ihre spezifischen Anforderungen zu besprechen.