Crawlbase FAQ

Derzeit ist die einzige Möglichkeit, Crawlbase zu nutzen, die Integration in Ihr Produkt oder Ihren Service, daher benötigen Sie Entwicklungskenntnisse oder jemanden, der Ihnen helfen kann (kennen/bezahlen).

Bitte beachten Sie, dass wir einige sehr einfach zu integrierende Bibliotheken haben.

Sie können die API-Schlüssel oder Request-Token von der Crawlbase Account Documentation-Seite abrufen.

https://crawlbase.com/dashboard/account/docs

Standardmäßig wird ein Request 110 Mal über einen Zeitraum von 48 Stunden ab dem ersten Zeitpunkt, an dem er verarbeitet wird, erneut versucht.

Das Limit von 30 URLs pro Sekunde gilt für LinkedIn-Crawls. Für andere Websites können wir eine Erhöhung des Limits von Fall zu Fall prüfen und gegebenenfalls vornehmen. Bitte kontaktieren Sie uns, um Ihre spezifischen Anforderungen zu besprechen.

Ja, Sie können Ihre Konto-E-Mail-Adresse ändern. Besuchen Sie dazu die Kontoseite und suchen Sie nach der Option "Change email address". Nachdem Sie Ihre E-Mail-Adresse aktualisiert haben, erhalten Sie eine Bestätigungs-E-Mail an der neuen Adresse. Bitte bestätigen Sie die Änderung, indem Sie den Anweisungen in der E-Mail folgen.

Ja, der Smart AI Proxy kann für HTTPS-Websites verwendet werden, aber die Verbindung zum Proxy muss über http erfolgen. Verwenden Sie also beim Verbinden mit dem Proxy http://smartproxy.crawlbase.com und nicht https://smartproxy.crawlbase.com.

Der gesamte HTTPS-Traffic, den Sie mit dem Smart AI Proxy an eine beliebige Website senden, wird weiterhin sicher übertragen und wir können in keiner Weise darauf zugreifen.

Wir möchten mehr als nur eine Liste oder Listen von Proxys anbieten, daher basieren unsere API- und Crawler-Produkte auf Tausenden von Residential- und Datacenter-Proxys weltweit, kombiniert mit künstlicher Intelligenz und unserem Engineering-Team, das dabei hilft, die bestmöglichen Datenergebnisse zu liefern. Wenn Sie nur nach Proxys suchen und keine der anderen Vorteile in Anspruch nehmen möchten, empfehlen wir Ihnen die Verwendung des Smart Proxy

Ja, Sie können die kostenlosen Requests für JavaScript oder normale Requests verwenden.

Wir tun unser Bestes, um jede Website zu unterstützen. Bitte kontaktieren Sie uns, um zu sehen, wie wir helfen können.

"Waiting" bedeutet, dass sich Ihre Requests in Ihrer Crawler-Warteschlange befinden und auf die Verarbeitung warten. "Concurrent crawlers" sind die Requests, die gleichzeitig gecrawlt werden. Concurrent Crawlers werden von unserem System erhöht, wenn Sie viele Seiten zu crawlen haben, wir überwachen die Crawler auch und erhöhen oder verringern die Parallelität je nach Pool. "Sets to be retried" sind Ihre Requests, die aus irgendeinem Grund fehlgeschlagen sind, sie landen in Ihrer Crawler-Retry-Warteschlange und werden mit einer Retry-Rate bis zu maximal 110 Retries verarbeitet.