# Wie funktioniert es?

Wenn Sie die Crawling-API hinter einem Proxy verwenden möchten, lesen Sie bitte die Dokumentation des Smart Proxy (öffnet neues Fenster) Produkt. Wenn Sie kein Smart Proxy Abonnement oder Sie möchten alle Funktionen des Crawling API ohne Einschränkungen und mit einer höheren Ratenbegrenzung, dann lesen Sie bitte den folgenden Absatz weiter.

Alle Crawling API im Proxy-Modus sollten Anrufe an http://smartproxy.crawlbase.com und Hafen 8000 Verwenden Sie Ihren Zugriffstoken als Proxy-Benutzernamen. Beachten Sie, dass hier der verwendete Port ein anderer ist als der Port, der in der Smart Proxy, also achten Sie darauf, den richtigen Port zu verwenden, alles andere, was in der Smart Proxy Die Dokumentation bleibt gleich.

Daher ist Ihr erster Anruf so einfach wie das Ausführen der folgenden Zeile im Terminal. Probieren Sie es aus!

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

Um JavaScript-Anfragen (Headless-Browser) anstelle von normalen Anfragen zu stellen, versuchen Sie Folgendes in Ihrem Terminal:

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

# Bewertungslimit

Standardmäßig ist der Crawling API im Proxy-Modus ist die Rate auf 20 Anfragen pro Sekunde (1.728 M Anfragen/Tag) begrenzt. Wenn Ihre Proxy-Management-Lösung mit gleichzeitigen Anfragen/Threads statt mit Anfragen pro Sekunde arbeitet, ist es wichtig zu beachten, dass 20 Anfragen pro Sekunde im Allgemeinen viel mehr gleichzeitige Anfragen bedeuten. Wenn Sie beispielsweise Amazon mit Crawlbase crawlen, dauert die durchschnittliche Anfrage etwa 4 Sekunden, daher entsprechen 20 Anfragen pro Sekunde 80 gleichzeitigen Threads. Wenn die von Ihnen gecrawlte Website schnell antwortet, benötigen Sie weniger gleichzeitige Anfragen. Wenn Sie das Limit gleichzeitiger Anfragen erreichen, bitte Support kontaktieren (öffnet neues Fenster) mit Ihrem Anwendungsfall, um Ihre Parallelität zu erhöhen.