Docs
Anmelden

User Agents API

Kostenloser, ratenbegrenzter Endpoint, der einen zufälligen, für Web-Crawling optimierten User-Agent-String zurückgibt. Verwenden Sie ihn, wenn Sie Ihren eigenen Crawler außerhalb der Crawlbase-Pipeline betreiben.

Kostenlos nutzbar

Die User Agents API ist unabhängig von Ihrem Crawlbase-Plan vollständig kostenlos nutzbar. Begrenzt auf 1 Request pro Sekunde.

Überblick

Gibt einen zufälligen, für Web-Crawling optimierten User-Agent-String zurück. Die Auswahllogik bevorzugt UAs, die in produktivem Traffic natürlich wirken — moderne Chrome-, Firefox- und Safari-Builds für Desktop und Mobile, gewichtet nach realer Nutzungsverteilung.

Endpoint:https://api.crawlbase.com/user_agents

Schnellstart

curl 'https://api.crawlbase.com/user_agents?token=YOUR_TOKEN'

Gibt einen einzelnen User-Agent-String zurück. Verwenden Sie ihn direkt im User-Agent-Header Ihres ausgehenden HTTP-Requests.

Parameter

token
stringerforderlich
Ihr Crawlbase-Token. Der Endpoint ist kostenlos, aber das Token wird für die Rate-Limit-Abrechnung benötigt.
device
desktop | tablet | mobiledesktop
Filter nach einer Geräteklasse. Nützlich, wenn Ihr Scraper realistische UAs für einen bestimmten Plattform-Mix benötigt.
size
integer1
Anzahl der UAs, die pro Aufruf zurückgegeben werden. Maximal 10. Kombinieren Sie ihn mit device, um vorzufiltern, cachen Sie das Batch dann clientseitig und rotieren Sie lokal — das ist schneller und umgeht das Rate-Limit von 1 Req/s.

Rate-Limit

1 Request pro Sekunde. Cachen Sie UA-Strings clientseitig und rotieren Sie diese selbst, anstatt bei jedem Request aufzurufen — das ist schneller und vermeidet, dass Sie das Limit erreichen.

Wann Sie dies verwenden sollten

Sie benötigen dies nur, wenn Sie Ihren eigenen Crawler gegen Websites betreiben, die nicht über Crawlbase laufen. Die Crawling API und der Smart AI Proxy übernehmen die UA-Randomisierung bereits automatisch — Sie müssen den User-Agent bei Requests über diese nicht setzen.