User Agents API
Kostenloser, ratenbegrenzter Endpoint, der einen zufälligen, für Web-Crawling optimierten User-Agent-String zurückgibt. Verwenden Sie ihn, wenn Sie Ihren eigenen Crawler außerhalb der Crawlbase-Pipeline betreiben.
Die User Agents API ist unabhängig von Ihrem Crawlbase-Plan vollständig kostenlos nutzbar. Begrenzt auf 1 Request pro Sekunde.
Überblick
Gibt einen zufälligen, für Web-Crawling optimierten User-Agent-String zurück. Die Auswahllogik bevorzugt UAs, die in produktivem Traffic natürlich wirken — moderne Chrome-, Firefox- und Safari-Builds für Desktop und Mobile, gewichtet nach realer Nutzungsverteilung.
Endpoint:https://api.crawlbase.com/user_agents
Schnellstart
curl 'https://api.crawlbase.com/user_agents?token=YOUR_TOKEN'Gibt einen einzelnen User-Agent-String zurück. Verwenden Sie ihn direkt im User-Agent-Header Ihres ausgehenden HTTP-Requests.
Parameter
device, um vorzufiltern, cachen Sie das Batch dann clientseitig und rotieren Sie lokal — das ist schneller und umgeht das Rate-Limit von 1 Req/s.Rate-Limit
1 Request pro Sekunde. Cachen Sie UA-Strings clientseitig und rotieren Sie diese selbst, anstatt bei jedem Request aufzurufen — das ist schneller und vermeidet, dass Sie das Limit erreichen.
Wann Sie dies verwenden sollten
Sie benötigen dies nur, wenn Sie Ihren eigenen Crawler gegen Websites betreiben, die nicht über Crawlbase laufen. Die Crawling API und der Smart AI Proxy übernehmen die UA-Randomisierung bereits automatisch — Sie müssen den User-Agent bei Requests über diese nicht setzen.

