Docs
Anmelden

User Agents API

Kostenloser, ratenbegrenzter Endpoint, der einen zufälligen, für Web-Crawling optimierten User-Agent-String zurückgibt. Verwenden Sie ihn, wenn Sie Ihren eigenen Crawler außerhalb der Crawlbase-Pipeline betreiben.

Kostenlos nutzbar

Die User Agents API ist unabhängig von Ihrem Crawlbase-Plan vollständig kostenlos nutzbar. Begrenzt auf 1 Request pro Sekunde.

Überblick

Gibt einen zufälligen User-Agent-String zurück, der für Web-Crawling optimiert ist. Die Auswahllogik bevorzugt UAs, die in produktivem Traffic natürlich wirken: aktuelle Chrome-, Firefox- und Safari-Builds für Desktop und Mobile, gewichtet entsprechend der realen Nutzung.

Endpoint:https://api.crawlbase.com/user_agents

Schnellstart

curl 'https://api.crawlbase.com/user_agents?token=YOUR_TOKEN'

Gibt einen einzelnen User-Agent-String zurück. Verwenden Sie ihn direkt im User-Agent-Header Ihres ausgehenden HTTP-Requests.

Parameter

token
stringerforderlich
Ihr Crawlbase-Token. Der Endpoint ist kostenlos, aber das Token wird für die Rate-Limit-Abrechnung benötigt.
device
desktop | tablet | mobiledesktop
Filter nach einer Geräteklasse. Nützlich, wenn Ihr Scraper realistische UAs für einen bestimmten Plattform-Mix benötigt.
size
integer1
Anzahl der UAs, die pro Aufruf zurückgegeben werden. Maximal 10. Kombinieren Sie dies mit device zum Vorfiltern, cachen Sie das Batch dann clientseitig und rotieren Sie lokal: das ist schneller und vermeidet das Rate-Limit von 1 Req/s.

Rate-Limit

1 Request pro Sekunde. Cachen Sie UA-Strings clientseitig und rotieren Sie sie selbst, anstatt bei jedem Request aufzurufen: das ist schneller und vermeidet, das Limit zu erreichen.

Wann Sie dies verwenden sollten

Sie benötigen dies nur, wenn Sie Ihren eigenen Crawler gegen Websites betreiben, die nicht über Crawlbase laufen. Die Crawling API und der Smart AI Proxy übernehmen die UA-Randomisierung bereits automatisch: Sie müssen User-Agent bei Requests über diese nicht setzen.