Das Web bekommt eine Identitätsschicht für BotsSignierte Agenten und was sie für alle ändern, die crawlen

Zwanzig Jahre lang war die Identität eines Crawlers eine Behauptung. Man schreibt User-Agent: Googlebot in einen Header, und der Server entscheidet, ob er das glaubt. Weil dort jeder alles hineinschreiben kann, lernten Betreiber, die Behauptung an Indizien zu prüfen: Landet ein Reverse-DNS-Lookup auf der verbindenden IP in der richtigen Domain, löst diese Domain wieder auf dieselbe Adresse auf, liegt die IP in einem veröffentlichten Bereich.

Diese Prüfung trägt die gesamte Ökonomie davon, wer crawlen darf. Sie ist auch der Grund, warum Bot-Erkennung zu Fingerprinting, Verhaltensbewertung und Challenge-Seitenwurde, denn Indizien sind genau so gut wie die Bereitschaft eines Angreifers, die richtige Adresse zu mieten.

2026 wird das abgelöst. Nicht durch besseres Fingerprinting, sondern durch asymmetrische Kryptografie: Ein Crawler signiert seine Requests mit einem privaten Schlüssel, veröffentlicht die öffentliche Hälfte unter einer well-known-URL, und der Server prüft eine Signatur, statt einen Hinweis abzuwägen. Aus der Behauptung wird ein Beweis.

Das Interessante ist nicht die Kryptografie, die ist gewöhnlich. Interessant ist, was an dem Tag geschah, an dem sie ausgeliefert wurde.

Was der Mechanismus tatsächlich ist

Web Bot Auth ist eine dünne Schicht über RFC 9421, dem Standard für HTTP Message Signatures. Der Bot hält ein Ed25519-Schlüsselpaar. Jeder Request trägt drei Header: Signature-Input beschreibt, was abgedeckt wurde, Signature trägt die Bytes, und Signature-Agent zeigt auf den HTTPS-Ort, an dem die öffentlichen Schlüssel liegen.

Die Signatur deckt Request-Komponenten ab, nicht den ganzen Body. Der Draft verlangt vom Signierer entweder @authority oder @target-uri, sodass eine abgefangene Signatur nicht gegen einen anderen Host oder Pfad wiederverwendet werden kann.

GET /article/12345 HTTP/1.1
Host: example.com
Signature-Agent: "https://crawler.example/.well-known/http-message-signatures-directory"
Signature-Input: sig=("@authority" "signature-agent");
  created=1740000000;
  expires=1740086400;
  keyid="poqkLGiymh_W0uP6PZFw-dvez3QJT5SolqXBCW38r0U";
  tag="web-bot-auth"
Signature: sig=:TUAfxGCoruBcOaEBRTdd6DcH0GJPd1v/1Vg1nCLmYFI=:

Vier Details in diesem Block tragen den Entwurf.

Die keyid ist kein Name, sondern ein Fingerabdruck. Sie ist der base64url-kodierte SHA-256-Thumbprint des JSON Web Key. Man kann nicht die Kennung eines anderen beanspruchen, weil die Kennung aus dem Schlüssel abgeleitet ist, dessen Besitz man nachweisen muss.

Das tag ist web-bot-auth. Signaturen sind an einen Zweck gebunden, eine für ein Protokoll erzeugte Signatur lässt sich also nicht für einen anderen Prüfer umwidmen.

Die Gültigkeit ist kurz. Der Draft empfiehlt höchstens 24 Stunden, was begrenzt, wie lange eine abgefangene Signatur überhaupt etwas wert ist.

Das Verzeichnis ist auffindbar. Schlüssel werden als JWKS veröffentlicht unter /.well-known/http-message-signatures-directory, sodass ein Prüfer sie abruft und zwischenspeichert, ganz ohne vorherige Beziehung zum Crawler.

Der Tag, an dem Identität und Erlaubnis zusammen kamen

Am 1. Juli 2025 hat Cloudflare Message Signatures in sein Verified-Bots-Programm aufgenommen, Bibliotheken in Rust und TypeScript veröffentlicht und Betreibern gesagt, dass Anträge mit wohlgeformten Signaturen schneller genehmigt würden.

Am selben Tag begann es, KI-Crawler standardmäßig zu blockieren für neue Domains, und öffnete eine private Beta von Pay per Crawl, bei der ein Publisher einen Preis setzt und ein Crawler ihn entweder zahlt oder die Seite nicht bekommt. Cloudflare sitzt vor etwa einem Fünftel des Webs, eine Voreinstellung kommt dort also einer Regel nahe.

Liest man beide Ankündigungen als eine, wird die Form offensichtlich. Für Zugang zu kassieren setzt voraus zu wissen, wer fragt, und zu wissen, wer fragt, setzt eine nicht fälschbare Identität voraus. Pay per Crawl ist auf User-Agentnicht möglich. Möglich wird es in dem Moment, in dem Identität eine Signatur ist.

Ausgeliefert, bevor es standardisiert war

Hier lohnt es sich zu verweilen. Der Protokoll-Draft, draft-meunier-webbotauth-httpsig-protocol-02, ist auf den 18. August 2026 datiert und immer noch ein individueller Internet-Draft. Er ist von keiner Arbeitsgruppe übernommen und trägt den üblichen Hinweis, dass ein Draft eine laufende Arbeit ist.

Cloudflares eigene Dokumentation ist darin offen: Sie sagt, die Umsetzung stütze sich auf IETF-Drafts, und nennt die konkreten Draft-Versionen, denen sie folgt. Zugleich läuft die Prüfung produktiv, und derselbe Mechanismus wird von weiteren großen Betreibern in Produktion geprüft.

Diese Reihenfolge ist im Web nicht ungewöhnlich und auch kein Skandal. Sie hat aber Folgen, mit denen man planen sollte. Eine Spezifikation, die umgesetzt wird, während sie sich bewegt, bedeutet, dass sich auch die Details bewegen: Header-Formen, Verzeichnispfade und Tag-Werte haben sich zwischen Draft-Revisionen bereits verschoben. Wer dagegen baut, verfolgt ein bewegliches Ziel, das im Wesentlichen von den Parteien gepflegt wird, die am meisten vom Ergebnis profitieren.

Was sich ändert, wenn Sie crawlen

Das Wettrüsten bekommt eine zweite Spur, keinen Ersatz

An signierten Agenten ist nichts, was Fingerprinting abschafft. Die Maschinerie aus unserer Anti-Bot-Analyse verschwindet nicht: TLS-Fingerprints, Header-Reihenfolge und Verhaltensbewertung laufen weiter und entscheiden weiterhin, was mit unsigniertem Verkehr passiert. Was sich ändert: Ein signierter, registrierter Agent kann das meiste davon überspringen, weil die teure Frage "ist das wirklich, wer es zu sein behauptet" bereits billig beantwortet ist.

Also teilt sich die Population. Signierte Agenten bekommen eine schnelle Spur. Alle anderen treffen auf dieselbe eskalierende Wand wie zuvor, nur dass der Betreiber jetzt weniger Aufmerksamkeit darauf verwendet, zwischen ihnen zu unterscheiden.

Identität ist keine Berechtigung

Eine geprüfte Signatur beweist, wer fragt. Sie sagt nichts darüber, ob die Seite herausgegeben wird. Das sind getrennte Entscheidungen, und sie zu vermengen ist das häufigste Missverständnis dieser Technik. Ein Publisher kann Ihre Identität einwandfrei prüfen und Sie trotzdem abweisen, Ihnen etwas berechnen oder eine reduzierte Fassung ausliefern. Web Bot Auth macht die Absage präzise statt wahrscheinlichkeitsbehaftet.

Ein Schlüssel ist ein Allowlist-Eintrag, und Allowlists haben Eigentümer

In der Praxis heißt geprüft zu sein, von einem Gatekeeper anerkannt zu sein, und die Betreiber dieser Programme sind dieselben, die ohnehin schon entscheiden, was ein Origin erreicht. Der Registrierungsweg führt durch das Programm des Betreibers, und die Genehmigung liegt bei ihm. Das verschiebt spürbar, wer entscheidet, welcher automatisierte Verkehr legitim ist, und rückt diese Entscheidung weiter weg vom Publisher, um dessen Inhalte es geht, und näher an die Infrastruktur davor.

Die praktische Lage für die nächsten Jahre

Wer einen großen, benannten Crawler mit einer öffentlichen Identität betreibt, für den ist Signieren unkompliziert und lohnend: Schlüssel erzeugen, Verzeichnis veröffentlichen, sich bei den Programmen registrieren, die für die eigenen Ziele zählen.

Wer öffentliche Daten in gewöhnlichem Umfang sammelt und kein bekannter Name ist, für den lautet die ehrliche Lesart: Die signierte Spur steht praktisch nicht offen, und die unsignierte wird enger. Zwischen diesen beiden Tatsachen verschieben sich die Kosten, eine Seite zuverlässig zu bekommen, weg von cleverer Arbeit im Client und hin zu Infrastruktur, die den Zugang bereits löst.

Fazit

Das Web bekommt eine Identitätsschicht für automatisierten Verkehr, und sie kam auf gewöhnlichem Weg: ein Draft, eine Hersteller-Implementierung und ein Geschäftsmodell, das sie brauchte. Die Kryptografie ist unauffällig. Die Folge ist es nicht.

Zwei Jahrzehnte lang lautete die Frage am Edge "sieht das nach einem Bot aus?". Sie wird zu "ist dieser Bot der, für den er sich ausgibt, und haben wir eine Vereinbarung?". Das ist die bessere Frage, ehrlich gestellt. Es ist auch eine Frage, die nur dann eine gute Antwort hat, wenn man bereits jemand ist, und genau darüber ist die Branche noch nicht fertig mit Streiten.

Beobachten Sie den Draft, nicht die Berichterstattung. Wenn ihn eine Arbeitsgruppe übernimmt, wenn ein zweiter unabhängiger Prüfer ausliefert und wenn der erste Publisher einen Preis setzt, den ein Crawler tatsächlich zahlt, dann wird sich die Form der nächsten Jahre an diesen drei Ereignissen ablesen lassen.

Häufig gestellte Fragen

Ist Web Bot Auth ein verabschiedeter Internetstandard?

Noch nicht. Am 18. August 2026 ist das Protokolldokument draft-meunier-webbotauth-httpsig-protocol-02, ein individueller Internet-Draft und kein von einer Arbeitsgruppe übernommener, und Internet-Drafts sind ausdrücklich laufende Arbeiten. Das zugrunde liegende Signaturformat, RFC 9421, ist ein veröffentlichter Standard. Die Schicht darüber, die sagt, was Bots signieren und wie Prüfer Schlüssel finden sollen, bewegt sich noch.

Worin unterscheidet sich das von einer Reverse-DNS-Prüfung?

Die Reverse-DNS-Prüfung fragt, ob die verbindende Adresse der Organisation gehört, die der Crawler behauptet zu sein. Das ist ein Schluss aus Netzbesitz, er bricht also, sobald Adressen gemietet, delegiert oder neu vergeben werden, und er wandert nicht über Netze hinweg. Eine Signatur ist Evidenz über den Request selbst: Nur der Inhaber des privaten Schlüssels konnte sie erzeugen, von jeder Adresse aus.

Erlaubt eine Signatur einem Crawler, Anti-Bot-Systeme zu umgehen?

Nur in dem Sinne, dass sie eine Frage beantwortet, die diese Systeme sonst erraten müssen. Ein geprüfter Agent steht weiterhin vor der Richtlinie des Betreibers, die erlauben, drosseln, berechnen oder ablehnen kann. Signieren beseitigt die Unklarheit über die Identität, nicht das Recht des Betreibers, Nein zu sagen.

Lässt sich eine Signatur wiedereinspielen?

Nicht sinnvoll, wenn sie richtig gebaut ist. Der Signierer muss @authority oder @target-uriabdecken, eine abgefangene Signatur überträgt sich also nicht auf einen anderen Host, und der Draft empfiehlt eine Gültigkeit von höchstens 24 Stunden, was das Fenster begrenzt, in dem ein Replay überhaupt lohnt.

Was passiert mit Crawlern, die nicht signiert sind?

Dasselbe wie heute, nur mit weniger Geduld. Unsignierter Verkehr trifft weiterhin auf Fingerprinting, Verhaltensbewertung und Challenges, und je mehr legitimer automatisierter Verkehr in die signierte Spur wechselt, desto einheitlicher verdächtig wirkt die unsignierte Population auf die Systeme, die sie beurteilen.

Sollte ich das jetzt umsetzen?

Wenn Sie einen benannten Crawler betreiben, dessen Identität Teil Ihres Produkts ist, ja: Die Mechanik ist ein Schlüsselpaar und ein JSON-Dokument, und früh dran zu sein ist billig. Wenn Sie öffentliche Daten in gewöhnlichem Umfang konsumieren, bringt die Client-Seite allein nichts, denn der Wert liegt darin, von einem Programm anerkannt zu werden, nicht darin, eine gültige Signatur zu erzeugen. Verfolgen Sie den Draft und beobachten Sie, welche Prüfer ausliefern.

VP

Viktor Petrov

Data-Science-Architekt · Crawlbase

Data-Science-Architekt bei Crawlbase. Arbeitet an den Modellen, die groß angelegtes Crawling auch gegen moderne Bot-Abwehr zuverlässig halten.