Wie die Zahlen gezählt werden

Was als Erfolg zählt

Crawlbase speichert eine Zeile pro Request. Ein Request ist ein Erfolg, wenn Crawlbase mit cb_status 200, 207, 227 oder 228 geantwortet hat und die Website selbst mit 200, 201, 204, einer Weiterleitung (301, 302, 303, 307 oder 308), 404 oder 410. Alles andere ist ein Fehler.

Ein 404 für ein Produkt, das die Website entfernt hat, zählt daher als Erfolg: Der Request hat die Website erreicht und die Website hat geantwortet. Eine Blockseite, eine Challenge, die nicht gelöst werden konnte, ein Timeout oder ein interner Fehler zählen als Fehler. Die Erfolgsrate ist Erfolge geteilt durch Erfolge plus Fehler.

Welche Requests gezählt werden

Alle. Jeder Request von jedem Account, über die Crawling API, den Crawler und den Smart AI Proxy, in einem Kalendermonat. Keine Stichprobe, kein Ausschluss von Accounts oder Wiederholungen. Der Monat steht auf jeder Seite; die Zahlen werden aktualisiert, sobald der nächste Monat abgeschlossen ist.

Websites werden über ihren registrierbaren Namen ohne Endung geführt, so wie die Zähler sie speichern, sodass idealo.de, idealo.es und idealo.co.uk eine Website sind. Die auf einer Seite gezeigte Domain ist die, die Accounts am häufigsten abrufen.

Was Browser-Anteil bedeutet

Jeder Request wird entweder mit einem normalen Token oder einem JavaScript-Token gestellt. Der Browser-Anteil ist der Anteil erfolgreicher Requests mit dem JavaScript-Token. Er sagt, wie die Accounts die Website abgerufen haben, nicht, was die Website zwingend braucht; das sagt das Rezept. "Nein" bedeutet unter 5%, "Ja" über 95%, alles dazwischen wird als Anteil gezeigt.

Stufen und Credits

Jede Website liegt in einer Preisstufe. Eine Standard-Seite kostet einen Credit; andere Stufen multiplizieren das: moderat 1.5, komplex 2, komplex I 3, komplex II 4.5, extrem 9, extrem I 13.5, extrem II 20. Gezeigt wird die Stufe, die am Tag der Seitenerstellung galt. Ein JavaScript-Request kostet den Stufenpreis plus den Browser-Aufschlag, der auf der Preisseite beschrieben ist.

Wie ein Rezept entsteht

Ein Rezept entsteht aus dem, was die Accounts, die die Website abrufen, tatsächlich senden und zurückbekommen: die URL-Muster, das Land und der Token, die Erfolg haben, die Status, mit denen die Website antwortet, die Latenz. Vier Rezepte wurden zusätzlich von Hand geschrieben. Nichts auf einer Seite ist geraten; jeder Satz nennt die Zahl dahinter. Kein Kunde wird je genannt oder erkennbar.

Aktualisierung

Die Zahlen werden nach Monatsende aus dem vollen Kalendermonat neu berechnet, und jede Seite trägt den Monat, den sie zeigt. Eine Website, die unter die Schwelle fällt, verliert ihre Seite, bis sie sie wieder erreicht.

Welche Websites eine Seite bekommen

Eine Website erscheint im Cookbook, wenn drei oder mehr Accounts sie im Monat mit mindestens tausend Erfolgen abgerufen haben. Hosting- und CDN-Infrastruktur, Banken und Zahlungsmarken, Schulen sowie Personensuch- und Auskunftsdienste bekommen nie eine Seite, egal was die Zahlen sagen.