business-Seiten auf theguardian.com scrapen
Der Aufruf, der heute business-Seiten von theguardian.com liefert, mit den Parametern, Mustern und Fehlerbildern aus dem Request-Log seit 14 Aug 2026. Zuletzt getestet am 6 Sep 2026.
Über theguardian.com
theguardian.com beschreibt sich selbst als „Neueste internationale Nachrichten, Sport und Kommentare vom Guardian“.
Die Sitemaps führen 374 URLs in 2 Dateien (news, video). 374 der 374 datierten Einträge haben sich in den letzten 30 Tagen geändert, der neueste am 6 Sep 2026.
Die robots.txt nennt 2 Sitemaps und sperrt 12 Pfade, darunter /sendarticle/, /users/, /email/.
Gemessen auf Crawlbase
Erfolgsquote über jeden Request jedes Accounts im August 2026: 99.8%. Muster, Länder und Fehler stammen aus dem Request-Log seit 14 Aug 2026; 27.9% der erfolgreichen Aufrufe nutzten den JavaScript-Token, die mittlere Antwort dauerte 4.8s.
Unter den 74 Nachrichten und Medien-Websites im Cookbook steht theguardian.com nach Erfolgsrate auf Platz 16 von 74; der Median der Kategorie liegt bei 98.9%. Die mittlere Antwort von 4.8s ist langsamer als der Kategorie-Median von 2.3s. 58 der 74 nehmen den einfachen Token an; diese Website nur auf manchen Seiten.
Der Call
Artikelseiten sind die Form, die die Accounts hier am häufigsten abrufen, mit dem Land und dem Token, die am häufigsten Erfolg haben. Ersetzen Sie den Platzhalterpfad durch eine echte Artikel-URL der Website.
curl "https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fwww.theguardian.com%2Fbusiness%2F1234567%2Fexample-page"from crawlbase import CrawlingAPI api = CrawlingAPI({'token': 'YOUR_TOKEN'}) r = api.get('https://www.theguardian.com/business/1234567/example-page') html = r['body']
const { CrawlingAPI } = require('crawlbase'); const api = new CrawlingAPI({ token: 'YOUR_TOKEN' }); const r = await api.get('https://www.theguardian.com/business/1234567/example-page');
Parameter, die zählen
| Parameter | Wert | Warum |
|---|---|---|
country | nicht setzen | Die meisten erfolgreichen Calls setzen kein country (88.0%) und sind zu 100% erfolgreich. |
javascript | nicht setzen | Calls mit normalem Token sind zu 100% erfolgreich, Calls mit JavaScript-Token zu 99.6%. Beides funktioniert; beginnen Sie ohne Browser und wechseln Sie pro URL-Muster dort, wo die Tabelle unten es zeigt. |
URL-Muster, die Accounts abrufen
| Muster | Anteil der Erfolge | JavaScript-Token | Country | Query-Parameter |
|---|---|---|---|---|
/business/{id}/{slug} | 12.3% | 0.0% | keine | keine |
/world/{id}/{slug} | 11.5% | 4.3% | keine | keine |
/us-news/{id}/{slug} | 10.5% | 4.8% | keine | keine |
/technology/{id}/{slug} | 7.5% | 6.7% | keine | keine |
/football/{id}/{slug} | 6.0% | 66.7% | keine | keine |
/football/{slug}/{id} | 5.5% | 95.5% | keine | page |
/australia-news/{id}/{slug} | 5.0% | 0.0% | keine | keine |
/{slug}/{id}/{slug} | 3.5% | 7.1% | keine | keine |
Felder, die Sie bekommen
Strukturierte Daten, die Crawlbase auf theguardian.com gefunden hat, nach Seitentyp. Das sind die schema.org-Typen in der Seite, die Felder, die Ihr Parser direkt aus dem JSON-LD-Block lesen kann:
- Detailseite:
NewsArticle, WebPage
Was kaputtgeht, und die Lösung
Bei den Fehlern seit 14 Aug 2026 hat die Website geantwortet mit:
Nach Zeitplan ausführen
Nachrichten bewegen sich stündlich. Fragen Sie das Ressort oder die Sitemap nach neuen Links ab und übergeben Sie die Artikel-URLs dann mit Callback an den Crawler, damit die Abrufe getaktet werden. Die mittlere Antwort auf dieser Website liegt bei 4.8s.
Fragen
Brauche ich einen Browser, um theguardian.com zu scrapen?
Das hängt von der Seite ab. Calls mit normalem Token sind zu 100% erfolgreich, Calls mit JavaScript-Token zu 99.6%; die Tabelle der URL-Muster zeigt, welche Pfade Accounts mit Browser abrufen.
Was kostet eine theguardian.com-Seite auf Crawlbase?
1 Credit ohne Browser. theguardian.com liegt in der Stufe standard.
Welches country sollte ich für theguardian.com setzen?
Keines nötig: Die meisten erfolgreichen Calls lassen es ungesetzt.
Weitere Seiten auf theguardian.com
Seiten, die theguardian.com in den eigenen Sitemaps führt, am 6 Sep 2026 von Crawlbase abgerufen und in 2 aufeinanderfolgenden Läufen bestätigt. Jede Zeile ist der günstigste Call, der die Seite mit Inhalt zurückgab.
| Seite | Beispiel | Token | Land | Median |
|---|---|---|---|---|
Startseite/ | theguardian.com/ | Einfach | keine | 4.6s |
Detailseite/{slug}/video/{id}Strukturierte Daten: NewsArticle, WebPage | keine | Einfach | keine | 2.1s |