Artikel auf foreignaffairs.com scrapen

Gemessen auf Crawlbase

Erfolgsquote über jeden Request jedes Accounts im August 2026: 99.7%. Muster, Länder und Fehler stammen aus dem Request-Log seit 14 Aug 2026; 99.9% der erfolgreichen Aufrufe nutzten den JavaScript-Token, die mittlere Antwort dauerte 51.7s.

Unter den 74 Nachrichten und Medien-Websites im Cookbook steht foreignaffairs.com nach Erfolgsrate auf Platz 18 von 74; der Median der Kategorie liegt bei 98.9%. Die mittlere Antwort von 51.7s ist langsamer als der Kategorie-Median von 2.3s. 58 der 74 nehmen den einfachen Token an; diese Website braucht den JavaScript-Token.

Der Call

Artikelseiten sind die Form, die die Accounts hier am häufigsten abrufen, mit dem Land und dem Token, die am häufigsten Erfolg haben. Ersetzen Sie den Platzhalterpfad durch eine echte Artikel-URL der Website.

curl "https://api.crawlbase.com/?token=YOUR_JS_TOKEN&url=https%3A%2F%2Fwww.foreignaffairs.com%2Funited-states%2Fexample-page"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_JS_TOKEN'})

r = api.get('https://www.foreignaffairs.com/united-states/example-page')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_JS_TOKEN' });

const r = await api.get('https://www.foreignaffairs.com/united-states/example-page');

Parameter, die zählen

URL-Muster, die Accounts abrufen

Felder, die Sie bekommen

Eine Artikelseite trägt Überschrift, Datum und Autor, meist in einem ld+json-Article-Block, und den Text im HTML. Der Block nennt oft auch das Ressort.

Was kaputtgeht, und die Lösung

Bei den Fehlern seit 14 Aug 2026 hat die Website geantwortet mit:

Nach Zeitplan ausführen

Nachrichten bewegen sich stündlich. Fragen Sie das Ressort oder die Sitemap nach neuen Links ab und übergeben Sie die Artikel-URLs dann mit Callback an den Crawler, damit die Abrufe getaktet werden. Die mittlere Antwort auf dieser Website liegt bei 51.7s.

Fragen