Artikel auf refinery29.com scrapen

Über refinery29.com

refinery29.com beschreibt sich selbst als „Wo Stil auf Substanz trifft: täglich Mode, Unterhaltung, Nachrichten und Wellness“.

Die Startseite deklariert 5 Sprachen: en-au, fr, en-ca, de, en-gb.

Die Sitemaps führen 567 URLs in 19 Dateien. 514 der 567 datierten Einträge haben sich in den letzten 30 Tagen geändert, der neueste am 26 Aug 2026.

Die robots.txt nennt 1 Sitemap und sperrt 12 Pfade, darunter /api/, /shops/, /sweeps/. Sie bittet Crawler um 1s Pause zwischen Requests.

Gemessen auf Crawlbase

Erfolgsquote über jeden Request jedes Accounts im August 2026: 99.9%. Muster, Länder und Fehler stammen aus dem Request-Log seit 14 Aug 2026; 0.0% der erfolgreichen Aufrufe nutzten den JavaScript-Token, die mittlere Antwort dauerte 5.7s.

Unter den 74 Nachrichten und Medien-Websites im Cookbook steht refinery29.com nach Erfolgsrate auf Platz 14 von 74; der Median der Kategorie liegt bei 98.9%. Die mittlere Antwort von 5.7s ist langsamer als der Kategorie-Median von 2.3s. 58 der 74 nehmen den einfachen Token an, diese Website auch.

Der Call

Artikelseiten sind die Form, die die Accounts hier am häufigsten abrufen, mit dem Land und dem Token, die am häufigsten Erfolg haben. Ersetzen Sie den Platzhalterpfad durch eine echte Artikel-URL der Website.

curl "https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fwww.refinery29.com%2Fen-us%2Fkitten-scents"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})

r = api.get('https://www.refinery29.com/en-us/kitten-scents')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const r = await api.get('https://www.refinery29.com/en-us/kitten-scents');

Parameter, die zählen

URL-Muster, die Accounts abrufen

Felder, die Sie bekommen

Strukturierte Daten, die Crawlbase auf refinery29.com gefunden hat, nach Seitentyp. Das sind die schema.org-Typen in der Seite, die Felder, die Ihr Parser direkt aus dem JSON-LD-Block lesen kann:

• Startseite: Organization, WebPage, WebSite
• Detailseite: WebPage, WebSite, ImageObject, Product
• Sonstige: WebPage, WebSite, Article, BreadcrumbList, ImageObject, Person, Product

Was kaputtgeht, und die Lösung

Nach Zeitplan ausführen

Nachrichten bewegen sich stündlich. Fragen Sie das Ressort oder die Sitemap nach neuen Links ab und übergeben Sie die Artikel-URLs dann mit Callback an den Crawler, damit die Abrufe getaktet werden. Die mittlere Antwort auf dieser Website liegt bei 5.7s.

Fragen

Weitere Seiten auf refinery29.com

Seiten, die refinery29.com in den eigenen Sitemaps führt, am 6 Sep 2026 von Crawlbase abgerufen und in 2 aufeinanderfolgenden Läufen bestätigt. Jede Zeile ist der günstigste Call, der die Seite mit Inhalt zurückgab.