Docs
Anmelden

Scraper API

Sparen Sie sich das Parsen. Wählen Sie einen Scraper, richten Sie ihn auf eine URL und erhalten Sie sauberes, strukturiertes JSON zurück. Scraper decken Amazon, Google, LinkedIn, Instagram, eBay und viele weitere ab.

Migrieren Sie zur Crawling API mit &scraper=name

Dieselben Scraper, einfacherer Endpoint, mehr Parameter. Die eigenständige Scraper API ist seit dem 1. Oktober 2024 für Neuanmeldungen geschlossen - bestehende Integrationen funktionieren weiterhin, eine Abschaltung ist nicht geplant, und die Migration ist eine einzeilige URL-Änderung.

Endpoint

GEThttps://api.crawlbase.com/scraper?token=YOUR_TOKEN&url=ENCODED_URL&scraper=NAME
# Identical to the Crawling API, plus a required `scraper` parameter.
# Returns parsed JSON instead of raw HTML.

Schnellstart - Amazon-Produkt

curl 'https://api.crawlbase.com/scraper?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/B08N5WRWNW' \
  --data-urlencode 'scraper=amazon-product-details' -G
from crawlbase import ScraperAPI

api = ScraperAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.amazon.com/dp/B08N5WRWNW',
    {'scraper': 'amazon-product-details'}
)
import json
data = json.loads(res['body'])
print(data['name'], data['price'])
const { ScraperAPI } = require('crawlbase');
const api = new ScraperAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.amazon.com/dp/B08N5WRWNW',
  { scraper: 'amazon-product-details' }
);
const data = JSON.parse(res.body);
console.log(data.name, data.price);

Beispielantwort:

{
  "name": "Echo Dot (4th Gen) | Smart speaker with Alexa",
  "asin": "B08N5WRWNW",
  "brand": "Amazon",
  "price": "$49.99",
  "availability": "In Stock",
  "rating": 4.7,
  "reviews_count": 412903,
  "main_image": "https://m.media-amazon.com/images/I/61MZi+B-OBL.jpg",
  "images": ["…"],
  "features": ["Meet the all-new Echo Dot…"],
  "description": "Our most popular smart speaker…"
}

Scraper-Katalog

Ein repräsentativer Ausschnitt der verfügbaren Scraper. Übergeben Sie den Scraper-Namen als scraper-Parameter.

Amazon

ScraperLiefert
amazon-product-detailsProduktseite: Name, Preis, Bewertungen, Bilder, Merkmale
amazon-search-resultsSuchergebnisseite: Produkte, Paginierung, Filter
amazon-reviewsRezensionsseite mit Bewertung, Autor, Datum, Text, Hilfreich-Zählern
amazon-bestsellersBest-Sellers-Listen sortiert nach Kategorie
amazon-questionsKunden-Q&A-Bereich

Google

ScraperLiefert
google-serpSuchergebnisse: organisch, Anzeigen, Knowledge Panel, verwandte Suchen
google-shoppingShopping-Tab-Einträge mit Händler, Preis, Bewertung
google-newsNews-Tab-Ergebnisse mit Quelle, Snippet, Zeit
google-mapsOrtsseite: Name, Adresse, Öffnungszeiten, Bewertungen, Rezensionen
google-scholarAkademische Suchergebnisse mit Zitationen

Soziale Netzwerke

ScraperLiefert
linkedin-profileÖffentliche Profildaten: Berufserfahrung, Ausbildung, Skills
linkedin-companyUnternehmensseite: Größe, Branche, Hauptsitz
instagram-profileProfil-Metadaten, aktuelle Posts, Follower-Anzahl
tiktok-profileTikTok-Nutzerprofil und aktuelle Videos
youtube-channelKanal-Metadaten, Abonnentenzahl, aktuelle Uploads

Weitere Marktplätze

ScraperLiefert
ebay-product-detailseBay-Listing-Daten
walmart-productWalmart-Produktseite
yelp-businessYelp-Unternehmenseintrag mit Rezensionsübersicht
booking-hotelBooking.com-Hotelseite mit Preisen und Ausstattung
tripadvisor-attractionTripAdvisor-Sehenswürdigkeitenseite
Sie finden nicht, was Sie brauchen?

Der vollständige Katalog ist in Ihrem Dashboard verfügbar. Neue Scraper kommen monatlich hinzu. Schreiben Sie uns eine E-Mail, wenn Sie einen Custom Scraper für eine noch nicht abgedeckte Site benötigen.

Automatische Erkennung mit autoparse

Wenn Sie die URL kennen, aber den passenden Scraper-Namen nicht heraussuchen möchten, verwenden Sie autoparse=true am Standard-Endpoint der Crawling API. Wir erkennen den Seitentyp und wenden den passenden Scraper automatisch an.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/B08N5WRWNW' \
  --data-urlencode 'autoparse=true' -G

# Crawlbase recognizes the Amazon URL and auto-applies amazon-product-details

Parameter

Der Scraper API-Endpoint akzeptiert dieselbe Struktur wie die Crawling API, beschränkt auf die fünf unten aufgeführten Parameter sowie den scraper-Namen. Für ausführlichere Hinweise zu den gemeinsamen Parametern ist die Crawling API-Referenz maßgeblich - diese Liste ist die eigenständige Referenz für den Legacy-Endpoint /scraper.

token
stringerforderlich
Ihr privater Crawlbase token. Der Normal token ist der Standard; verwenden Sie den JavaScript token in Kombination mit javascript=true.
url
stringerforderlich
Ziel-URL zum Scrapen. Muss mit http oder https beginnen und vollständig URL-kodiert sein.
scraper
stringerforderlich
Name des anzuwendenden Scrapers. Den unterstützten Umfang finden Sie im Katalog oben.
country
ISO 3166optional
Lokalisieren Sie die Anfrage geografisch über ein bestimmtes Land (z. B. US, GB, DE). Die Länderverfügbarkeit ist tarifabhängig; die vollständige Länderliste finden Sie in der Crawling API Parameter-Referenz.
javascript
booleanfalse
Rendert die Seite vor dem Scrapen in einem echten Chrome-Browser. Setzen Sie javascript=true für SPAs und JS-gerenderte Seiten. Kostet 2 Credits pro Request; erfordert den JavaScript token, nicht den Normal token.
premium
booleanfalse
Leitet die Anfrage über das Premium-Residential-Netzwerk von Crawlbase für anspruchsvollere Anti-Bot-Ziele. Kostet 10 Credits pro Request, oder 20 Credits in Kombination mit javascript=true. Tarifabhängig.

Scraper-spezifische Fehler

CodeBedeutung
422Unbekannter Scraper-Name. Überprüfen Sie die Schreibweise anhand des Katalogs.
423Die URL entspricht nicht dem erwarteten Muster des Scrapers (z. B. amazon-product-details bei einer Nicht-Produkt-URL).
425Die Seitenstruktur hat sich geändert und der Scraper konnte keine Daten extrahieren. Wird automatisch gemeldet; üblicherweise innerhalb weniger Stunden behoben.