crawlbaseDocs
Anmelden

Übersicht

Suchmaschinen-Scraper verwandeln eine Google- oder Bing-Ergebnisseite in strukturiertes JSON: organische Einträge, Anzeigen, Knowledge Panel, verwandte Suchanfragen und "Ähnliche Fragen" - alle Oberflächen, ein Parser, eine Rechnung. Der Browser-Tanz (Consent-Walls, JS-Rendering, Anti-Bot, Geo-Routing) läuft serverseitig ab; Sie erhalten die geparste Struktur direkt.

Typische Anwendungsfälle:

  • Rank-Tracking: eine Liste von Keywords täglich überwachen, die Position Ihrer Domain (und der Ihrer Wettbewerber) in organic[].url speichern und bei Bewegung alarmieren.
  • SERP-Feature-Monitoring: erkennen, wann Google eine "Ähnliche Fragen"-Box, ein Knowledge Panel oder eine AI Overview hervorhebt, die organische Treffer unter die Falz drückt.
  • SEO-Recherche: related_searches und people_also_ask für die Content-Gap-Analyse ernten, ohne ein Drittanbieter-SaaS zu abonnieren.
  • KI-Trainingsdatensätze: einen Korpus aus "Was Google für Query X zeigt"-Snapshots für Retrieval-Augmented Generation und Answer-Engine-Evaluierungen aufbauen.

Geo und Sprache sind explizit: Übergeben Sie country + language in der Anfrage, und der Scraper trifft die richtige Google-Domain (z. B. google.de für country=DE), sodass die SERP, die Sie sehen, dem entspricht, was ein Nutzer in diesem Markt sieht. Kombinieren Sie ihn mit dem Smart Proxy, wenn Sie Sticky-Session-Pagination über tiefe Ergebnisseiten hinweg benötigen.

Google

Vollständige Google-SERP - organische Treffer, Anzeigen, Snippets, verwandte Suchanfragen und "Ähnliche Fragen". Der meistgenutzte Scraper im Katalog; passt natürlich zu den E-Commerce-*-product-details-Scrapern, wenn Sie eine Discovery → Enrichment-Pipeline brauchen.

  • Google SERP - Google-Suchergebnisseite - organische Treffer, Anzeigen, Knowledge Panel, verwandte Suchanfragen.

Bing

Bing-Suchergebnisseite. Nützlich, wenn Sie eine zweite Datenquelle für die SEO-Recherche brauchen, oder wenn Ihre Zielgruppe eher Enterprise/Windows ist, wo der Bing-Anteil deutlich höher ist, als sein Gesamtmarktanteil vermuten lässt.

Beispielaufruf

Nachfolgend: ein einzelner google-serp-Aufruf. Übergeben Sie country und language zusammen mit der URL, wenn Sie den regionalen Storefront brauchen - Google leitet seine SERP sowohl über Ihren IP-Standort als auch über Ihre hl/gl-URL-Parameter, daher setzen wir sie explizit.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.google.com/search?q=samsung+social+accounts' \
  --data-urlencode 'scraper=google-serp' \
  --data-urlencode 'country=US' -G

Beispielantwort

{
  "query": "samsung social accounts",
  "results": [
    {
      "title": "Samsung Mobile (@SamsungMobile) / X",
      "url": "https://x.com/SamsungMobile",
      "snippet": "The official Samsung Mobile X account…"
    }
  ],
  "related_searches": ["samsung instagram", "samsung official tiktok"],
  "people_also_ask": [
    {
      "question": "Does Samsung have a TikTok?",
      "answer": "Yes, Samsung is on TikTok at @samsung."
    }
  ]
}

Vollständige Referenz (Parameter, alle 4 SDK-Sprachen, Sonderfälle): Google SERP - vollständige Referenz