Anmelden

GitHub SERP

Parsen Sie eine GitHub-Repository-Suchergebnisseite in ein strukturiertes Array von Repositorys mit Stars, Sprache, Topics und Paginierungsinfos.

API-Nutzung

Fügen Sie &scraper=github-serp zu einem Crawling API-Request hinzu. URL-kodieren Sie die Ziel-URL im url-Parameter. Ein Request liefert eine Seite; folgen Sie pagination.next_page_url, um weiterzublättern, bis zum 1000-Ergebnis-Limit von GitHub.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://github.com/search?q=web+scraping&type=repositories' \
  --data-urlencode 'scraper=github-serp' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://github.com/search?q=web+scraping&type=repositories',
    {'scraper': 'github-serp'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://github.com/search?q=web+scraping&type=repositories',
  { scraper: 'github-serp' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://github.com/search?q=web+scraping&type=repositories', scraper: 'github-serp')
data = JSON.parse(res.body)

Beispiel-Eingabe-URL

Die im url-Parameter übergebene URL (zur besseren Lesbarkeit URL-dekodiert):

https://github.com/search?q=web+scraping&type=repositories

Response-Struktur

JSON-Response-Body. Feldtypen können null sein, wenn die Quellseite den Wert nicht enthält.

query
string | null
Suchanfrage, die diese Ergebnisse erzeugt hat.
searchType
string | null
Suchtyp, z. B. repositories.
sort
string | null
Sortierfeld, z. B. stars. Fehlt, wenn nach bester Übereinstimmung sortiert wird.
order
string | null
Sortierrichtung, desc oder asc.
totalResults
integer | null
Angegebene Gesamtzahl der Ergebnisse über alle Seiten.
currentPage
integer
Aktuelle Seitennummer.
pagination
object
Paginierungsinfos zum Durchlaufen der Ergebnismenge.
pagination.current_page
integer
Aktuelle Seitennummer.
pagination.total_pages
integer | null
Höchste Seitennummer, die GitHub für diese Anfrage bereitstellt.
pagination.next_page_url
string | null
Absolute URL der nächsten Seite oder null auf der letzten Seite / beim Ergebnis-Limit.
pagination.previous_page_url
string | null
Absolute URL der vorherigen Seite oder null auf der ersten Seite.
pagination.has_next
boolean
True, solange unterhalb des 1000-Ergebnis-Limits eine nächste Seite existiert.
results
array
Ergebnisse pro Repository (siehe Felder unten).
results[].position
integer
Rang des Ergebnisses auf dieser Seite (1-basiert).
results[].name
string | null
Repository-Name.
results[].owner
string | null
Login des Eigentümers (Benutzer oder Organisation).
results[].fullName
string
Vollständiger owner/name-Bezeichner.
results[].url
string
Absolute Repository-URL.
results[].description
string | null
Repository-Beschreibung.
results[].primaryLanguage
string | null
Primäre Programmiersprache.
results[].stars
integer | null
Anzahl der Stars.
results[].topics
array
Auf der Ergebniskarte angezeigte Topic-Labels.
results[].updatedAt
string | null
Zeitstempel der letzten Aktualisierung oder relative Angabe, sofern vorhanden.
results[].license
string | null
Auf der Ergebniskarte angezeigte Lizenz, sofern vorhanden.
results[].archived
boolean
True, wenn das Repository ein öffentliches Archiv ist.
results[].sponsorable
boolean
True, wenn der Eigentümer gesponsert werden kann.

Beispiel-Response

{
  "query": "web scraping",
  "searchType": "repositories",
  "sort": "stars",
  "order": "desc",
  "totalResults": 133816,
  "currentPage": 1,
  "pagination": {
    "current_page": 1,
    "total_pages": 100,
    "next_page_url": "https://github.com/search?q=web+scraping&type=repositories&s=stars&o=desc&p=2",
    "previous_page_url": null,
    "has_next": true
  },
  "results": [
    {
      "position": 1,
      "name": "scrapy",
      "owner": "scrapy",
      "fullName": "scrapy/scrapy",
      "url": "https://github.com/scrapy/scrapy",
      "description": "Scrapy, a fast high-level web crawling & scraping framework for Python.",
      "primaryLanguage": "Python",
      "stars": 63119,
      "topics": ["python", "crawler", "framework", "scraping", "crawling"],
      "updatedAt": null,
      "license": null,
      "archived": false,
      "sponsorable": false
    }
  ]
}