crawlbaseDocs
Anmelden

Kaggle Dataset Search

Parsen Sie eine Kaggle-Datensatz-Such- oder Listenseite in strukturiertes JSON mit einer Zeile pro Datensatz, einschließlich Eigentümer, Größe, Usability-Bewertung, Downloads und Notebook-Anzahl.

API-Nutzung

Fügen Sie &scraper=kaggle-dataset-serp zu einem Crawling API-Request hinzu. URL-kodieren Sie die Ziel-URL im url-Parameter.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.kaggle.com/datasets?search=heart+disease' \
  --data-urlencode 'scraper=kaggle-dataset-serp' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.kaggle.com/datasets?search=heart+disease',
    {'scraper': 'kaggle-dataset-serp'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.kaggle.com/datasets?search=heart+disease',
  { scraper: 'kaggle-dataset-serp' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://www.kaggle.com/datasets?search=heart+disease', scraper: 'kaggle-dataset-serp')
data = JSON.parse(res.body)

Beispiel-Eingabe-URL

Im url-Parameter funktioniert jede Kaggle-Datensatz-Such- oder Listenseite - die Seite unter /datasets, mit oder ohne Query-String. Zum Beispiel:

https://www.kaggle.com/datasets?search=heart+disease
https://www.kaggle.com/datasets?search=nlp&fileType=csv
https://www.kaggle.com/datasets
https://www.kaggle.com/datasets?search=weather&page=2

Response-Struktur

JSON-Response-Body. Feldtypen können null sein, wenn die Quellseite den Wert nicht enthält.

url
string
URL der gescrapten Suchseite.
query
string | null
Suchbegriff, den Kaggle tatsächlich ausgeführt hat, gelesen aus dem gerenderten Suchfeld und ersatzweise aus der Request-URL.
totalCount
integer | null
Gesamtzahl der zur Suche passenden Datensätze über alle Seiten hinweg, oder null, wenn die Seite keine Gesamtzahl angibt.
page
integer | null
Aktuelle Seitenzahl, oder null, wenn sie nicht bestimmt werden kann.
hasNextPage
boolean
Ob eine weitere Ergebnisseite verfügbar ist.
resultCount
integer
Anzahl der auf dieser Seite zurückgegebenen Zeilen.
results
array
Datensatz-Zeilen in der Reihenfolge, in der sie auf der Seite erscheinen.
results[].position
integer
Bei 1 beginnender Rang der Zeile innerhalb dieser Seite.
results[].title
string | null
Anzeigetitel des Datensatzes.
results[].url
string | null
Absolute URL der Datensatzseite.
results[].slug
string | null
Datensatz-Kennung in der Form owner/dataset, gelesen aus dem URL-Pfad.
results[].owner
object
Account, der den Datensatz veröffentlicht.
results[].owner.name
string | null
Anzeigename des Eigentümers.
results[].owner.url
string | null
Absolute URL des Eigentümerprofils.
results[].thumbnail
string | null
Bild-URL der Datensatzkarte. Kaggle liefert sie als CSS-Hintergrund statt als Image-Tag aus, daher wird sie aus dem Inline-Style gelesen.
results[].lastUpdated
string | null
Absoluter Zeitstempel der letzten Aktualisierung des Datensatzes. Die Karte zeigt nur ein relatives Alter, daher wird der Wert aus dem dahinterliegenden Tooltip übernommen und behält die Kaggle-Formatierung statt ISO 8601 bei.
results[].usabilityRating
number | null
Kaggle-Usability-Score für den Datensatz, von 0 bis 10.
results[].fileCount
integer | null
Anzahl der Dateien im Datensatz.
results[].fileFormat
string | null
Auf der Karte angezeigte Dateiformat-Bezeichnung (zum Beispiel CSV).
results[].size
string | null
Gesamtgröße des Datensatzes wie angezeigt, inklusive Einheiten (zum Beispiel 6 kB). Kaggle gibt die exakte Byte-Anzahl in der Listenansicht nicht preis.
results[].downloads
integer | null
Anzahl der Downloads. Kaggle kürzt Zahlen über tausend auf Karten ab (zum Beispiel 362K); der Wert wird wieder zu einer exakten Ganzzahl expandiert und ist null, wenn die Karte die Zahl nicht enthält.
results[].notebookCount
integer | null
Anzahl der öffentlichen Notebooks, die auf dem Datensatz aufbauen, expandiert aus derselben abgekürzten Form wie downloads.
results[].votes
integer | null
Anzahl der Upvotes für den Datensatz.
results[].medal
string | null
Kaggle-Medaille für den Datensatz (zum Beispiel bronze), oder null, wenn die Zeile keine trägt.

Beispiel-Response

{
  "url": "https://www.kaggle.com/datasets?search=heart+disease",
  "query": "heart disease",
  "totalCount": 1628,
  "page": 1,
  "hasNextPage": true,
  "resultCount": 20,
  "results": [
    {
      "position": 1,
      "title": "Heart Disease Dataset",
      "url": "https://www.kaggle.com/datasets/johnsmith88/heart-disease-dataset",
      "slug": "johnsmith88/heart-disease-dataset",
      "owner": {
        "name": "David Lapp",
        "url": "https://www.kaggle.com/johnsmith88"
      },
      "thumbnail": "https://storage.googleapis.com/kaggle-datasets-images/216167/469115/23af5a37ef4e938b2c9a1b97662c3efc/dataset-thumbnail.jpg?t=2019-06-04-03-29-56",
      "lastUpdated": "Thu Jun 06 2019 17:33:55 GMT+0200 (Central European Summer Time)",
      "usabilityRating": 8.8,
      "fileCount": 1,
      "fileFormat": "CSV",
      "size": "6 kB",
      "downloads": 362000,
      "notebookCount": 984,
      "votes": 1859,
      "medal": "gold"
    },
    {
      "position": 2,
      "title": "Heart Disease",
      "url": "https://www.kaggle.com/datasets/oktayrdeki/heart-disease",
      "slug": "oktayrdeki/heart-disease",
      "owner": {
        "name": "Oktay Ördekçi",
        "url": "https://www.kaggle.com/oktayrdeki"
      },
      "thumbnail": "https://storage.googleapis.com/kaggle-datasets-images/6393782/10326308/95bfd024a1dc7d059e7b6f3632ed37c9/dataset-thumbnail.png?t=2024-12-29-13-32-57",
      "lastUpdated": "Sun Dec 29 2024 14:26:49 GMT+0100 (Central European Standard Time)",
      "usabilityRating": 10,
      "fileCount": 1,
      "fileFormat": "CSV",
      "size": "582 kB",
      "downloads": 22700,
      "notebookCount": 48,
      "votes": 179,
      "medal": "bronze"
    }
  ]
}