Web Scraping ruft Daten von Websites ab, erfordert aber oft die Erstellung komplexer Logik, um saubere, strukturierte Informationen zu extrahieren. Mit Gemini AI wird dieser Prozess einfacher und schneller. Gemini kann mithilfe natürlicher Sprache wichtige Details aus Rohinhalten verstehen und extrahieren. Es ist ein hervorragendes Tool für intelligentes Scraping.

In diesem Blog erfahren Sie Schritt für Schritt, wie Sie Gemini AI für Web Scraping in Python nutzen. Wir führen Sie durch die Einrichtung der Umgebung, das Extrahieren von HTML, die Bereinigung und überlassen Gemini die Hauptarbeit. Egal, ob Sie einen kleinen Scraper erstellen oder skalieren – dieser Leitfaden erleichtert Ihnen den Einstieg in KI-gestütztes Scraping.

Inhaltsverzeichnis

  1. Was ist Gemini AI und warum sollte man es für Web Scraping verwenden?
  2. Einrichten der Umgebung
  • Python installieren
  • Erstellen einer virtuellen Umgebung
  • Konfigurieren Sie Gemini
  1. Schritt-für-Schritt-Anleitung zum Erstellen eines Gemini-basierten Web Scrapers
  • Senden der HTTP-Anforderung
  • Extrahieren bestimmter Abschnitte mit BeautifulSoup
  • Konvertieren von HTML in Markdown für KI-Effizienz
  • Senden des bereinigten Markdowns zur Datenextraktion an Gemini
  • Exportieren der Ergebnisse im JSON-Format
  1. Herausforderungen und Einschränkungen von Gemini AI beim Web Scraping
  2. Wie Crawlbase Smart Proxy Kann Ihnen beim Skalieren helfen
  3. Abschließende Überlegungen
  4. Häufig gestellte Fragen

Was ist Gemini AI und warum sollte man es für Web Scraping verwenden?

Gemini AI ist ein großes Sprachmodell (LLM) von Google. Es kann natürliche Sprache verstehen, Webinhalte lesen und aussagekräftige Daten aus Text extrahieren. Dies macht es besonders nützlich für Web Scraping mit Python, wenn Sie saubere und strukturierte Daten aus unübersichtlichem HTML extrahieren möchten.

Warum sollten Sie Gemini AI für Web Scraping wählen?

Herkömmliche Web Scraper nutzen CSS-Selektoren oder XPath zum Extrahieren von Inhalten. Da Websites jedoch häufig ihre Struktur aktualisieren, wird Ihr Scraper obsolet. Mit Gemini AI können Sie die gewünschten Daten beschreiben (z. B. „alle Produktnamen und Preise abrufen“), und die KI ermittelt sie wie ein Mensch.

Vorteile der Verwendung von Gemini AI zum Scraping:

  • Weniger Code: Sie müssen keine komplexe Logik schreiben, um Daten zu bereinigen oder zu formatieren.
  • Intelligenteres Scraping: Gemini versteht natürliche Sprache und kann daher Daten auch dann finden, wenn das HTML nicht gut strukturiert ist.
  • Flexibel: Funktioniert auf vielen verschiedenen Websites mit minimalen Codeänderungen.

Im nächsten Abschnitt zeigen wir Ihnen, wie Sie Ihre Umgebung einrichten und mit Python beginnen.

Einrichten der Umgebung

Bevor wir mit dem Scraping von Websites mit Gemini AI und Python beginnen, müssen wir die richtige Umgebung einrichten. Dazu gehören die Installation von Python, die Erstellung einer virtuellen Umgebung und die Konfiguration der Gemini-Umgebung.

Python installieren

Wenn Sie Python noch nicht installiert haben, laden Sie es herunter von der offiziellen WebsiteStellen Sie sicher, dass Sie Python 3.8 oder höher installieren. Aktivieren Sie während der Installation das Kontrollkästchen „Python zu PATH hinzufügen“.

Um zu überprüfen, ob Python installiert ist, öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung und führen Sie Folgendes aus:

1
Python --Version

Sie sollten etwas sehen wie:

1
Python 3.10.8

Erstellen einer virtuellen Umgebung

Es empfiehlt sich, Ihre Projektdateien sauber und getrennt von Ihrer globalen Python-Installation zu halten. Dies erreichen Sie durch die Erstellung einer virtuellen Umgebung.

Führen Sie in Ihrem Projektordner Folgendes aus:

1
python -m venv gemini_env

Aktivieren Sie dann die Umgebung:

  • Unter Windows:
1
gemini_env\Scripts\activate
  • Unter Mac/Linux:
1
Quelle gemini_env/bin/activate

Nach der Aktivierung zeigt Ihr Terminal den Umgebungsnamen wie folgt an:

1
(gemini_env) $

Konfigurieren Sie Gemini

Um Gemini AI für Web Scraping zu nutzen, benötigen Sie einen API-Schlüssel von Googles Gemini-Plattform. Diesen erhalten Sie, indem Sie sich anmelden für Google AI Studio.

Sobald Sie Ihren Schlüssel haben, bewahren Sie ihn an einem .env Datei:

1
GEMINI_API_KEY=Ihr_Schlüssel_hier

Installieren Sie dann die erforderlichen Python-Pakete:

1
pip installieren google-generativeai python-dotenv Anfragen beautifulsoup4 markdownify

Diese Bibliotheken helfen uns, Anfragen zu senden, HTML zu analysieren, HTML in Markdown zu konvertieren und mit Gemini zu kommunizieren.

Jetzt ist Ihre Umgebung bereit! Im nächsten Abschnitt erstellen wir Schritt für Schritt den Gemini-basierten Web Scraper.

Schritt-für-Schritt-Anleitung zum Erstellen eines Gemini-basierten Web Scrapers

In diesem Abschnitt erfahren Sie, wie Sie einen vollständigen Web Scraper mit Gemini-Unterstützung in Python erstellen. Wir gehen Schritt für Schritt vor – vom Senden einer HTTP-Anfrage bis zum Exportieren der Scraped-Daten als JSON.

Wir verwenden diese Beispielseite zum Scraping:
🔗 Ein Licht auf dem Dachboden – Bücher zum Verschrotten

Senden der HTTP-Anforderung

Zuerst holen wir den HTML-Inhalt der Seite mit dem requests Bibliothek.

1
2
3
4
5
6
7
8
9
10
importieren Zugriffe

URL = „https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html“
Antwort = Anfragen.get(URL)

# Überprüfen Sie, ob die Anfrage erfolgreich war
if Antwort.Statuscode == 200:
    drucken("Seite erfolgreich abgerufen!")
sonst:
    drucken(„Die Seite konnte nicht abgerufen werden.“)

Extrahieren bestimmter Abschnitte mit BeautifulSoup

Um das Senden unnötigen HTML-Codes an Gemini zu vermeiden, extrahieren wir nur den Teil der Seite, den wir benötigen.

Screenshot, der die HTML-Struktur einer Webseite in Browser-Entwicklertools zeigt und einen bestimmten Abschnitt hervorhebt, der mit BeautifulSoup extrahiert werden soll

In diesem Fall <article class="product_page"> welches die Buchdetails enthält.

1
2
3
4
5
6
7
von bs4 importieren BeautifulSuppe

Suppe = Schöne Suppe(Antwort.Inhalt, "html.parser")

# Extrahieren Sie den relevanten Inhalt (Hauptbuchdetails)
Hauptabschnitt = soup.select_one("Artikel.Produktseite")
main_html = str(Hauptabschnitt)

Konvertieren von HTML in Markdown für KI-Effizienz

LLMs wie Gemini arbeiten effizienter und präziser mit sauberer Eingabe. Konvertieren wir also das ausgewählte HTML mithilfe der Bibliothek markdownify in Markdown.

1
2
3
4
5
von Markdownify - Deutsch Übersetzung importieren Markdownify - Deutsch Übersetzung

# Konvertieren Sie das HTML in Markdown
main_markdown = markdownify(main_html)
drucken(Hauptmarkdown)

Dadurch wird unerwünschtes HTML-Durcheinander beseitigt und die Anzahl der an Gemini gesendeten Token reduziert, was Kosten spart und die Leistung verbessert.

Senden des bereinigten Markdowns zur Datenextraktion an Gemini

Senden Sie nun den bereinigten Markdown an Gemini AI und bitten Sie es, strukturierte Daten wie Titel, Preis und Lagerstatus zu extrahieren.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
importieren os
von dotenv importieren load_dotenv
importieren google.generativeai as Genai

# Laden Sie Ihren API-Schlüssel aus der .env-Datei
load_dotenv()
genai.configure(api_key=os.getenv("GEMINI_API_KEY"))

# Erstellen Sie die Eingabeaufforderung und senden Sie sie an Gemini
model = genai.GenerativeModel("Gemini-2.0-Flash")

Eingabeaufforderung = F"""
Extrahieren Sie den Buchtitel, den Preis und die Verfügbarkeit aus dem folgenden Inhalt:

{main_markdown}

Antworten Sie im JSON-Format.
"" "

Antwort = Modell.Inhalt generieren (Eingabeaufforderung)
extrahierte_Daten = Antworttext

drucken(extrahierte Daten)

Exportieren der Ergebnisse im JSON-Format

Abschließend speichern wir die extrahierten Daten in einem .json Datei.

1
2
3
4
5
6
7
8
9
10
importieren JSON

# Konvertieren Sie den Antworttext in ein Python-Dict
Daten = json.loads(extrahierte_Daten)

# In Datei speichern
mit XNUMXh geöffnet("book_data.json", "w") as f:
    json.dump(Daten, f, Einzug=2)

drucken(„Daten in book_data.json gespeichert“)

Damit ist Ihr Gemini-basierter Python-Web-Scraper bereit!

Vollständiges Codebeispiel

Unten finden Sie das vollständige Python-Skript, das alles zusammenführt, vom Abrufen der Seite bis zum Speichern der extrahierten Daten im JSON-Format. Dieses Skript ist ein hervorragender Ausgangspunkt für die Entwicklung fortgeschrittener KI-gestützter Scraper mit Gemini.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
importieren Zugriffe
von bs4 importieren BeautifulSuppe
von Markdownify - Deutsch Übersetzung importieren Markdownify - Deutsch Übersetzung
importieren google.generativeai as Genai
importieren os
importieren JSON
von dotenv importieren load_dotenv

# Gemini-API-Schlüssel aus der .env-Datei laden
load_dotenv()
genai.configure(api_key=os.getenv("GEMINI_API_KEY"))

# Schritt 1: Senden Sie die HTTP-Anfrage
URL = „https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html“
Antwort = Anfragen.get(URL)

if Antwort.Statuscode != 200:
    erhöhen Ausnahme(„Die Seite konnte nicht abgerufen werden.“)

# Schritt 2: Extrahieren Sie einen bestimmten Abschnitt mit BeautifulSoup
Suppe = Schöne Suppe(Antwort.Inhalt, "html.parser")
Hauptabschnitt = soup.select_one("Artikel.Produktseite")
main_html = str(Hauptabschnitt)

# Schritt 3: HTML in Markdown konvertieren
main_markdown = markdownify(main_html)

# Schritt 4: Verwenden Sie Gemini, um strukturierte Daten zu extrahieren
model = genai.GenerativeModel("Gemini-2.0-Flash")
Eingabeaufforderung = F"""
Extrahieren Sie den Buchtitel, den Preis und die Verfügbarkeit aus dem folgenden Inhalt:

{main_markdown}

Antworten Sie im JSON-Format.
"" "

Antwort = Modell.Inhalt generieren (Eingabeaufforderung)
extrahierte_Daten = Antworttext

# Schritt 5: Exportieren Sie das Ergebnis im JSON-Format
versuchen:
    Daten = json.loads(extrahierte_Daten)
    mit XNUMXh geöffnet("book_data.json", "w") as f:
        json.dump(Daten, f, Einzug=2)
    drucken(„Daten in book_data.json gespeichert“)
ausgeschlossen json.JSONDecodeError:
    drucken(„Antwort von Gemini konnte nicht analysiert werden:“)
    drucken(extrahierte Daten)

Beispielausgabe:

1
2
3
4
5
{
  „Titel“: „Ein Licht auf dem Dachboden“,
  "Preis": "51.77 £",
  "Verfügbarkeit": "Auf Lager (22 verfügbar)"
}

Herausforderungen und Einschränkungen von Gemini AI beim Web Scraping

Gemini AI für Web Scraping ist leistungsstark, hat aber einige Einschränkungen. Machen Sie sich mit diesen vertraut, bevor Sie es in realen Scraping-Projekten einsetzen.

1. Hohe Token-Nutzung

Gemini berechnet pro gesendetem und empfangenem Token (Textstück). Wenn Sie das gesamte HTML einer Seite senden, summieren sich die Kosten schnell. Deshalb ist die Konvertierung von HTML in Markdown hilfreich, da sie die Anzahl der Token reduziert und nur das Wesentliche behält.

2. Langsamer als herkömmliches Scraping

Da Gemini ein KI-Modell ist, benötigt es im Vergleich zu einfachen HTML-Parsern mehr Zeit für die Textverarbeitung und die Ergebnisausgabe. Beim Scraping mehrerer Seiten wird die Geschwindigkeit zu einem erheblichen Problem.

3. Weniger genau bei komplexen Seiten

Gemini kann Daten übersehen oder falsch interpretieren, insbesondere wenn das Layout komplex ist oder viele sich wiederholende Elemente enthält. Im Gegensatz zu regelbasierten Scrapern können KI-Modelle in diesen Fällen unvorhersehbar sein.

4. Nicht in Echtzeit

Gemini benötigt Zeit für die Analyse und die Rückgabe von Antworten und ist daher für Echtzeit-Web-Scraping, wie beispielsweise die sekundenschnelle Preisüberwachung, ungeeignet. Es eignet sich besser für Anwendungsfälle, bei denen die strukturierte Datenextraktion wichtiger ist als die Geschwindigkeit.

5. API-Ratenbegrenzungen

Wie die meisten KI-Plattformen hat auch Gemini Ratenlimits. Sie können nur eine begrenzte Anzahl von Anfragen pro Minute oder Stunde senden. Die Skalierung ist komplex, es sei denn, Sie verwalten Ihre API-Aufrufe oder wechseln zu einem kostenpflichtigen Tarif.

Wie Crawlbase Smart Proxy Kann Ihnen beim Skalieren helfen

Beim Web Scraping mit Gemini AI stößt man auf ein großes Problem: Webseiten blockieren einen. Viele Webseiten erkennen Bots und geben Fehler oder CAPTCHAs zurück, wenn sie ungewöhnliches Verhalten feststellen. Hier kommt Crawlbase ins Spiel. Smart Proxy kommt in.

Was ist Crawlbase Smart Proxy?

Crawlbase Smart Proxy ist ein Tool, mit dem Sie jede Website durchsuchen können, ohne blockiert zu werden. Es rotiert IP-Adressen, verarbeitet CAPTCHAs und ruft Seiten wie ein echter Benutzer ab.

Dies ist besonders nützlich, wenn Sie von Ihrem Scraper Anfragen an Websites senden, die keine Bots zulassen.

Vorteile der Verwendung von Crawlbase Smart Proxy mit Gemini AI

  • ✅ IP-Sperren vermeiden: Crawlbase übernimmt die Proxy-Rotation für Sie.
  • ✅ Umgehen von CAPTCHAs: Es löst die meisten Herausforderungen automatisch.
  • ✅ Zeitersparnis: Sie müssen Ihre Proxyserver nicht verwalten.
  • ✅ Holen Sie sich sauberes HTML: Es gibt analysierbereiten Inhalt zurück, der sich perfekt für die KI-Verarbeitung eignet.

Beispiel: Verwenden von Crawlbase Smart Proxy mit Python

So rufen Sie eine geschützte Seite mit Crawlbase ab Smart Proxy bevor Sie es an Gemini weitergeben:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
importieren Zugriffe
importieren Zeit

# Crawlbase Smart Proxy -Setup
Proxy-URL = "http://[E-Mail geschützt] :8012"
Proxys = {"http": Proxy-URL, "https": Proxy-URL}

# Ziel-URL durch Cloudflare geschützt
URL = „https://example.com/protected-page“

# Führen Sie eine Verzögerung ein, um menschliches Verhalten nachzuahmen
Zeit.Schlaf(2)  # Warten Sie 2 Sekunden, bevor Sie die Anfrage stellen

# Anfrage senden über Smart Proxy
Antwort = Anfragen.Get(URL, Proxys=Proxys, Überprüfen=falsch)

# Antwort drucken
drucken(Antwort.text)

Ersetzen _USER_TOKEN_ mit Ihrer aktuellen Crawlbase Smart Proxy Token

Sobald Sie das HTML mit Smart Proxy, können Sie es an BeautifulSoup weitergeben, in Markdown konvertieren und mit Gemini AI verarbeiten – genau wie wir es Ihnen zuvor in diesem Beitrag gezeigt haben.

Abschließende Überlegungen

Gemini AI macht Web Scraping in Python intelligenter und einfacher. Es wandelt komplexes HTML mithilfe von KI in saubere, strukturierte Daten um. Mit BeautifulSoup und Markdown-Konvertierung erstellen Sie einen Scraper, der Inhalte besser versteht als herkömmliche Methoden.

Für Standorte mit Sperren oder Schutz verwenden Sie Crawlbase Smart Proxy. Sie werden nicht blockiert, nicht einmal auf den schwierigsten Websites.

In diesem Handbuch wurde Folgendes gezeigt:

  • Erstellen Sie einen Gemini-basierten Scraper in Python
  • Optimieren Sie die Eingabe mit HTML zu Markdown
  • Scale Scraping mit Crawlbase Smart Proxy

Jetzt können Sie intelligenter, schneller und effizienter scrapen!

Häufig gestellte Fragen

F: Kann ich mit Gemini AI jede beliebige Website scrapen?

Ja, Sie können Gemini AI zum Scrapen vieler Websites verwenden. Einige Websites verfügen jedoch möglicherweise über Anti-Bot-Schutz, wie z. B. Cloudflare. Dafür benötigen Sie Tools wie Crawlbase Smart Proxy um Blockierungen zu vermeiden und problemlos auf Inhalte zuzugreifen.

F: Warum sollte ich HTML in Markdown konvertieren, bevor ich es an Gemini sende?

Die Konvertierung von HTML in Markdown trägt zur Reduzierung der Datengröße bei. Dadurch läuft der KI-Prozess schneller und die Anzahl der verwendeten Token wird reduziert. Das spart Ihnen Geld, insbesondere bei der Nutzung von Gemini AI für umfangreiche Scraping-Projekte.

F: Ist Gemini besser als herkömmliche Web-Scraping-Tools?

Gemini ist leistungsfähiger, wenn Sie KI-basiertes Inhaltsverständnis benötigen. Herkömmliche Scraping-Tools extrahieren Rohdaten, Gemini hingegen kann Inhalte zusammenfassen, bereinigen und verstehen. Für optimale Scraping-Ergebnisse empfiehlt es sich, beide Methoden zu kombinieren.