Die meisten Websites verwenden JavaScript, um ihre Inhalte zu laden, sodass es schwieriger ist, Daten zu scrapen. Wenn Sie versuchen, traditionelle Tools wie requests und BeautifulSoup Ihnen entgehen Informationen, die erst angezeigt werden, wenn die Seite vollständig geladen ist.

In diesem Artikel erfahren Sie, wie Sie mit JavaScript gerenderte Seiten scrapen. Wir gehen auf statische und dynamische Inhalte, die Herausforderungen beim Scrapen und die verfügbaren Tools ein. Wir konzentrieren uns auf Pyppeteer, ein leistungsstarkes Tool, mit dem Sie mit JavaScript-Inhalten in Python arbeiten können.

Wir zeigen Ihnen anhand eines praktischen Beispiels, wie Sie Pyppeteer verwenden, um Produktdetails von einer dynamischen Webseite abzurufen. Sie erhalten außerdem Tipps zur Lösung häufiger Probleme und zur effizienteren Nutzung von Scraping mit Crawlbase Smart Proxy.

Inhaltsverzeichnis

  1. Statische vs. mit JavaScript gerenderte Seiten
  2. Herausforderungen beim Scraping dynamischer Inhalte
  3. Beliebte Tools zum Scraping von mit JavaScript gerenderten Seiten in Python
  • Selen
  • Dramatiker
  • Pippeteer
  1. Praktisches Beispiel: Verwenden von Pyppeteer zum Scrapen dynamischer Inhalte
  • Voraussetzungen:
  • Einrichten der Python-Umgebung
  • Untersuchen einer mit JavaScript gerenderten Seite auf Selektoren
  • Erstellen eines Scrapers mit Pyppeteer zum Extrahieren von Produktdetails
    • Erstellen Sie das Scraper-Skript
    • Definieren der Scraper-Funktion
    • Führen Sie den Scraper aus
    • Vollständiges Skriptbeispiel
  1. Häufige Fallstricke und Tipps zur Fehlerbehebung
  • Umgang mit Verzögerungen und Timeouts
  • Beheben von Fehlern im Zusammenhang mit dem Laden und Rendern von Seiten
  1. Optimierung mit Crawlbase Smart Proxy
  2. Abschließende Überlegungen
  3. Häufig gestellte Fragen

Statische vs. mit JavaScript gerenderte Seiten

Beim Web Scraping ist es wichtig, den Unterschied zwischen statischen und mit JavaScript gerenderten Seiten zu verstehen.

Ein Bild, das den Unterschied zwischen statisch und mit JS gerenderten Seiten auflistet

Statische Seiten sind unkompliziert. Sie laden alle ihre Inhalte, wenn Sie die Website besuchen. Sie können einfache Tools verwenden wie requests or BeautifulSoup um Daten von diesen Seiten zu scrapen, da die Daten bereits im HTML enthalten sind.

Auf der anderen Seite, Mit JavaScript gerenderte Seiten laden ihren Inhalt dynamisch mit JavaScript. Das bedeutet, dass das HTML, das Sie zunächst sehen, möglicherweise nicht die gewünschten Daten enthält. JavaScript wird ausgeführt, nachdem die Seite geladen wurde, und ruft weitere Daten vom Server ab. Dies erschwert das Scraping, da die Daten möglicherweise nicht im HTML enthalten sind, wenn Sie die Seite zum ersten Mal aufrufen.

Wenn Sie beispielsweise Produktdetails von einer E-Commerce-Site abrufen möchten, stellen Sie möglicherweise fest, dass die Produktlisten erst angezeigt werden, nachdem die Seite vollständig geladen wurde. In solchen Fällen funktionieren herkömmliche Scraping-Methoden nicht und Sie benötigen ein fortgeschritteneres Tool, das JavaScript ausführen kann.

Herausforderungen beim Scraping dynamischer Inhalte

Das Scraping von mit JavaScript gerenderten Seiten bringt seine eigenen Herausforderungen mit sich. Hier sind die wichtigsten:

Ladezeiten der Inhalte

JavaScript lädt Inhalte asynchron, sodass Elemente möglicherweise nicht sofort verfügbar sind. Zu frühes Scraping kann zu fehlenden Daten führen.

Ändern der Elementauswahl

Websites ändern ihr Design häufig, was die HTML-Struktur und -Selektoren ändern kann. Wenn Ihr Scraper auf diese angewiesen ist, wird er bei Änderungen nicht mehr funktionieren.

Captchas und Anti-Scraping-Maßnahmen

Viele Websites verfügen über CAPTCHAs und IP-Blockierungen, um Scraping zu verhindern. Diese zu nutzen und gleichzeitig die Nutzungsbedingungen einzuhalten, kann schwierig sein.

Umgang mit Paginierung

Dynamische Seiten paginieren Daten häufig, sodass Ihr Scraper nicht durch mehrere Seiten navigieren kann, um alle Daten zu erfassen.

Ressourcenintensiv

Das Rendern von JavaScript kann ressourcenintensiv sein, sodass das Scraping länger dauert und die Serverlast steigt.

Beim Scraping von mit JavaScript gerenderten Seiten ist das gewählte Tool wichtig. Hier sind drei beliebte Optionen: Selenium, Playwright und Pyppeteer.

Selen

Selen ist ein beliebtes Web Scraping-Tool. Es kann Webbrowser steuern und Benutzerinteraktionen simulieren. Es eignet sich perfekt zum Scraping dynamischer Inhalte. Selenium unterstützt mehrere Sprachen, darunter Python.

Vorteile:

  • Vielseitigkeit: Funktioniert mit vielen Browsern (Chrome, Firefox, Safari).
  • Robustheit: Gut zum Testen von Webanwendungen.
  • Breite Community-Unterstützung: Es sind viele Tutorials und Ressourcen verfügbar.

aus der Praxis : Selenium eignet sich für Projekte, die eine Browserautomatisierung erfordern, wie z. B. das Anmelden bei Websites oder das Ausfüllen von Formularen.

Dramatiker

Dramatiker ist ein neueres Tool, das beim Scraping dynamischer Inhalte immer beliebter wird. Es unterstützt mehrere Sprachen, darunter Python, und ist schnell.

Vorteile:

  • Cross-Browser-Tests: Funktioniert mit Chromium, Firefox, WebKit.
  • Automatisches Warten: Reduziert manuelle Verzögerungen in Skripten.
  • Einfaches Setup: Einfach und benutzerfreundlich

aus der Praxis : Playwright eignet sich für Projekte, bei denen Geschwindigkeit und Zuverlässigkeit erforderlich sind, insbesondere beim Testen von Webanwendungen.

Pippeteer

Pippeteer ist ein Python-Port von Puppeteer, einer beliebten Node.js-Bibliothek. Es ermöglicht Ihnen die Steuerung von Chrome-Browsern ohne Header.

Vorteile:

  • Kopfloser Modus: Schneller, da keine Benutzeroberfläche gerendert wird.
  • Einfache Navigation: Vereinfacht Aufgaben wie das Aufnehmen von Screenshots und das Erstellen von PDFs.
  • JavaScript-Ausführung: Interagiert effizient mit JavaScript-lastigen Seiten.

aus der Praxis : Pyppeteer eignet sich gut zum Scraping von Daten von modernen Websites mit intensivem JavaScript-Gebrauch, wie etwa E-Commerce-Plattformen.

Zusammenfassend lässt sich sagen, dass jedes Tool seine Stärken und Einsatzszenarien hat. Abhängig von Ihren Projektanforderungen können Sie das Tool auswählen, das Ihren Anforderungen am besten entspricht.

Praktisches Beispiel: Verwenden von Pyppeteer zum Scrapen dynamischer Inhalte

In diesem Abschnitt werden wir anhand eines praktischen Beispiels die Verwendung von Pyppeteer zum Scrapen dynamischer Inhalte von einer in JavaScript gerenderten Webseite durchgehen. Wir werden alles behandeln, vom Einrichten Ihrer Umgebung bis zum Extrahieren von Produktdetails.

Voraussetzungen:

  • Python 3.6+ auf Ihrem System installiert
  • Grundlegende Kenntnisse in Python und HTML

Einrichten der Python-Umgebung

Bevor wir mit dem Scraping beginnen, bereiten wir unsere Python-Umgebung vor.

Erstellen Sie ein neues Projektverzeichnis:

1
2
mkdir pyppeteer_scraper
cd pyppeteer_scraper

Richten Sie eine virtuelle Umgebung ein:

1
2
python -m venv venv
Quelle venv/bin/aktivieren  # Verwenden Sie für Windows venv\Scripts\activate

Installieren Sie die erforderlichen Pakete:

1
pip installieren pyppeteer

Note: Wenn Sie auf Probleme stoßen, stellen Sie sicher, dass Sie die richtige Python-Version verwenden, und prüfen Sie, ob Installationsfehler vorliegen.

Untersuchen einer mit JavaScript gerenderten Seite auf Selektoren

Sobald Sie Ihre Umgebung eingerichtet haben, müssen Sie die Selektoren für die Elemente finden, die Sie scrapen möchten. So geht's:

  1. Öffnen Sie Ihren Browser und rufen Sie die Zielseite auf. Für dieses Beispiel verwenden wir die unten stehende Walmart-URL, da Walmart auch JavaScript-Rendering verwendet.
1
https://www.walmart.com/search?q=smartwatch
  1. Klicken Sie mit der rechten Maustaste auf den Produkttitel und wählen Sie „Untersuchen“, um die Entwicklertools zu öffnen.
Ein Screenshot einer Inspektion einer mit JavaScript gerenderten Seite für Selektoren
  1. Bewegen Sie den Mauszeiger über Elemente in der HTML-Struktur, um die zugehörigen Selektoren anzuzeigen. Suchen Sie beispielsweise nach Klassennamen oder eindeutigen Attributen, die beim Laden der Seite stabil bleiben, wie z. B. data-* Attribute.

Erstellen eines Scrapers mit Pyppeteer zum Extrahieren von Produktdetails

Erstellen Sie das Scraper-Skript

Erstellen Sie eine neue Python-Datei mit dem Namen scraper.py und beginnen Sie mit dem Hinzufügen der folgenden Importe:

1
2
importieren Asyncio
für Pyppeteer importieren starten

Definieren der Scraper-Funktion

Als Nächstes definieren wir eine Funktion, die den Scraping-Prozess handhabt. Diese Funktion startet einen Browser, navigiert mit benutzerdefiniertem User-Agent und Headern zur gewünschten URL und extrahiert die Produktdetails.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
async def Produktdetails scrapen(URL):
    Browser = – warten auf Sie! Start()
    Seite = – warten auf Sie! browser.newPage ()

    # Benutzerdefinierten User-Agent und Header festlegen
    – warten auf Sie! Seite.setUserAgent(„Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/58.0.3029.110 Safari/537.3“)
    – warten auf Sie! Seite.setExtraHTTPHeaders({
        'Sprache akzeptieren': 'en-US,en;q=0.9',
        'Kodierung akzeptieren': „gzip, entleeren, br“,
    })

    – warten auf Sie! Seite.gehe zu(URL)

    – warten auf Sie! asyncio.sleep(10)  # Warten Sie 10 Sekunden

    Titel = – warten auf Sie! Seite.auswerten('''() => {
        return Array.from(document.querySelectorAll('span[data-automation-id="product-title"]')).map(x => x.innerText);
    }''')

    Preise = – warten auf Sie! Seite.auswerten('''() => {
        Array.from zurückgeben(document.querySelectorAll('div[data-automation-id="product-price"] span.w_iUH7'))
            .map(x => x.innerText.replace('aktueller Preis ', ''));
    }''')

    
für Titel, Preis in Reißverschluss(Titel, Preise):
        drucken(f'Titel:  , Preis: {Preis}')

    – warten auf Sie! browser.close ()

Führen Sie den Scraper aus

Fügen Sie dies am Ende Ihrer scraper.py Datei, sodass sie ausgeführt wird, wenn Sie das Skript ausführen.

1
2
3
if __name__ == "__hauptsächlich__":
    URL = „https://www.walmart.com/search?q=smartwatch“  # Ersetzen Sie es durch Ihre Ziel-URL
    asyncio.get_event_loop().run_until_complete(Produktdetails_scrapen(URL))

Vollständiges Skriptbeispiel

Hier ist die komplette scraper.py Datei sollte aussehen wie:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
importieren Asyncio
für Pyppeteer importieren starten

async def Produktdetails scrapen(URL):
    Browser = – warten auf Sie! Start()
    Seite = – warten auf Sie! browser.newPage ()

    # Benutzerdefinierten User-Agent und Header festlegen
    – warten auf Sie! Seite.setUserAgent(„Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/58.0.3029.110 Safari/537.3“)
    – warten auf Sie! Seite.setExtraHTTPHeaders({
        'Sprache akzeptieren': 'en-US,en;q=0.9',
        'Kodierung akzeptieren': „gzip, entleeren, br“,
    })

    – warten auf Sie! Seite.gehe zu(URL)

    – warten auf Sie! asyncio.sleep(10)  # Warten Sie 10 Sekunden

    Titel = – warten auf Sie! Seite.auswerten('''() => {
        return Array.from(document.querySelectorAll('span[data-automation-id="product-title"]')).map(x => x.innerText);
    }''')

    Preise = – warten auf Sie! Seite.auswerten('''() => {
        Array.from zurückgeben(document.querySelectorAll('div[data-automation-id="product-price"] span.w_iUH7'))
            .map(x => x.innerText.replace('aktueller Preis ', ''));
    }''')

    
für Titel, Preis in Reißverschluss(Titel, Preise):
        drucken(f'Titel:  , Preis: {Preis}')

    – warten auf Sie! browser.close ()

if __name__ == "__hauptsächlich__":
    URL = „https://www.walmart.com/search?q=smartwatch“
    asyncio.get_event_loop().run_until_complete(Produktdetails_scrapen(URL))

Wenn Sie das Skript ausführen, wird ein Headless-Browser geöffnet, zur angegebenen URL navigiert und die Produkttitel und Preise auf der Konsole gedruckt.

Häufige Fallstricke und Tipps zur Fehlerbehebung

Beim Scraping von Websites, die JavaScript zum Laden von Inhalten verwenden, können häufig auftretende Probleme auftreten. Hier sind einige Tipps zur Fehlerbehebung.

Umgang mit Verzögerungen und Timeouts

Web Scraping kann schwierig sein, da das Laden von Seiten einige Zeit in Anspruch nimmt. Wenn Ihr Scraper versucht, auf Elemente zuzugreifen, bevor diese geladen sind, tritt ein Fehler auf. Hier sind einige Möglichkeiten, um mit Verzögerungen umzugehen:

  1. Verwenden Sie feste Wartezeiten: Sie können eine feste Wartezeit hinzufügen, bevor Ihr Scraper mit der Suche nach Elementen beginnt. Dadurch hat die Seite Zeit zum Laden. Sie können beispielsweise eine Sleep-Funktion verwenden:
1
– warten auf Sie! asyncio.sleep(5)  # Warten Sie 5 Sekunden
  1. Dynamisches Warten: Anstatt sich ausschließlich auf feste Wartezeiten zu verlassen, sollten Sie dynamische Wartezeiten verwenden, wie waitForSelector. Dadurch wird das Skript angehalten, bis das angegebene Element auf der Seite erscheint.

Beheben von Fehlern im Zusammenhang mit dem Laden und Rendern von Seiten

Es können Fehler aufgrund von Problemen beim Laden oder Rendern der Seite auftreten. Hier sind einige häufige Probleme und wie man sie behebt:

  1. Überprüfen Sie die URL: Stellen Sie sicher, dass Sie zur richtigen URL navigieren. Ein Tippfehler führt zu der Fehlermeldung „Seite nicht gefunden“.
  2. Seitenelemente prüfen: Verwenden Sie die Entwicklertools Ihres Browsers, um die Elemente zu überprüfen, die Sie scrapen. Wenn sich die HTML-Struktur geändert hat, aktualisieren Sie Ihre Selektoren.
  3. Netzwerkprobleme: Wenn Ihr Internet langsam oder instabil ist, wirkt sich dies auf das Laden der Seite aus. Versuchen Sie, Ihren Scraper mit einer schnelleren Verbindung zu testen.
  4. Behandeln von JavaScript-Fehlern: Einige Websites blockieren Scraper oder weisen JavaScript-Fehler auf, die das Rendern der Seite verhindern. Wenn Ihr Scraper nicht funktioniert, überprüfen Sie die Konsole auf JavaScript-Fehler und passen Sie Ihre Scraping-Strategie an.
  5. Fehlerbehandlung verwenden: Verwenden Sie Try-Except-Blöcke in Ihrem Code, um Fehler abzufangen und zu behandeln. Auf diese Weise läuft Ihr Scraper weiter, auch wenn er auf ein kleineres Problem stößt.

Optimieren mit Crawlbase Smart Proxy

Crawlbase Smart Proxy hilft Ihnen, schneller zu scrapen, indem Anfragen über mehrere IP-Adressen geleitet werden, sodass Websites Sie nicht blockieren können. Dieser Dienst verhindert IP-Blockaden, beschleunigt die Datenerfassung durch gleichzeitige Anfragen und ermöglicht den Zugriff auf regionsspezifische Inhalte.

So verwenden Sie Crawlbase Smart Proxy, Registrieren für ein Konto und holen Sie sich Ihre Proxy-Anmeldeinformationen. Konfigurieren Sie dann Ihren Scraper, indem Sie ihn über Crawlbase weiterleiten. Hier ist ein kurzes Beispiel in Python:

1
2
3
4
5
6
7
Proxy-URL = 'http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012'

async mit pyppeteer.launch({
    'Argumente': [f'--proxy-server={Proxy-URL}']
}) as Browser:
    Seite = – warten auf Sie! browser.newPage ()
    – warten auf Sie! Seite.gehe zu(„https://example.com“)

Ersetzen _USER_TOKEN_ mit Ihrem Crawlbase-Token. Durch die Integration von Crawlbase Smart Proxy Durch die Integration in Ihren Arbeitsablauf können Sie die Effizienz steigern und die Wahrscheinlichkeit von Unterbrechungen durch IP-Blöcke verringern, sodass die Datenextraktion erfolgreicher verläuft.

Abschließende Überlegungen

Das Scraping von mit JavaScript gerenderten Seiten kann eine Herausforderung sein, macht aber auch Spaß. Mit den richtigen Tools wie Pyppeteer, Selenium oder Playwright ist das kein Problem. In diesem Blog haben wir die Unterschiede zwischen statischen und mit JavaScript gerenderten Seiten, häufige Herausforderungen und ein praktisches Beispiel (Pyppeteer) behandelt, um Ihnen den Einstieg zu erleichtern.

Verwenden Sie Optimierungstechniken wie Crawlbase Smart Proxy um schneller zu scrapen und IP-Sperren zu vermeiden. Wenn Sie mit dem Web Scraping beginnen, denken Sie daran, die Nutzungsbedingungen der Websites zu beachten, die Sie anvisieren. Befolgen Sie bewährte Methoden, und Sie erhalten die Daten, die Sie benötigen, während Sie gute Beziehungen zu Webdiensten pflegen. Viel Spaß beim Scraping!

Häufig gestellte Fragen

F: Was ist eine mit JavaScript gerenderte Seite?

Eine mit JavaScript gerenderte Seite ist eine Webseite, die Inhalte dynamisch mithilfe von JavaScript lädt. Im Gegensatz zu statischen Seiten, die den gesamten Inhalt sofort anzeigen, laden mit JavaScript gerenderte Seiten Daten nach dem ersten Laden der Seite. Dies erschwert das Scraping, da der Inhalt im Quellcode der Seite nicht sofort sichtbar ist.

F: Warum brauche ich ein spezielles Tool zum Scrapen von mit JavaScript gerenderten Seiten?

Zum Scrapen von mit JavaScript gerenderten Seiten sind spezielle Tools wie Selenium, Pyppeteer oder Playwright erforderlich, da sie den Browser eines echten Benutzers simulieren können. Mit diesen Tools können Sie warten, bis die Seite vollständig geladen und der Inhalt gerendert ist, bevor Sie Daten extrahieren. Ohne sie könnten Ihnen wichtige Informationen entgehen oder Sie erhalten unvollständige Ergebnisse.

F: Wie kann ich vermeiden, beim Scrapen blockiert zu werden?

Um Blockierungen zu vermeiden, können Sie Techniken wie rotierende Benutzeragenten, das Hinzufügen von Verzögerungen zwischen Anfragen und die Verwendung von Proxys verwenden. Tools wie Crawlbase Smart Proxy kann Ihnen dabei helfen, Ihre IPs zu verwalten, sodass Websites Ihre Scraping-Aktivitäten nicht erkennen und blockieren. Denken Sie immer daran, die Nutzungsbedingungen der Website einzuhalten, damit Ihr Scraping ethisch bleibt.