Google Shopping ist eine der datenreichsten E-Commerce-Plattformen. Die riesige Sammlung an Produkten, Preisen und Einzelhändlern macht sie zu einer Goldgrube für Unternehmen und Datenliebhaber gleichermaßen.

Google Shopping spielt für Online-Käufer und -Verkäufer eine entscheidende Rolle. Bis 2024 wird es Millionen von Artikeln von zahlreichen Einzelhändlern auf der ganzen Welt anbieten und den Käufern eine große Auswahl und viele Schnäppchen bieten. Wenn Sie Daten aus Google Shopping extrahieren, erhalten Sie Einblicke in Produktkosten, Lagerbestände und Konkurrenzangebote, was Ihnen hilft, faktenbasierte Entscheidungen zu treffen.

Dieser Beitrag zeigt Ihnen, wie Sie Google Shopping-Daten mit Python scrapen. Wir verwenden die Crawlbase Crawling API um Beschränkungen zu umgehen und die Informationen zu sammeln.

Hier ist eine ausführliche Anleitung zum Scrapen der Google Shopping-Ergebnisse:

Inhaltsverzeichnis

  1. Warum Google Shopping scrapen?
  • Vorteile des Scrapings von Google Shopping
  • Wichtige Datenpunkte von Google Shopping
  1. Umgehungsbeschränkungen mit Crawlbase Crawling API
  2. Voraussetzungen:
  • Einrichten Ihrer Python-Umgebung
  • Erforderliche Bibliotheken installieren
  1. SERP-Struktur für Google Shopping
  • Schlüsselelemente der Google Shopping SERP
  1. Scraping der Google Shopping-SERP
  • Überprüfen der HTML-Struktur
  • Schreiben eines Google Shopping SERP Scrapers
  • Umgang mit Paginierung
  • Speichern von Daten in einer JSON-Datei
  • Code vervollständigen
  1. Struktur der Google Shopping-Produktseite
  • Schlüsselelemente der Google Shopping-Produktseite
  1. Scraping der Google Shopping-Produktseite
  • Überprüfen der HTML-Struktur
  • Schreiben eines Google Shopping-Produktseiten-Scrapers
  • Speichern von Daten in einer JSON-Datei
  • Code vervollständigen
  1. Abschließende Überlegungen
  2. Häufig gestellte Fragen

Warum Google Shopping scrapen?

Durch das Scraping von Google Shopping erhalten Sie nützliche Einblicke. Diese Einblicke helfen Ihnen, Ihren Geschäftsplan zu gestalten, Ihre Produkte zu verbessern und die richtigen Preise festzulegen. In diesem Teil sehen wir uns die Vorteile des Abrufens von Daten aus Google Shopping und die wichtigsten Informationen an, die Sie daraus ziehen können.

Vorteile des Scrapings von Google Shopping

Vorteile des Scrapings von Google Shipping

Wettbewerbspreisanalyse

Die Preisgestaltung ist einer der Schlüsselfaktoren für die Kaufentscheidung der Kunden. Durch das Scraping von Google Shopping können Sie die Preise Ihrer Mitbewerber in Echtzeit sehen und Ihre Preise entsprechend anpassen. So stellen Sie sicher, dass Ihre Preise wettbewerbsfähig sind und mehr Kunden und Verkäufe anziehen.

Überwachung der Produktverfügbarkeit

Die Produktverfügbarkeit ist der Schlüssel zur Bestandsverwaltung und zur Erfüllung der Kundennachfrage. Durch das Durchsuchen von Google Shopping können Sie sehen, welche Produkte auf Lager, nicht vorrätig oder im Angebot sind. Auf diese Weise können Sie Ihren Bestand optimieren, sodass Sie die richtigen Produkte zur richtigen Zeit haben.

Trendanalyse und Markteinblicke

Für jedes E-Commerce-Unternehmen ist es wichtig, immer auf dem Laufenden zu bleiben. Durch das Durchsuchen von Google Shopping können Sie aufkommende Trends, beliebte Produkte und sich änderndes Kundenverhalten erkennen. Dies wird Ihnen bei der Produktentwicklung, Ihren Marketingstrategien und Geschäftsentscheidungen helfen.

Produktlisten verbessern

Detaillierte und ansprechende Produktlisten sind der Schlüssel, um Besucher in Käufer zu verwandeln. Indem Sie sich erfolgreiche Listen bei Google Shopping ansehen, können Sie Ideen für Ihre Produktbeschreibungen, Bilder und Schlüsselwörter bekommen. Dies wird Ihr Ranking und Ihre Sichtbarkeit verbessern.

Was können Sie aus Google Shopping extrahieren?

Beim Scraping von Google Shopping können Sie die folgenden Datenpunkte extrahieren:

  • Produkttitel und Beschreibungen: Sehen Sie, wie die Konkurrenz ihre Produkte präsentiert, und verfeinern Sie Ihre Produktlisten, um mehr Kunden zu gewinnen.
  • Preise und Rabatte: Extrahieren Sie hilfreiche Informationen zu Preisen, einschließlich Rabatten und Sonderangeboten, um die Preisstrategien der Konkurrenz zu überwachen. Sie können diese Daten verwenden, um Ihre Preise anzupassen, um wettbewerbsfähig zu bleiben und mehr zu verkaufen.
  • Produktbewertungen und Bewertungen: Kundenbewertungen und -rezensionen geben Aufschluss über Kundenzufriedenheit und Produktqualität. Sie können das Feedback analysieren, um die Stärken und Schwächen Ihrer Produkte zu erkennen.
  • Händlerinformationen: Extrahieren Sie Informationen über Einzelhändler, die ähnliche Produkte verkaufen, um zu sehen, wer die wichtigsten Akteure auf Ihrem Markt und potenzielle Partner sind.
  • Produktkategorien und Tags: Sehen Sie, wie Produkte kategorisiert und markiert werden, um Ihre Produktorganisation und Suchmaschinenoptimierung (SEO) zu verbessern, damit Kunden Ihre Produkte finden können.
  • Bilder und visuelle Inhalte: Bilder sind entscheidend, um das Interesse der Kunden zu wecken. Indem Sie visuelle Inhalte aus den erfolgreichsten Angeboten untersuchen, können Sie die Qualität Ihrer Produktbilder verbessern, um das Engagement zu steigern.

Durch das Sammeln und Analysieren dieser Datenpunkte können Sie fundierte Entscheidungen treffen, die Ihr Unternehmen voranbringen. Im nächsten Abschnitt besprechen wir, wie Sie Herausforderungen beim Web Scraping mithilfe der Crawlbase bewältigen können. Crawling API.

Umgehen Sie Einschränkungen mit Crawlbase Crawling API

Web Scraping ist ein leistungsstarkes Tool zum Sammeln von Daten, bringt aber auch Herausforderungen mit sich, wie IP-Blockierung, Ratenbegrenzungen, dynamische Inhalte und regionale Unterschiede. Crawlbase Crawling API hilft, diese Probleme zu überwinden und den Scraping-Prozess reibungsloser und effektiver zu gestalten.

Umgehen Sie Einschränkungen mit Crawlbase Crawling API

IP-Blockierung und Ratenbegrenzung

Websites können IP-Adressen blockieren, die zu viele Anfragen schnell senden. Dieses Problem wird als Ratenbegrenzung bezeichnet. Crawlbase Crawling API hilft durch die Rotation von IP-Adressen und die Steuerung der Anforderungsgeschwindigkeit, sodass Sie Daten ohne Unterbrechungen scrapen können.

Dynamischer Inhalt und JavaScript

Viele Websites verwenden JavaScript, um Inhalte nach dem ersten Laden der Seite zu laden. Bei herkömmlichen Scraping-Methoden können diese dynamischen Daten verloren gehen. Die Crawlbase Crawling API kann JavaScript verarbeiten und stellt sicher, dass der gesamte Inhalt auf der Seite angezeigt wird, auch die Elemente, die später erscheinen.

CAPTCHA und Anti-Bot-Maßnahmen

Um automatisiertes Scraping zu verhindern, verwenden Websites häufig Captchas und andere Anti-Bot-Maßnahmen. Die Crawlbase Crawling API kann diese Barrieren überwinden, sodass Sie weiterhin Daten sammeln können, ohne auf diese Hindernisse zu stoßen.

Geolokalisierung und länderspezifische Daten

Websites zeigen manchmal unterschiedliche Inhalte je nach Standort des Benutzers. Die Crawlbase Crawling API ermöglicht Ihnen die Auswahl des Landes für Ihre Anfragen, sodass Sie regionale Daten abrufen können, was für lokalisierte Produktinformationen und Preise hilfreich ist.

Crawlbase Crawling API bewältigt diese gemeinsamen Web Scraping-Herausforderungen effektiv und sammelt problemlos wertvolle Daten von Google Shopping. Im nächsten Abschnitt besprechen wir, was Sie zum Einrichten Ihrer Python-Umgebung für das Scraping benötigen.

Voraussetzungen:

Bevor Sie mit dem Scraping von Google Shopping-Daten beginnen, müssen Sie Ihre Python-Umgebung einrichten und die erforderlichen Bibliotheken installieren. Dieser Abschnitt führt Sie durch die wesentlichen Schritte, um alles für Ihr Web-Scraping-Projekt vorzubereiten.

Einrichten Ihrer Python-Umgebung

Installieren Sie Python

Stellen Sie sicher, dass Python auf Ihrem Computer installiert ist. Python ist eine beliebte Programmiersprache, die für Web Scraping und Datenanalyse verwendet wird. Wenn Sie Python nicht installiert haben, laden Sie es von der offizielle Python-Website. Befolgen Sie die Installationsanweisungen für Ihr Betriebssystem.

Erstellen Sie eine virtuelle Umgebung

Das Erstellen einer virtuellen Umgebung ist eine gute Methode, um Ihre Projektabhängigkeiten zu organisieren und Konflikte mit anderen Projekten zu vermeiden. Um eine virtuelle Umgebung zu erstellen, öffnen Sie Ihre Befehlszeile oder Ihr Terminal und führen Sie Folgendes aus:

1
python -m venv meine Umgebung

Ersetzen Sie myenv durch einen Namen für Ihre Umgebung. Um die virtuelle Umgebung zu aktivieren, verwenden Sie den folgenden Befehl:

  • Unter Windows:

    1
    myenv\Scripts\activate

  • Unter MacOS und Linux:

    1
    Quelle myenv/bin/activate

Erforderliche Bibliotheken installieren

Wenn Ihre virtuelle Umgebung eingerichtet ist, müssen Sie die folgenden Bibliotheken für Web Scraping und Datenverarbeitung installieren:

SchöneSoup4

Die BeautifulSoup4 Die Bibliothek hilft beim Parsen von HTML und Extrahieren von Daten. Sie arbeitet gut mit der Crawlbase-Bibliothek für eine effiziente Datenextraktion zusammen. Installieren Sie sie, indem Sie Folgendes ausführen:

1
pip install beautifulsoup4

Crawlbase

Die Crawlbase Bibliothek ermöglicht Ihnen die Interaktion mit den Crawlbase-Produkten. Sie hilft bei der Bewältigung von Herausforderungen wie IP-Blockierung und dynamischen Inhalten. Installieren Sie sie durch Ausführen von:

1
pip installieren crawlbase

Note: Um auf Crawlbase zuzugreifen Crawling API, benötigen Sie ein Token. Sie können eines erhalten, indem Sie ein Konto erstellen auf Crawlbase. Crawlbase bietet zwei Arten von Token: ein normales Token für statische Websites und ein JavaScript (JS)-Token für die Verarbeitung dynamischer oder browserbasierter Anfragen. Für Google Shopping benötigen Sie ein normales Token. Die ersten 1,000 Anfragen sind für den Einstieg kostenlos, ohne dass eine Kreditkarte erforderlich ist.

Wenn diese Bibliotheken installiert sind, können Sie mit dem Scraping von Google Shopping-Daten beginnen. Im nächsten Abschnitt werden wir uns mit der Struktur der Google Shopping-Suchergebnisseite befassen und erfahren, wie Sie die Daten identifizieren, die Sie extrahieren müssen.

SERP-Struktur für Google Shopping

Die Kenntnis der Struktur der Suchmaschinen-Ergebnisseite (SERP) von Google Shopping ist der Schlüssel zum Web Scraping. So können Sie die benötigten Daten finden und extrahieren.

Schlüsselelemente der Google Shopping SERP

Google Shopping SERP

1. Produktlisten

Jede Produktliste enthält:

  • Produkttitel: Der Name des Produkts.
  • Artikelbild: Das Bild des Produkts.
  • Preis: Der Preis des Produkts.
  • Händlername: Das Geschäft oder der Einzelhändler, der das Produkt verkauft.
  • Bewertungen und Rezensionen: Kundenrezensionen sofern vorhanden.

2. Seitennummerierung

Google Shopping-Ergebnisse sind oft auf mehrere Seiten verteilt. Über Paginierungslinks können Sie auf weitere Produktlisten zugreifen. Sie müssen daher Daten von allen Seiten extrahieren, um vollständige Ergebnisse zu erhalten.

3. Filter und Sortieroptionen

Nutzer können Suchergebnisse verfeinern, indem sie Filter wie Preisspanne, Marke oder Kategorie anwenden. Diese verändern die angezeigten Inhalte und sind wichtig für eine gezielte Datenerfassung.

4. Gesponserte Einträge

Einige Produkte sind als gesponsert oder als Werbung gekennzeichnet und werden auf der Seite prominent angezeigt. Wenn Sie nur nicht gesponserte Produkte möchten, müssen Sie in der Lage sein, zwischen gesponserten und organischen Einträgen zu unterscheiden.

Als Nächstes zeigen wir Ihnen, wie Sie einen Scraper für die Google Shopping SERP schreiben und die Daten in einem JSON speichern.

Scraping der Google Shopping-SERP

In diesem Abschnitt erfahren Sie, wie Sie die Suchmaschinen-Ergebnisseite (SERP) von Google Shopping nach Produktdaten durchsuchen. Wir behandeln die Überprüfung des HTML, das Schreiben des Scrapers, die Paginierung und das Speichern der Daten in einer JSON-Datei.

Überprüfen der HTML-Struktur

Bevor Sie Ihren Scraper schreiben, überprüfen Sie mit den Entwicklertools Ihres Browsers die Google Shopping-SERP.

Google Shopping SERP-Prüfung
  • Klicken Sie mit der rechten Maustaste auf eine Produktliste und wählen Sie „Untersuchen“, um die Entwicklertools zu öffnen.
  • Bewegen Sie den Mauszeiger über Elemente auf der Registerkarte „Elemente“, um zu sehen, welchem ​​Teil der Seite sie entsprechen.
  • Identifizieren Sie die CSS-Selektoren für Elemente wie Produkttitel, Preis und Händlername.

Schreiben eines Google Shopping SERP Scrapers

Um mit dem Scraping zu beginnen, verwenden wir die Crawlbase Crawling API um den HTML-Inhalt abzurufen. Unten sehen Sie ein Beispiel, wie Sie den Scraper für die Suchanfrage „Louis Vuitton Taschen“ einrichten:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

# Initialisieren Sie CrawlingAPI mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({'Zeichen': 'CRAWLBASE_TOKEN'})

# Optionen für die Anfrage festlegen
Optionen = {
    'Land': 'UNS',  # Passen Sie die Landesvorwahl nach Bedarf an
    'Benutzeragent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“,
    'Seite_warten': 5000
}

# Funktion zum Scrapen der Google Shopping SERP
def scrape_google_shopping(URL):
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        Produkte = []
        
für Artikel in Suppe.Auswählen('.sh-dgr__grid-result'):
            Titel = Element.Wählen Sie eins aus(„h3.tAxDx“).text.strip() if Element.Wählen Sie eins aus(„h3.tAxDx“) sonst Keine
            Preis = Artikel.Wählen Sie einen Artikel aus(„span.a8Pemb.OFFNJ“).text.strip() if Element.Wählen Sie eins aus(„span.a8Pemb.OFFNJ“) sonst Keine
            Bild = Element.Wählen Sie eins aus('div.FM6uVc > div.ArOc1c > img')['Quelle'] if Element.Wählen Sie eins aus('div.FM6uVc > div.ArOc1c > img') sonst Keine
            Einzelhändler = Artikel.Wählen Sie einen aus(„.aULzUe.IuHnof“).text.strip() if Element.Wählen Sie eins aus(„.aULzUe.IuHnof“) sonst Keine
            produkt_url = „https://www.google.com“ + Element.Wählen Sie eins aus(„a.Lq5OHe“)['href'] if Element.Wählen Sie eins aus(„a.Lq5OHe“) sonst Keine

            Produkte.anhängen({
                ‚Titel‘: Titel,
                'Preis': Preis,
                'Bild': Bild,
                'Einzelhändler': Einzelhändler,
                'Produkt-URL': Produkt-URL
            })
        Rückkehr Produkte
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr []

# Beispiel-URL zum Scraping
URL = 'https://www.google.com/search?q=louis+vuitton+bags&tbm=shop&start=0&num=20'

Umgang mit Paginierung

Um mehrere Seiten zu scrapen, müssen Sie die start Parameter in der URL. Dieser Parameter steuert den Startindex für die Ergebnisse. Um beispielsweise die zweite Seite zu scrapen, setzen Sie start=20, die dritte Seite start=40, Und so weiter.

1
2
3
4
5
6
7
8
9
10
11
def Mehrere Seiten auslesen(Basis-URL, Seiten=3):
    alle_produkte = []
    
für Seite in Angebot(Seiten):
        start_index = Seite * 20
        paginierte_URL = f"{base_url}&Start={start_index}"
        Produkte = scrape_google_shopping(paginierte_URL)
        alle_produkte.erweitern(Produkte)
    Rückkehr alle_produkte

# Mehrere Seiten scrapen
alle_produkte = mehrere_seiten_scrapen(URL, Seiten=3)

Speichern von Daten in einer JSON-Datei

Nachdem Sie die Daten extrahiert haben, können Sie sie zur weiteren Analyse oder Verarbeitung in einer JSON-Datei speichern:

1
2
3
4
5
6
7
def in JSON speichern(Daten, Dateiname='produkte.json'):
    mit XNUMXh geöffnet(Dateiname, 'w', Kodierung='utf-8') as f:
        json.dump(Daten, f, Ensure_ASCII=falsch, Einzug=4)

# Produkte in JSON speichern
if alle_produkte:
  save_to_json(alle_Produkte)

Code vervollständigen

Hier ist der vollständige Code zum Scrapen der Google Shopping SERP, zur Handhabung der Paginierung und zum Speichern der Daten in einer JSON-Datei:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

# Initialisieren Sie CrawlingAPI mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({'Zeichen': 'CRAWLBASE_TOKEN'})

Optionen = {
    'Land': 'UNS',  # Passen Sie die Landesvorwahl nach Bedarf an
    'Benutzeragent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“,
    'Seite_warten': 5000
}

def scrape_google_shopping(URL):
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        Produkte = []
        
für Artikel in Suppe.Auswählen('.sh-dgr__grid-result'):
            Titel = Element.Wählen Sie eins aus(„h3.tAxDx“).text.strip() if Element.Wählen Sie eins aus(„h3.tAxDx“) sonst Keine
            Preis = Artikel.Wählen Sie einen Artikel aus(„span.a8Pemb.OFFNJ“).text.strip() if Element.Wählen Sie eins aus(„span.a8Pemb.OFFNJ“) sonst Keine
            Bild = Element.Wählen Sie eins aus('div.FM6uVc > div.ArOc1c > img')['Quelle'] if Element.Wählen Sie eins aus('div.FM6uVc > div.ArOc1c > img') sonst Keine
            Einzelhändler = Artikel.Wählen Sie einen aus(„.aULzUe.IuHnof“).text.strip() if Element.Wählen Sie eins aus(„.aULzUe.IuHnof“) sonst Keine
            produkt_url = „https://www.google.com“ + Element.Wählen Sie eins aus(„a.Lq5OHe“)['href'] if Element.Wählen Sie eins aus(„a.Lq5OHe“) sonst Keine

            Produkte.anhängen({
                ‚Titel‘: Titel,
                'Preis': Preis,
                'Bild': Bild,
                'Einzelhändler': Einzelhändler,
                'Produkt-URL': Produkt-URL
            })
        Rückkehr Produkte
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr []

def Mehrere Seiten auslesen(Basis-URL, Seiten=3):
    alle_produkte = []
    
für Seite in Angebot(Seiten):
        start_index = Seite * 20
        paginierte_URL = f"{base_url}&Start={start_index}"
        Produkte = scrape_google_shopping(paginierte_URL)
        alle_produkte.erweitern(Produkte)
    Rückkehr alle_produkte

def in JSON speichern(Daten, Dateiname='produkte.json'):
    mit XNUMXh geöffnet(Dateiname, 'w', Kodierung='utf-8') as f:
        json.dump(Daten, f, Ensure_ASCII=falsch, Einzug=4)

URL = 'https://www.google.com/search?q=louis+vuitton+bags&tbm=shop&num=20'
alle_produkte = mehrere_seiten_scrapen(URL, Seiten=3)

if alle_produkte:
  save_to_json(alle_Produkte)

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[
    {
        „Titel“: „Louis Vuitton Mini Pochette Accessoires Monogramm“,
        "Preis": "$ 760.00",
        "Bild": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcSobTmaRiPTU7ZgclxBAEGJXEqNJmaDrRPTf0yEAm4vAq4z5X5cnK_NeAWP28Hpr7OEfA7_HwkXDUV_JgjgJtJLcqctrK1xBnnp8C9HhTyAK1ByCfQOD9XTuSgq&usqp=CAE",
        "Einzelhändler": "louisvuitton.com",
        "Produkt-URL": "https://www.google.com/shopping/product/11460745201866483383?q=louis+vuitton+bags&num=20&udm=28&prds=eto:624870836277486981_0,pid:15363890291064430132&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIlgc"
    },
    {
        „Titel“: „Louis Vuitton Graceful mm Pfingstrose Monogramm“,
        "Preis": "$ 1,890.00",
        "Bild": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcRB4Js18nK-0mJ1b1e_wxQJL_odHuiA9gxpiBTOPumm0kjw1CKqKtKcIkPWRy3XrPwuRVhFlCEfcXHl4wdXMOz-ibqUICzx0mGgNR-3eKSVg0WXepQxqxWt1dvX&usqp=CAE",
        "Einzelhändler": "louisvuitton.com",
        "Produkt-URL": "https://www.google.com/shopping/product/14578373001752515304?q=louis+vuitton+bags&num=20&udm=28&prds=eto:9994313334712804353_0,pid:1835053385849536242,rsk:PC_14933825504187696392&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIowc"
    },
    {
        „Titel“: „Louis Vuitton Onthego Empreinte PM Schwarz“,
        "Preis": "$ 3,568.00",
        "Bild": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcTTFAXAgTlbBErj8kGSJaZlvTWabOLIhvd-YJDCNrJ8Ls05VdXaz2sClNaCQVaDJk0lzcO-RTspO0t1gFJqDayo6Y45dhKpxkTvXDlqqFjIkUJe_cweXqLgeBs&usqp=CAE",
        "Einzelhändler": "StockX",
        "Produkt-URL": "https://www.google.com/shopping/product/7199001631589324220?q=louis+vuitton+bags&num=20&udm=28&prds=eto:16054018195505784914_0,pid:14263685043257081273&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIsAc"
    },
    {
        „Titel“: "Louis Vuitton Graceful PM Beige Monogramm",
        "Preis": "$ 1,760.00",
        "Bild": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcQCsPQIhiu7bBqMzKkmiFK1-VUHjK-RgE9gFSK57X9msI9NGef3Z5mIRn6Sc3I22QxgqZOWVDGd6RyrXzVMOuTG8WcVoUi2zGpRz0sOoOHPRfwK0QDlU3RbIA&usqp=CAE",
        "Einzelhändler": "louisvuitton.com",
        "Produkt-URL": "https://www.google.com/shopping/product/14078996663385130630?q=louis+vuitton+bags&num=20&udm=28&prds=eto:4593674092438761338_0,pid:18331182635014054384&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIvgc"
    },
    {
        „Titel“: "Louis Vuitton Neverfull Monogram mm kirschrotes Futter",
        "Preis": "$ 2,041.00",
        "Bild": "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcR6-Imgjm6jD4hCOYHj6PrLzTAvenPZjAQl57txXE-RAetMXqDxZ8_sqb5OunjnjosKhHZiOZ61FJPh029Cs9v6pwo-_u03F6bt1sLOPKcSX6mLRW9UdNkg&usqp=CAE",
        "Einzelhändler": "ModeSens",
        "Produkt-URL": "https://www.google.com/shopping/product/3486536794175265554?q=louis+vuitton+bags&num=20&udm=28&prds=eto:3199910965274339290_0,pid:10652230344608010943,rsk:PC_17291330636138764321&sa=X&ved=0ahUKEwjOzJ7ex9uHAxUvL0QIHcJdOsEQ8wIIygc"
    },
    .... mehr
]

In den nächsten Abschnitten untersuchen wir, wie Sie einzelne Google Shopping-Produktseiten durchsuchen, um detailliertere Informationen zu erhalten.

Struktur der Google Shopping-Produktseite

Sobald Sie Produkte auf der SERP von Google Shopping gefunden haben, können Sie sich die einzelnen Produktseiten ansehen, um weitere Informationen zu erhalten. Um den größtmöglichen Nutzen zu erzielen, ist es wichtig, die Struktur dieser Seiten zu verstehen.

Schlüsselelemente einer Google Shopping-Produktseite

Google Shopping-Produktseite
  1. Produkttitel und Beschreibung

Der Produkttitel und die Beschreibung informieren Sie über die wichtigsten Merkmale und Vorteile des Produkts.

  1. Preis und Verfügbarkeit

Detaillierte Preise, einschließlich aller Rabatte und Verfügbarkeitsstatus, zeigen, ob der Artikel auf Lager oder ausverkauft ist.

  1. Bilder und Videos

Bilder und Videos zeigen das Produkt aus verschiedenen Blickwinkeln, sodass Sie sich einen Eindruck vom Aussehen des Produkts verschaffen können.

  1. Kundenrezensionen und Bewertungen

Durch Bewertungen und Beurteilungen erhalten Sie einen Eindruck von der Kundenzufriedenheit und der Produktleistung, sodass Sie die Qualität beurteilen können.

  1. Spezifikationen und Features

Angaben wie Größe, Farbe und Material helfen Ihnen dabei, eine fundierte Entscheidung zu treffen.

  1. Händlerinformationen

Informationen zum Einzelhändler, einschließlich Name des Geschäfts und Kontaktinformationen, damit Sie sehen können, wer das Produkt verkauft. Außerdem sind möglicherweise Informationen zu Versand- und Rückgaberichtlinien enthalten.

Im nächsten Abschnitt schreiben wir einen Scraper für Google Shopping-Produktseiten und speichern die gescrapten Daten in einer JSON-Datei.

Scraping der Google Shopping-Produktseite

In diesem Abschnitt führen wir Sie durch das Scraping einzelner Google Shopping-Produktseiten. Dazu gehört das Überprüfen des HTML, das Schreiben eines Scrapers und das Speichern der extrahierten Daten in einer JSON-Datei.

Überprüfen der HTML-Struktur

Bevor Sie Ihren Scraper schreiben, überprüfen Sie mit den Entwicklertools des Browsers die HTML-Struktur einer Google Shopping-Produktseite.

Google Shopping-Produktseitenprüfung
  • Klicken Sie mit der rechten Maustaste auf eine Produktliste und wählen Sie „Untersuchen“, um die Entwicklertools zu öffnen.
  • Bewegen Sie den Mauszeiger über Elemente auf der Registerkarte „Elemente“, um zu sehen, welchem ​​Teil der Seite sie entsprechen.
  • Identifizieren Sie die Tags und Klassen, die die Daten enthalten, die Sie extrahieren möchten, wie etwa Produkttitel, Preise und Bewertungen.

Schreiben eines Google Shopping-Produktseiten-Scrapers

Um eine Google Shopping-Produktseite zu scrapen, verwenden wir die Crawlbase Crawling API um den HTML-Inhalt abzurufen. So können Sie den Scraper einrichten:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

# Initialisieren Sie CrawlingAPI mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({'Zeichen': 'CRAWLBASE_TOKEN'})

# Optionen für die Anfrage festlegen
Optionen = {
    'Land': 'UNS',  # Passen Sie die Landesvorwahl nach Bedarf an
    'Benutzeragent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“,
    'Seite_warten': 5000
}

# Funktion zum Scrapen einer Google Shopping-Produktseite
def Produktseite scrapen(URL):
    # Rufen Sie die Seite mithilfe der Crawlbase-API ab
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        # Produktdetails extrahieren
        Titel = Suppe.select_one(„.sh-np__Produkttitel“).get_text(Streifen=Wahre) if Suppe.Wähle eine(„.sh-np__Produkttitel“) sonst Keine
        Preis = Suppe.select_one(„.T14wmb“).get_text(Streifen=Wahre) if Suppe.Wähle eine(„.T14wmb“) sonst Keine
        Beschreibung = Suppe.select_one('.sh-np__Beschreibung').get_text(Streifen=Wahre) if Suppe.Wähle eine('.sh-np__Beschreibung') sonst Keine
        Bilder = [img['Quelle'] 
für img in Suppe.Auswählen(„.sh-div__image img“)]

        Produktdetails = {
            ‚Titel‘: Titel,
            'Preis': Preis,
            'Bezeichnung': Beschreibung,
            'Bilder': Bilder
        }
        Rückkehr Produktdetails
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

# Beispiel-URL für eine Produktseite
produkt_url = „https://www.google.com/shopping/product/10571198764600207275“
Produktdetails = Produktseite scrapen (Produkt-URL)

Speichern von Daten in einer JSON-Datei

Nachdem Sie die Produktdaten extrahiert haben, können Sie diese zur Analyse oder Weiterverarbeitung in einer JSON-Datei speichern:

1
2
3
4
5
6
7
def in JSON speichern(Daten, Dateiname='produkt_details.json'):
    mit XNUMXh geöffnet(Dateiname, 'w', Kodierung='utf-8') as f:
        json.dump(Daten, f, Ensure_ASCII=falsch, Einzug=4)

# Produktdetails in JSON speichern
if produkt_details:
    save_to_json(Produktdetails)

Code vervollständigen

Unten finden Sie den vollständigen Code zum Scrapen einer Google Shopping-Produktseite und zum Speichern der Daten in einer JSON-Datei:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

# Initialisieren Sie CrawlingAPI mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({'Zeichen': 'CRAWLBASE_TOKEN'})

Optionen = {
    'Land': 'FR',
    "Benutzeragent": „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“
}

def Produktseite scrapen(URL):
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        Titel = Suppe.select_one(„span.sh-t__title-pdp.sh-t__title“).text.strip() if Suppe.Wähle eine(„span.sh-t__title-pdp.sh-t__title“) sonst Keine
        Preis = Suppe.select_one(„span.g9WBQb“).text.strip() if Suppe.Wähle eine(„span.g9WBQb“) sonst Keine
        Beschreibung = Suppe.select_one('p.sh-ds__desc').text.strip() if Suppe.Wähle eine('p.sh-ds__desc') sonst Keine
        Bilder = [img['Quelle'] 
für img in Suppe.Auswählen(„div.Hauptbild > img“)]8.

        Produktdetails = {
            ‚Titel‘: Titel,
            'Preis': Preis,
            'Bezeichnung': Beschreibung,
            'Bilder': Bilder
        }
        Rückkehr Produktdetails
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

def in JSON speichern(Daten, Dateiname='produkt_details.json'):
    mit XNUMXh geöffnet(Dateiname, 'w', Kodierung='utf-8') as f:
        json.dump(Daten, f, Ensure_ASCII=falsch, Einzug=4)

produkt_url = „https://www.google.com/shopping/product/10571198764600207275“
Produktdetails = Produktseite scrapen (Produkt-URL)

if produkt_details:
    save_to_json(Produktdetails)

Beispielausgabe:

1
2
3
4
5
6
7
8
9
{
  „Titel“: "Louis Vuitton Speedy Bandouliere 25 Schwarz",
  "Preis": "$ 4,059.00",
  „Beschreibung“: „Bitte beachten: Dieser Artikel wird mit einem Staubbeutel geliefert, der Karton wird nicht benötigt.“,
  "Bilder": [
    "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcQAipo2LXesayTJ_iC-3a6Z8JfDW4gvn11c26qcNRRBBTzdIpCmjW98JMysQ6W3iEsubeMIqem0ta5wT6-Q4LgXxSG9OG86BgaHrO4FoiD9WUlFv3ks3JjKzw&usqp=CAY",
    "https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcTWWrHYy89sfQwWynpx8_4qBe4hMMyEBOVsy8F_szfqkXJaB5DLzqNwJ2NaPfyalXnGQfc2DgOR3nOYoAIH-K_fKlKJNhGC&usqp=CAY"
  ]
}

Im nächsten Abschnitt beenden wir unsere Diskussion mit abschließenden Gedanken zum Scraping von Google Shopping.

Scrapen Sie Google Shopping mit Crawlbase

Das Scraping von Daten aus Google Shopping hilft Ihnen, Produkttrends, Preise und die Meinung der Kunden zu verstehen. Mit dem Crawlbase Crawling API kann Ihnen helfen, Probleme wie IP-Blockierung und sich häufig ändernde Inhalte zu vermeiden, was die Datenerfassung vereinfacht. Indem Sie Crawlbase zum Abrufen der Daten, BeautifulSoup zum Lesen des HTML und JSON zum Speichern der Daten verwenden, können Sie effektiv detaillierte und wertvolle Informationen sammeln.

Denken Sie bei der Implementierung dieser Techniken daran, ethische Richtlinien und rechtliche Standards einzuhalten, um sicherzustellen, dass Sie bei der Datenerfassung verantwortungsbewusst und respektvoll vorgehen.

Wenn Sie sich für das Scraping von anderen E-Commerce-Plattformen interessieren, können Sie sich die folgenden umfassenden Anleitungen ansehen.

📜 Wie man Amazon scrapt
📜 Wie man Walmart scrapt
📜 So scrapen Sie AliExpress
📜 Wie man Flipkart scrapt
📜 Wie man Etsy scrapt

Bei Fragen oder Anregungen steht Ihnen unser Support-Team steht Ihnen jederzeit zur Verfügung, um Sie bei Ihrem Web Scraping-Vorhaben zu unterstützen. Vielen Dank, dass Sie dieser Anleitung gefolgt sind. Viel Spaß beim Scraping!

Häufig gestellte Fragen

Das Scraping von Google Shopping-Daten kann legal sein, aber es ist wichtig, die Nutzungsbedingungen der Website einzuhalten, und viele Benutzer sind der Meinung, dass dies mit Respekt und Vorsicht möglich ist. Wenn Sie sich nicht sicher sind, suchen Sie professionellen Rechtsbeistand. Die Verwendung offizieller APIs (sofern verfügbar) ist auch eine hervorragende Möglichkeit, Daten ohne rechtliche Probleme abzurufen. Scraping ist immer verantwortungsbewusst und im Rahmen der Richtlinien.

F: Welche Daten kann ich aus den Produktseiten von Google Shopping extrahieren?

Beim Scraping von Google Shopping-Produktseiten können Sie die folgenden Datenpunkte extrahieren. Produktname zur Identifizierung des Produkts, Preise um den aktuellen Preis und Rabatt anzuzeigen und Beschreibung um Produkteigenschaften anzuzeigen. Sie können auch Bildern zur visuellen Darstellung, Bewertungen und Rezensionen für Kundenfeedback und Spezifikationen wie Größe und Farbe für technische Details. Diese Daten sind nützlich für Marktanalysen, Preisvergleiche und Kundenmeinungen.

F: Wie kann ich mit Websites umgehen, die Scraping-Versuche blockieren oder einschränken?

Websites blockieren Scraping durch IP-Blockierung, Ratenbegrenzung und CAPTCHAs. Um diese Probleme zu lösen, verwenden Sie IP-Rotation Dienste wie Crawlbase Crawling API um IP-Blockaden zu vermeiden. Rotieren Benutzeragenten um verschiedene Browser zu imitieren und das Erkennungsrisiko zu verringern. Implementieren Anforderungsdrosselung um Ihre Anfragen zu verteilen und Ratenbegrenzungen zu vermeiden. Für CAPTCHA-UmgehungEinige APIs, darunter Crawlbase, können Ihnen dabei helfen, diese Hürden zu überwinden und eine kontinuierliche Datenextraktion zu erreichen.

F: Was soll ich tun, wenn sich die Struktur der Produktseite ändert?

Wenn sich die Struktur der Google Shopping-Produktseite ändert, müssen Sie Ihren Scraping-Code aktualisieren, um ihn an das neue Layout anzupassen. So geht's

  • Regelmäßige Überwachung: Überwachen Sie die Produktseite regelmäßig, um Aktualisierungen oder Änderungen in der HTML-Struktur zu erkennen.
  • Selektoren aktualisieren: Aktualisieren Sie Ihren Scraping-Code, um neue Tags, Klassen oder IDs widerzuspiegeln, die auf der Seite verwendet werden.
  • Prüfschaber: Testen Sie Ihren aktualisierten Code, um sicherzustellen, dass er die erforderlichen Daten mit der neuen Struktur extrahiert.
  • Ausnahmen behandeln: Implementieren Sie die Fehlerbehandlung in Ihren Code, um Szenarien zu behandeln, in denen erwartete Elemente fehlen oder geändert wurden. Seien Sie proaktiv und passen Sie sich an Änderungen an, um eine genaue Datenextraktion zu erhalten.

F: Verfügt Google Shopping über APIs?

Ja, Google Shopping bietet APIs, mit denen Entwickler Google Shopping-Funktionen in ihre Anwendungen integrieren können. Google Shopping-APIs helfen Unternehmen dabei, ihre E-Commerce-Abläufe zu optimieren, indem sie Aufgaben im Zusammenhang mit der Verwaltung von Produktlisten, Werbekampagnen und der Leistungsüberwachung automatisieren.