Best Buy wurde 1966 von Richard M. Schulze und Gary Smoliak gegründet und ist heute ein führender Akteur im Elektronikeinzelhandel. Was als kleiner Laden in St. Paul, Minnesota, begann, ist heute zu einem Einzelhandelsriesen mit über 1,000 Geschäfte in ganz Amerika. Best Buy bietet eine große Auswahl an Unterhaltungselektronik, Haushaltsgeräten und Unterhaltungsprodukten und ist damit eine zentrale Anlaufstelle für Technikbegeisterte und normale Verbraucher.

Bis Dezember 2023 verzeichnete die Website 131.9 Millionen Besuche aus verschiedenen Teilen der Welt, was ihre Bedeutung als digitaler Marktplatz unterstreicht. Die große Vielfalt an Produktangeboten von Best Buy und die dynamische Natur der Website machen sie zu einem attraktiven Ort für die Datenextraktion.

Best Buy Statistiken

Warum Daten von Best Buy scrapen? Die Antwort liegt in der Fülle an Erkenntnissen, die darauf warten, entdeckt zu werden. Mit einer Vielzahl von Benutzern, die durch die digitalen Regale navigieren, wird Best Buy zu einer reichhaltigen Quelle für Trends, Preisdynamik und Verbraucherpräferenzen. Egal, ob Sie Marktforscher, Preisstratege oder Technikbegeisterter sind, die Möglichkeit, Daten von Best Buy zu scrapen, öffnet Türen zu einer Fülle von Informationen und ermöglicht fundierte Entscheidungen und strategische Planung.

Inhaltsverzeichnis

  1. Informationen zur Best Buy-Website
  • BestBuy.com SERP-Layout
  • Schlüsselelemente zum Scrapen
  • Best Buy-Daten – Anwendungsfälle
  1. Einrichten Ihrer Umgebung
  • Installieren von Python und erforderlichen Bibliotheken
  • Auswählen einer Entwicklungs-IDE
  1. DIY-Ansatz mit Python
  • HTML mithilfe der Requests-Bibliothek abrufen
  • Überprüfung der Best Buy-Website auf CSS-Selektoren
  • Verwenden von BeautifulSoup zum HTML-Parsing
  • Nachteile des DIY-Ansatzes
  1. Crawlbase verwenden Crawling API für Best Buy
  • Crawlbase-Registrierung und API-Token
  • Zugriff auf die Crawling API mit Crawlbase Library
  • Müheloses Extrahieren von Best Buy-Produktdaten
  • Umgang mit Paginierung
  1. Abschließende Überlegungen
  2. Häufig gestellte Fragen

Informationen zur Best Buy-Website

Die Website von Best Buy, BestBuy.com, präsentiert eine strukturierte und dynamische Landschaft, die wertvolle Informationen für alle bereithält, die sich in das Web Scraping wagen.

BestBuy.com SERP-Layout

Stellen Sie sich BestBuy.com als einen gut organisierten digitalen Katalog vor. Genau wie eine Zeitung mit Schlagzeilen, Hauptartikeln und Nebenteilen folgt die Struktur der Suchmaschinen-Ergebnisseite von Best Buy einem sorgfältig entworfenen Format.

Bester Kauf SERP
  • Product Showcase: Es ist wie die Hauptartikel einer Zeitung und zeigt Ihnen die besten und beliebtesten Produkte zu Ihrem Suchbegriff.
  • Suchleiste: Dies ist wie die große Schlagzeile in einer Zeitung. Sie geben hier ein, was Sie auf BestBuy.com finden möchten.
  • Search Filter: Diese sind wie die organisierten Abschnitte auf der Seite. Sie helfen Ihnen, Ihre Suche einzugrenzen, indem Sie Dinge wie Marke, Preisspanne und Kundenbewertungen auswählen können. So finden Sie leichter genau das, was Sie wollen.
  • Personen, die auch/oft angesehen wurden: Dieser Teil befindet sich neben der Hauptproduktpräsentation. Er zeigt Ihnen andere Produkte, die Leute wie Sie angeschaut oder gekauft haben. Es ist, als würden Sie Vorschläge von anderen Käufern erhalten, die Ihnen helfen, neue Dinge zu entdecken.
  • Fußzeile: Dies ist ganz unten, wie der untere Teil einer Zeitung. Es enthält Links zu verschiedenen Teilen der Best Buy-Website sowie Informationen zu Richtlinien und Bedingungen. Es ist sozusagen der Abschluss Ihres Einkaufsbummels und enthält alles, was Sie möglicherweise benötigen.

Das Verständnis dieses Layouts ermöglicht unserem Best Buy Scraper, effizient durch die virtuellen Gänge zu navigieren.

Wichtige Elemente zum Scrapen

Nachdem wir nun das SERP-Layout von Best Buy verstanden haben, können wir nun die wesentlichen Datenpunkte für die Extraktion herausarbeiten:

  1. Produktauflistungen: Der Hauptfokus unserer Scrape Best Buy-Mission liegt auf dem Erhalt einer Liste mit für die Suche relevanten Produkten.
  2. Produktnamen: So wie die Schlagzeilen einer Zeitung einen schnellen Überblick über die wichtigsten Themen geben, dienen die Produktnamen als Titel der einzelnen aufgeführten Artikel.
  3. Produkt-Beschreibungen: Unter jedem Produktnamen finden Benutzer normalerweise eine kurze Beschreibung oder einen Ausschnitt, der Einblicke in die Funktionen des Produkts bietet, ohne darauf klicken zu müssen.
  4. Häufig angesehene Produkte: In diesem Abschnitt werden Produkte angezeigt, die andere Käufer häufig angesehen haben. Es ist wie eine Empfehlung der Online-Community und bietet Benutzern zusätzliche Optionen auf der Grundlage beliebter Auswahlmöglichkeiten.
  5. Werbeartikel: Gelegentlich können die ersten Ergebnisse Werbeinhalte enthalten. Es ist wichtig, diese als Werbung zu erkennen und sie von organischen Einträgen zu unterscheiden.

Das Verständnis der SERP-Datenpunkte von Best Buy dient uns als Leitfaden für unsere Scraping-Bemühungen und ermöglicht uns die effiziente Erfassung relevanter Informationen aus den digitalen Regalen von Best Buy.

Best Buy-Datenanwendungsfälle

Die Informationen, die wir von der Website von Best Buy erhalten, sind wirklich nützlich und können auf viele verschiedene Arten verwendet werden. Schauen wir uns einige interessante Beispiele an:

Best Buy-Datenanwendungsfälle
  1. Market Insights: Verstehen Sie Preistrends, Verbraucherpräferenzen und Markenpopularität, um fundierte Marktentscheidungen zu treffen.
  2. Wettbewerbsfähige Preisanpassung: Bleiben Sie wettbewerbsfähig, indem Sie Einblicke in die Preisstrategien der Wettbewerber und die Preisdynamik auf dem Markt gewinnen.
  3. Technische Aktualisierungen: Bleiben Sie über die neuesten Gadgets, Innovationen und Produkteinführungen für Technikbegeisterte auf dem Laufenden.
  4. Analyse des Verbraucherverhaltens: Entwickeln Sie Marketingstrategien, indem Sie analysieren, wie Verbraucher mit Produkten interagieren und auf Werbeaktionen reagieren.
  5. Bestandsoptimierung: Effizientes Lagermanagement mit Echtzeitinformationen zu Produktverfügbarkeit, Lagerbeständen und Nachfragetrends.

Das Verständnis dieser Anwendungsfälle unterstreicht die Praktikabilität und Bedeutung des Web Scraping bei der Extraktion verwertbarer Informationen aus dem digitalen Marktplatz von Best Buy.

Einrichten Ihrer Umgebung

Um Ihnen den Einstieg in das Web Scraping zu erleichtern, richten wir eine Umgebung ein, die den Prozess optimiert. Hier sind die Schritte, die Sie zum Einstieg benötigen:

Installieren von Python und erforderlichen Bibliotheken

Beginnen Sie mit der Installation von Python, dem Kraftpaket für Web Scraping-Aufgaben. Besuchen Sie die offizielle Python-Website, laden Sie die neueste Version herunter und folgen Sie den Installationsanweisungen. Sobald Python läuft, ist es an der Zeit, es mit den wesentlichen Bibliotheken für das Web Scraping auszustatten:

  • Anfragen Bibliothek: Diese vielseitige Bibliothek vereinfacht HTTP-Anfragen und ermöglicht Ihnen das mühelose Abrufen von Webseiten. Installieren Sie sie mit dem folgenden Befehl:
1
Pip Installationsanforderungen
  • Schöne Suppe: Beautiful Soup ist ein leistungsstarker HTML-Parser, der beim Extrahieren von Daten aus HTML- und XML-Dateien hilft. Installieren Sie ihn mit dem folgenden Befehl:
1
pip install beautifulsoup4
  • Crawlbase-Bibliothek: Um die erweiterten Funktionen von Crawlbase zu nutzen Crawling API, installieren Sie die Crawlbase-Bibliothek. Installieren Sie sie mit dem folgenden Befehl:
1
pip installieren crawlbase

Auswählen einer Entwicklungs-IDE

Die Wahl der richtigen integrierten Entwicklungsumgebung (IDE) kann Ihr Programmiererlebnis angenehmer machen. Hier sind einige Optionen, die Sie in Betracht ziehen sollten:

  • Visual Studio Code (VSCode): Ein benutzerfreundlicher und funktionsreicher Code-Editor. Holen Sie ihn sich von der offizielle VSCode-Website.
  • PyCharm: Eine robuste Python-IDE mit erweiterten Funktionen. Sie können die Community-Edition herunterladen HIER.
  • Google Colab: Eine Online-Plattform, mit der Sie Python-Code gemeinsam in der Cloud schreiben und ausführen können. Zugriff über Google Colab.

Sobald Sie Python installiert und die erforderlichen Bibliotheken eingerichtet haben und das von Ihnen gewählte Codierungstool bereit ist, können Sie problemlos Best Buy durchsuchen. Lassen Sie uns nun mit dem Codierungsteil beginnen und wertvolle Daten von BestBuy.com abrufen.

DIY-Ansatz mit Python

In unserem Beispiel konzentrieren wir uns auf das Scraping von Daten zum Thema „iPhone“ von der Best Buy-Website. Lassen Sie uns den Prozess in überschaubare Teile aufteilen:

HTML mithilfe der Requests-Bibliothek abrufen

Beginnen Sie Ihre Reise, indem Sie die Leistungsfähigkeit der Requests-Bibliothek nutzen. Dieses praktische Python-Modul fungiert als Ihr virtueller Messenger, mit dem Sie mit den Servern von Best Buy kommunizieren können. Mit ein paar Zeilen Code können Sie den HTML-Inhalt von der Website abrufen und so die Grundlage für die Datenextraktion legen.

1
2
3
4
5
6
7
8
9
10
11
12
13
importieren Zugriffe
für urllib.parse importieren Angebot!

URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${Zitat("iPhone")}'
Header = {'Benutzer-Agent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0“}

Antwort = Anfragen.get(URL, Header=Header)

if Antwort.Statuscode == 200:
    html_content = antwort.text
    drucken(HTML-Inhalt)
sonst:
    drucken(f'HTML-Inhalt konnte nicht abgerufen werden. Statuscode: {response.status_code}')

Starten Sie Ihren bevorzugten Texteditor oder Ihre bevorzugte IDE, kopieren Sie den bereitgestellten Code und speichern Sie ihn in einer Python-Datei. Beschriften Sie ihn beispielsweise mit bestbuy_scraper.py.

Führen Sie das Skript aus:

Starten Sie Ihr Terminal oder Ihre Eingabeaufforderung und navigieren Sie zu dem Ordner, in dem Sie gespeichert haben bestbuy_scraper.py. Starten Sie das Skript mit dem folgenden Befehl:

1
python bestbuy_scraper.py

Wenn Sie die Eingabetaste drücken, werden Sie Zeuge der Verzauberung, wenn Ihr Skript aktiv wird, eine Anfrage an die Best Buy-Website sendet, den HTML-Inhalt beschafft und ihn auf Ihrem Terminalbildschirm anzeigt.

Best Buy - Gescraptes HTML

Überprüfung der Best Buy-Website auf CSS-Selektoren

Best Buy SERP-Inspektion
  1. Öffnen Sie die Entwicklertools: Klicken Sie mit der rechten Maustaste auf die Webseite im Browser und wählen Sie „Untersuchen“ (oder „Element untersuchen“). Diese Aktion öffnet die Entwicklertools und ermöglicht den Zugriff auf die HTML-Struktur.
  2. HTML-Elemente durchlaufen: Navigieren Sie im Bereich „Entwicklertools“ durch die HTML-Elemente, um die spezifischen Daten zu ermitteln, die zum Scraping vorgesehen sind. Suchen Sie nach eindeutigen Kennungen, Klassen oder Tags, die mit den gesuchten Informationen verknüpft sind.
  3. Pinpoint-CSS-Selektoren: Notieren Sie die CSS-Selektoren, die den relevanten Elementen entsprechen. Diese Selektoren werden zu wichtigen Wegweisern für Ihr Python-Skript und helfen ihm, die gewünschten Daten zu finden und zu erfassen.

Verwenden von BeautifulSoup zum HTML-Parsing

Sobald Sie den HTML-Inhalt und die CSS-Selektoren in Ihren Händen haben, ist es an der Zeit, BeautifulSoup einzusetzen. Diese Python-Bibliothek ist Ihr Assistent beim Navigieren und Verstehen der HTML-Struktur. Mit ihrer Hilfe können Sie die relevanten Informationen nahtlos herausstellen und extrahieren.

Für das Beispiel extrahieren wir wesentliche Details wie die Produkttitel, Bewertung, Anzahl der Rezensionen, Preis und URL-Link (Produktseiten-URL) für jedes Produkt, das auf der angegebenen Best Buy-Suchseite aufgeführt ist. Lassen Sie uns unser vorheriges Skript erweitern und diese Informationen aus HTML extrahieren.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
importieren Zugriffe
für urllib.parse importieren Angebot!
für bs4 importieren BeautifulSuppe
importieren JSON

def scrape_bestbuy_listing(URL):
    Header = {'Benutzer-Agent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0“}

    Antwort = Anfragen.get(URL, Header=Header)

    Suchergebnisse = []

    if Antwort.Statuscode == 200:
        html_content = antwort.text
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        Produkte = Suppe.Auswahl(„ol.sku-Artikelliste li.sku-Artikel“)

        
für PRODUKTE in Produkte:
            Titelelement = Produkt.Wählen Sie eins aus(„div.column-middle h4.sku-title > a“)
            Bewertungselement = Produkt.Wählen Sie eins aus('div.column-middle div.variation-info > div.bewertungen-rezensionen div.c-bewertungen-rezensionen > p')
            Bewertungsanzahlelement = Produkt.Wählen Sie eins aus(„.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > span.c-reviews“)
            Preiselement = Produkt.Wählen Sie eins aus('div.Spalte rechts > div.sku-list-item-price div[data-testid="Kundenpreis"] > Spanne')
            Produkt-URL-Element = Produkt.Wählen Sie eins aus(„.column-middle h4.sku-title > a“)

            Produktdaten = {
                'Titel': Titelelement.Text.Streifen() if Titelelement sonst Keine,
                'Bewertung': Bewertungselement.text.strip() if Bewertungselement sonst Keine,
                „Anzahl der Bewertungen“: review_count_element.text.strip() if Bewertungsanzahlelement sonst Keine,
                'Preis': Preiselement.text.strip() if Preiselement sonst Keine,
                'Produkt-URL': „https://www.bestbuy.com“ + Produkt-URL-Element['href'] if Produkt-URL-Element sonst Keine
            }

            Suchergebnisse.Anhängen(Produktdaten)

    sonst:
        drucken(f'Fehler: {response.status_code}')

    Rückkehr Suchergebnisse

def Haupt-†
    Suchbegriff = "iPhone"
    URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${quote(Suchbegriff)}'
    Ergebnisse = scrape_bestbuy_listing(URL)

    drucken(json.dumps(Ergebnisse, Einzug=2))

if __name__ == "__hauptsächlich__":
    Main()

Dieses Skript verwendet die BeautifulSoup Bibliothek zum Parsen des HTML-Inhalts der Antwort. Sie extrahiert die gewünschten Details aus den HTML-Elementen, die jedem Produkt in den Suchergebnissen entsprechen. Die extrahierten Daten werden in einer Liste von Wörterbüchern organisiert, wobei jedes Wörterbuch die Informationen eines einzelnen Produkts darstellt. Das Skript druckt die Ergebnisse dann in einem gut formatierten JSON-Format aus.

Aber wird das HTML, das wir erhalten, auch die nützlichen Informationen enthalten? Sehen wir uns die Ausgabe des obigen Skripts an:

1
[]

Die Ausgabe wird wie folgt angezeigt: leere Liste weil Best Buy JavaScript verwendet, um Suchergebnisse auf seiner SERP-Seite dynamisch zu generieren. Wenn Sie eine HTTP-Anfrage an die Best Buy-URL senden, fehlen der HTML-Antwort aussagekräftige Daten, was zu einem Mangel an wertvollen Informationen führt.

Nachteile des DIY-Ansatzes

Der DIY-Ansatz mit Python zum Scraping von Best Buy bietet zwar praktische Erfahrung, bringt jedoch auch inhärente Nachteile mit sich, die sich auf die Effizienz und Skalierbarkeit auswirken können:

Begrenzte Skalierbarkeit:

  • Ineffizienz bei großen Datensätzen: Bei der Verarbeitung umfangreicher Datenextraktionsaufgaben kann es bei DIY-Skripten zu Ineffizienzen kommen, die zu Leistungsproblemen führen.
  • Ressourcenintensität: Scraping im großen Maßstab kann die Systemressourcen belasten und die Gesamtleistung des Scraping-Skripts beeinträchtigen.
  • Ratenbegrenzung und IP-Blockierung: Die Server von Best Buy können Ratenbegrenzungen festlegen und Anfragen verlangsamen oder blockieren, wenn sie einen bestimmten Schwellenwert überschreiten. DIY-Ansätze können mit Ratenbegrenzungen möglicherweise Schwierigkeiten haben, was zu Störungen beim Datenabruf führen kann.

Umgang mit dynamischem Inhalt:

  • Herausforderungen mit JavaScript-gesteuerten Elementen: DIY-Ansätze haben möglicherweise Probleme bei der Interaktion mit dynamisch geladenen Inhalten, die stark auf JavaScript basieren.
  • Unvollständiger Datenabruf: In Szenarien mit vorherrschendem dynamischem Inhalt kann die DIY-Methode möglicherweise nicht alle Informationen erfassen.

Während der DIY-Ansatz wertvolle Einblicke und ein tieferes Verständnis der Grundlagen des Web Scrapings bietet, betonen diese Nachteile die Notwendigkeit einer effizienteren und skalierbareren Lösung. In den folgenden Abschnitten werden wir die Crawlbase Crawling API– eine leistungsstarke Lösung, die diese Einschränkungen überwindet und den Best Buy-Scraping-Prozess optimiert.

Crawlbase verwenden Crawling API für Best Buy

Die Nutzung des vollen Potenzials von Web Scraping für Best Buy wird durch die Integration von Crawlbase zum Kinderspiel Crawling APIDie Crawlbase Crawling API macht Web Scraping für Entwickler einfach und effizient. Parameter ermöglichen uns die mühelose Erledigung verschiedener Schabeaufgaben.

Hier ist eine Schritt-für-Schritt-Anleitung zur Nutzung der Leistung dieser dedizierten API:

Crawlbase-Registrierung und API-Token

Abrufen von Best Buy-Daten mit einem Crawling API beginnt mit der Erstellung eines Kontos auf der Crawlbase-Plattform. Wir führen Sie durch den Kontoeinrichtungsprozess für Crawlbase:

  1. Navigieren Sie zu Crawlbase: Öffnen Sie Ihren Webbrowser und gehen Sie zur Crawlbase-Website Registrieren Seite, um mit der Registrierung zu beginnen.
  2. Geben Sie Ihre Anmeldeinformationen an: Geben Sie Ihre E-Mail-Adresse ein und erstellen Sie ein Passwort für Ihr Crawlbase-Konto. Stellen Sie sicher, dass Sie die erforderlichen Angaben korrekt ausfüllen.
  3. Kein Verkauf personenbezogener Informationen: Nach dem Absenden Ihrer Daten erhalten Sie möglicherweise eine Bestätigungs-E-Mail. Achten Sie darauf und führen Sie die in der E-Mail beschriebenen Bestätigungsschritte aus.
  4. Anmelden: Sobald Ihr Konto verifiziert ist, kehren Sie zur Crawlbase-Website zurück und melden Sie sich mit den gerade erstellten Anmeldeinformationen an.
  5. Sichern Sie Ihr API-Token: Zugriff auf die Crawlbase Crawling API erfordert ein API-Token und Sie finden Ihr Token in Ihrem Kontodokumentation.

Schnelle Notiz: Crawlbase bietet zwei Arten von Tokens – einen für statische Websites und einen für dynamische oder JavaScript-basierte Websites. Da unser Schwerpunkt auf dem Scraping von Best Buy liegt, verwenden wir JS-Tokens.

Bonus: Crawlbase bietet ein Startkontingent von 1,000 kostenlose Anfragen für die Crawling API, was es zu einer idealen Wahl für unsere Web-Scraping-Expedition macht.

Zugriff auf die Crawling API mit Crawlbase Library

Integrieren Sie die Crawlbase-Bibliothek mithilfe des bereitgestellten API-Tokens in Ihre Python-Umgebung. Die Crawlbase-Bibliothek fungiert als Brücke und verbindet Ihre Python-Skripte mit den robusten Funktionen der Crawling API. Der bereitgestellte Codeausschnitt zeigt, wie man den Crawling API durch die Crawlbase Python-Bibliothek.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
für Crawlbase importieren CrawlingAPI
für urllib.parse importieren Angebot!

API_TOKEN = 'IHR_CRAWLBASE_JS_TOKEN'
crawling_api = CrawlingAPI({'Zeichen': API_TOKEN})

URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${Zitat("iPhone")}'

Antwort = crawling_api.get(URL)

if Antwort['Kopfzeilen']['pc_status'] == '200':
    html_content = Antwort['Körper'].dekodieren('utf-8')
    drucken(HTML-Inhalt)
sonst:
    drucken(f"Seite konnte nicht abgerufen werden. Crawlbase-Statuscode: {Antwort['Kopfzeilen']['pc_status']}")

Detaillierte Dokumentation der Crawling API ist auf der Crawlbase-Plattform verfügbar. Sie können es lesen HIERWenn Sie mehr über die Crawlbase Python-Bibliothek erfahren und weitere Anwendungsbeispiele sehen möchten, finden Sie die Dokumentation HIER.

Zielproduktdaten mühelos extrahieren

Mit der Crawlbase Crawling API, wird das Abrufen von Details zu Best Buy-Produkten einfach. Durch die Verwendung eines JS-Tokens und das Optimieren von API-Einstellungen wie ajax_wait und page_wait können wir JavaScript-Rendering handhaben. Lassen Sie uns unser DIY-Skript verbessern, indem wir Folgendes einbinden: Crawling API.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
für Crawlbase importieren CrawlingAPI
für urllib.parse importieren Angebot!
für bs4 importieren BeautifulSuppe
importieren JSON

def scrape_bestbuy_listing(API, URL):
    Optionen = {
        'Benutzeragent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0“,
        'ajax_wait': "wahr",
        'Seite_warten': 5000
    }

    Antwort = api.get(URL, Optionen)

    Suchergebnisse = []

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        Produkte = Suppe.Auswahl(„ol.sku-Artikelliste li.sku-Artikel“)

        
für PRODUKTE in Produkte:
            Titelelement = Produkt.Wählen Sie eins aus(„div.column-middle h4.sku-title > a“)
            Bewertungselement = Produkt.Wählen Sie eins aus('div.column-middle div.variation-info > div.bewertungen-rezensionen div.c-bewertungen-rezensionen > p')
            Bewertungsanzahlelement = Produkt.Wählen Sie eins aus(„.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > span.c-reviews“)
            Preiselement = Produkt.Wählen Sie eins aus('div.Spalte rechts > div.sku-list-item-price div[data-testid="Kundenpreis"] > Spanne')
            Produkt-URL-Element = Produkt.Wählen Sie eins aus(„.column-middle h4.sku-title > a“)

            Produktdaten = {
                'Titel': Titelelement.Text.Streifen() if Titelelement sonst Keine,
                'Bewertung': Bewertungselement.text.strip() if Bewertungselement sonst Keine,
                „Anzahl der Bewertungen“: review_count_element.text.strip() if Bewertungsanzahlelement sonst Keine,
                'Preis': Preiselement.text.strip() if Preiselement sonst Keine,
                'Produkt-URL': „https://www.bestbuy.com“ + Produkt-URL-Element['href'] if Produkt-URL-Element sonst Keine
            }

            Suchergebnisse.Anhängen(Produktdaten)

    sonst:
        drucken(f'Fehler: {Antwort[„Kopfzeilen“]["pc_status"]}')

    Rückkehr Suchergebnisse

def Haupt-†
    API_TOKEN = 'IHR_CRAWLBASE_JS_TOKEN'
    crawling_api = CrawlingAPI({'Zeichen': API_TOKEN})

    Suchbegriff = "iPhone"
    URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${quote(Suchbegriff)}'
    Ergebnisse = scrape_bestbuy_listing(crawling_api, url)

    drucken(json.dumps(Ergebnisse, Ensure_ascii=falsch, Einzug=2))

if __name__ == "__hauptsächlich__":
    Main()

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
[
  {
    "Titel": „Apple – iPhone 14 128 GB (entsperrt) – Mitternacht“,
    "Bewertung": „Bewertung 4.9 von 5 Sternen bei 155 Bewertungen“,
    „Anzahl der Bewertungen“: „(155)“,
    "Preis": "$ 729.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-iphone-14-128gb-unlocked-midnight/6507555.p?skuId=6507555“
  },
  {
    "Titel": „Apple – iPhone 14 Plus 128 GB (entsperrt) – Mitternacht“,
    "Bewertung": „Bewertung 4.9 von 5 Sternen bei 82 Bewertungen“,
    „Anzahl der Bewertungen“: „(82)“,
    "Preis": "$ 829.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-iphone-14-plus-128gb-unlocked-midnight/6507549.p?skuId=6507549“
  },
  {
    "Titel": „Apple – iPhone SE (3. Generation) 64 GB (entsperrt)“,
    "Bewertung": „Bewertung 4.5 von 5 Sternen bei 111 Bewertungen“,
    „Anzahl der Bewertungen“: „(111)“,
    "Preis": "$ 429.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-iphone-se-3rd-generation-64gb-unlocked/6507470.p?skuId=6507470“
  },
  {
    "Titel": „Apple – iPhone 13 5G 128 GB (entsperrt) – Mitternacht“,
    "Bewertung": „Bewertung 4.8 von 5 Sternen bei 878 Bewertungen“,
    „Anzahl der Bewertungen“: „(878)“,
    "Preis": "$ 629.99",
    "Produkt-URL": "https://www.bestbuy.com/site/apple-iphone-13-5g-128gb-unlocked-midnight/6417788.p?skuId=6417788"
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone SE (2020) 64 GB (entsperrt) – Rot“,
    "Bewertung": „Bewertung 4.2 von 5 Sternen bei 471 Bewertungen“,
    „Anzahl der Bewertungen“: „(471)“,
    "Preis": "$ 189.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-se-2020-64gb-unlocked-red/6561418.p?skuId=6561418“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 11 128 GB (entsperrt) – Schwarz“,
    "Bewertung": „Bewertung 4.2 von 5 Sternen bei 156 Bewertungen“,
    „Anzahl der Bewertungen“: „(156)“,
    "Preis": "$ 359.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-11-128gb-unlocked-black/6505707.p?skuId=6505707“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 13 Pro Max 5G 128 GB (entsperrt) – Graphit“,
    "Bewertung": „Bewertung 4.7 von 5 Sternen bei 27 Bewertungen“,
    „Anzahl der Bewertungen“: „(27)“,
    "Preis": "$ 799.99",
    "Produkt-URL": "https://www.bestbuy.com/site/apple-pre-owned-iphone-13-pro-max-5g-128gb-unlocked-graphite/6563055.p?skuId=6563055"
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone XR 128 GB (entsperrt) – Schwarz“,
    "Bewertung": „Bewertung 4.3 von 5 Sternen bei 1350 Bewertungen“,
    „Anzahl der Bewertungen“: „(1,350)“,
    "Preis": "$ 259.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-xr-128gb-unlocked-black/6398614.p?skuId=6398614“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone X 256 GB (entsperrt) – Silber“,
    "Bewertung": „Bewertung 3.8 von 5 Sternen bei 1026 Bewertungen“,
    „Anzahl der Bewertungen“: „(1,026)“,
    "Preis": "$ 259.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-x-256gb-unlocked-silver/6394666.p?skuId=6394666“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 11 Pro 256 GB (entsperrt) – Gold“,
    "Bewertung": „Bewertung 4 von 5 Sternen bei 79 Bewertungen“,
    „Anzahl der Bewertungen“: „(79)“,
    "Preis": "$ 379.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-11-pro-256gb-unlocked-gold/6502951.p?skuId=6502951“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 11 64 GB (entsperrt) – Weiß“,
    "Bewertung": „Bewertung 4.4 von 5 Sternen bei 547 Bewertungen“,
    „Anzahl der Bewertungen“: „(547)“,
    "Preis": "$ 329.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-11-64gb-unlocked-white/6505705.p?skuId=6505705“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone SE (2020) 128 GB (entsperrt) – Rot“,
    "Bewertung": „Bewertung 4.2 von 5 Sternen bei 131 Bewertungen“,
    „Anzahl der Bewertungen“: „(131)“,
    "Preis": "$ 219.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-se-2020-128gb-unlocked-red/6495540.p?skuId=6495540“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone XR 64 GB (entsperrt) – Blau“,
    "Bewertung": „Bewertung 4.3 von 5 Sternen bei 1351 Bewertungen“,
    „Anzahl der Bewertungen“: „(1,351)“,
    "Preis": "$ 249.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-xr-64gb-unlocked-blue/6398597.p?skuId=6398597“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 14 5G 128 GB (entsperrt) – Blau“,
    "Bewertung": „Bewertung 4.9 von 5 Sternen bei 8 Bewertungen“,
    „Anzahl der Bewertungen“: „(8)“,
    "Preis": "$ 629.99",
    "Produkt-URL": "https://www.bestbuy.com/site/apple-pre-owned-iphone-14-5g-128gb-unlocked-blue/6558737.p?skuId=6558737"
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 13 5G 128 GB (entsperrt) – Mitternacht“,
    "Bewertung": „Bewertung 5 von 5 Sternen bei 2 Bewertungen“,
    „Anzahl der Bewertungen“: „(2)“,
    "Preis": "$ 529.99",
    "Produkt-URL": "https://www.bestbuy.com/site/apple-pre-owned-iphone-13-5g-128gb-unlocked-midnight/6562355.p?skuId=6562355"
  },
  {
    "Titel": „Apple – Geek Squad-zertifiziertes, generalüberholtes iPhone 11 mit 64 GB Speicher, Mobiltelefon (entsperrt) – Schwarz“,
    "Bewertung": „Bewertung 2.3 von 5 Sternen bei 3 Bewertungen“,
    „Anzahl der Bewertungen“: „(3)“,
    "Preis": "$ 299.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-geek-squad-certified-refurbished-iphone-11-with-64gb-memory-cell-phone-unlocked-black/6563229.p?skuId=6563229“
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone 12 5G 64 GB (entsperrt) – Blau“,
    "Bewertung": „Bewertung 4.3 von 5 Sternen bei 267 Bewertungen“,
    „Anzahl der Bewertungen“: „(267)“,
    "Preis": "$ 379.99",
    "Produkt-URL": "https://www.bestbuy.com/site/apple-pre-owned-iphone-12-5g-64gb-unlocked-blue/6510035.p?skuId=6510035"
  },
  {
    "Titel": „Apple – Gebrauchtes iPhone XS Max 64 GB (entsperrt) – Gold“,
    "Bewertung": „Bewertung 4.1 von 5 Sternen bei 38 Bewertungen“,
    „Anzahl der Bewertungen“: „(38)“,
    "Preis": "$ 309.99",
    "Produkt-URL": „https://www.bestbuy.com/site/apple-pre-owned-iphone-xs-max-64gb-unlocked-gold/6463650.p?skuId=6463650“
  }
]

Umgang mit Paginierung

Um Details aus den Suchergebnissen von Best Buy zu sammeln, müssen mehrere Seiten durchgegangen werden, die jeweils eine Reihe von Produktlisten enthalten. Um sicherzustellen, dass wir alle benötigten Informationen erhalten, müssen wir uns mit der Paginierung befassen. Dazu müssen wir uns durch die Ergebnisseiten bewegen und bei Bedarf weitere Daten anfordern.

Auf der Website von Best Buy verwenden sie die &cp Parameter in der URL zur Handhabung der Seitennummerierung. Er gibt die aktuelle Seitenzahl an. Zum Beispiel: &cp=1 bedeutet die erste Seite und &cp=2 verweist auf die zweite Seite. Dieser Parameter hilft uns, Daten von verschiedenen Seiten systematisch zu sammeln und einen vollständigen Datensatz für die Analyse zu erstellen.

Lassen Sie uns unser aktuelles Skript aktualisieren, um die Seitennummerierung reibungslos zu verwalten.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
für Crawlbase importieren CrawlingAPI
für urllib.parse importieren Angebot!
für bs4 importieren BeautifulSuppe

def scrape_bestbuy_listing(API, URL):
    Suchergebnisse = []
    Optionen = {
        'Benutzeragent': „Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/122.0“,
        'ajax_wait': "wahr",
        'Seite_warten': 5000
    }

    # Durch Seiten iterieren
    # Angenommen, Sie möchten die ersten 5 Seiten scrapen
    
für Seitennummer in Angebot(1, 6):
        # Hinzufügen der aktuellen Seitenzahl zur URL
        Seiten-URL = f'{URL}&cp={Seitenzahl}'

        Antwort = api.get(Seiten-URL, Optionen)

        if Antwort['Kopfzeilen']['pc_status'] == '200':
            html_content = Antwort['Körper'].dekodieren('utf-8')
            Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

            # wenn die Seitenzahl ungültig ist und keine weiteren Ergebnisse vorhanden sind
            if Suppe.Wähle eine(„div.shop-zero-search-results > div.no-results“)
              brechen

            Produkte = Suppe.Auswahl(„ol.sku-Artikelliste li.sku-Artikel“)

            
für PRODUKTE in Produkte:
                Titelelement = Produkt.Wählen Sie eins aus(„div.column-middle h4.sku-title > a“)
                Bewertungselement = Produkt.Wählen Sie eins aus('div.column-middle div.variation-info > div.bewertungen-rezensionen div.c-bewertungen-rezensionen > p')
                Bewertungsanzahlelement = Produkt.Wählen Sie eins aus(„.column-middle div.variation-info > div.ratings-reviews div.c-ratings-reviews > span.c-reviews“)
                Preiselement = Produkt.Wählen Sie eins aus('div.Spalte rechts > div.sku-list-item-price div[data-testid="Kundenpreis"] > Spanne')
                Produkt-URL-Element = Produkt.Wählen Sie eins aus(„.column-middle h4.sku-title > a“)

                Produktdaten = {
                    'Titel': Titelelement.Text.Streifen() if Titelelement sonst Keine,
                    'Bewertung': Bewertungselement.text.strip() if Bewertungselement sonst Keine,
                    „Anzahl der Bewertungen“: review_count_element.text.strip() if Bewertungsanzahlelement sonst Keine,
                    'Preis': Preiselement.text.strip() if Preiselement sonst Keine,
                    'Produkt-URL': „https://www.bestbuy.com“ + Produkt-URL-Element['href'] if Produkt-URL-Element sonst Keine
                }

                Suchergebnisse.Anhängen(Produktdaten)

        sonst:
            drucken(f'Fehler: {Antwort[„Kopfzeilen“]["pc_status"]}')
            brechen  # Schleife bei Fehler verlassen

    Rückkehr Suchergebnisse

def Haupt-†
    API_TOKEN = 'IHR_CRAWLBASE_JS_TOKEN'
    crawling_api = CrawlingAPI({'Zeichen': API_TOKEN})

    Suchbegriff = "iPhone"
    URL = f'https://www.bestbuy.com/site/searchpage.jsp?st=${quote(Suchbegriff)}'
    Ergebnisse = scrape_bestbuy_listing(crawling_api, url)

    # weitere Verarbeitung der Scraped-Ergebnisse

if __name__ == "__hauptsächlich__":
    Main()

Tipp: Crawlbase bietet zahlreiche gebrauchsfertige Schaber passend zu unseren Crawling API. Weitere Einzelheiten finden Sie in unserem Dokumentation. Darüber hinaus entwickeln wir maßgeschneiderte Lösungen, die auf Ihre spezifischen Anforderungen zugeschnitten sind. Unser kompetentes Team kann eine Lösung exklusiv für Sie entwerfen. Das bedeutet, dass Sie Website-Details und CSS-Selektoren nicht ständig überwachen müssen. Lassen Sie Crawlbase das für Sie erledigen, sodass Sie sich auf das Erreichen Ihrer Ziele konzentrieren können. Kontaktieren Sie uns HIER.

Abschließende Überlegungen

Beim Scraping von Best Buy-Produktdaten sind Einfachheit und Effektivität sehr wichtig. Während der DIY-Ansatz eine Lernkurve beinhaltet, ist die Crawlbase Crawling API erweist sich als die kluge Wahl. Verabschieden Sie sich von Bedenken hinsichtlich Zuverlässigkeit und Skalierbarkeit; nutzen Sie die Crawlbase Crawling API für eine unkomplizierte, zuverlässige und skalierbare Lösung zum mühelosen Scrapen von Best Buy.

Wenn Sie das Scraping von verschiedenen E-Commerce-Plattformen erkunden möchten, können Sie einen Blick auf diese ausführlichen Anleitungen werfen:

📜 Wie man Amazon scrapt

📜 So kratzen Sie das Ziel

📜 Wie man Walmart scrapt

📜 So scrapen Sie AliExpress

📜 Wie man Flipkart scrapt

Web Scraping kann Herausforderungen mit sich bringen, und Ihr Erfolg ist von größter Bedeutung. Sollten Sie zusätzliche Anleitung benötigen oder auf Hindernisse stoßen, zögern Sie nicht, uns zu kontaktieren. Unsere engagiertes Team ist hier, um Sie auf Ihrer Reise durch die Welt des Web Scraping zu unterstützen. Viel Spaß beim Scraping!

Häufig gestellte Fragen

Web Scraping für Best Buy ist grundsätzlich legal, wenn es verantwortungsbewusst und in Übereinstimmung mit den Nutzungsbedingungen der Website durchgeführt wird. Stellen Sie sicher, dass Sie die Richtlinien von Best Buy lesen und einhalten, um ethische Scraping-Praktiken aufrechtzuerhalten. Rechtliche Konsequenzen können sich ergeben, wenn Scraping zu unbefugtem Zugriff oder übermäßigen Anfragen führt oder gegen geltende Gesetze verstößt. Es ist wichtig, beim Web Scraping die Richtlinien der Website und die geltenden gesetzlichen Bestimmungen zu beachten.

F: Wie verwalte ich dynamische Inhalte, wenn ich Best Buy mit Crawlbase scrape? Crawling API?

Die Verwaltung dynamischer Inhalte ist ein kritischer Aspekt beim Scraping von Best Buy mit der Crawlbase Crawling API. Die API ist für die Verarbeitung dynamischer Elemente konzipiert, die über JavaScript geladen werden, und gewährleistet so einen umfassenden Datenabruf. Verwenden Sie Parameter wie page_wait und ajax_wait, um dynamisch generierte Inhalte zu navigieren und zu erfassen, und stellen Sie so sicher, dass Ihre Scraping-Bemühungen alle Aspekte der Best Buy-Webseiten abdecken. Diese Funktion verbessert die Effektivität Ihres Scraping-Skripts und ermöglicht Ihnen, einen vollständigen Datensatz abzurufen, einschließlich Inhalten, die möglicherweise nach dem ersten Laden der Seite geladen werden.

F: Warum sollte jemand Produktdaten von den SERPs von Best Buy scrapen?

Das Scraping von Produktdaten von der SERP (Search Engine Results Page) von Best Buy dient verschiedenen Zwecken. Unternehmen und Forscher können diese Daten scrapen, um Preisschwankungen zu überwachen, Markttrends zu analysieren oder Wettbewerbsinformationen zu sammeln. Es liefert wertvolle Einblicke in die Produktverfügbarkeit, Kundenbewertungen und die allgemeine Marktdynamik und unterstützt so Entscheidungsprozesse. Die Crawlbase Crawling API erleichtert dieses Scraping nahtlos und gewährleistet eine zuverlässige und effiziente Datenextraktion für verschiedene Zwecke.

F. Welche Maßnahmen ergreift Crawlbase Crawling API Was tun, um eine IP-Blockierung zu vermeiden?

Crawlbases Crawling API beinhaltet mehrere strategische Maßnahmen, um das Risiko einer IP-Blockierung zu minimieren und ein nahtloses Scraping-Erlebnis zu gewährleisten:

  • Intelligente IP-Rotation: Die API dynamisch rotiert IP-Adressen, wodurch die übermäßige Nutzung einer einzelnen IP verhindert und die Wahrscheinlichkeit einer Blockierung verringert wird.
  • Handhabung von Anti-Bot-Maßnahmen: Crawlbase ist für die Navigation durch Anti-Bot-Maßnahmen gerüstet, was die Anonymität erhöht und die Wahrscheinlichkeit einer Entdeckung verringert.
  • Intelligente Ratenbegrenzung: Die API verwaltet die Anfrageraten intelligent, verhindert Störungen durch Ratenbegrenzungen und gewährleistet einen stetigen Datenabruf. Diese Funktionen tragen gemeinsam zu einem reibungsloseren und unterbrechungsfreien Scraping-Prozess bei und verringern gleichzeitig das Risiko einer Website-Erkennung und IP-Blockierung.