Temu ist eine schnell wachsende E-Commerce-Plattform, die für ihre riesige Produktauswahl zu wettbewerbsfähigen Preisen bekannt ist. Temu bietet alles von Elektronik bis hin zu Mode und Haushaltswaren und ist zu einer beliebten Anlaufstelle für Online-Käufer geworden. Die dynamischen, mit JavaScript gerenderten Seiten machen das Datenscraping mit herkömmlichen Methoden schwierig, aber mit den richtigen Tools ist es dennoch machbar.

In dieser Anleitung zeigen wir Ihnen, wie Sie Daten von Temu scrapen können mit dem Crawlbase Crawling API, entwickelt für die Verarbeitung von CAPTCHAs und JavaScript-gerenderten Seiten. Egal, ob Sie Produktinformationen für Analysen, Preisvergleiche oder Marktforschung sammeln möchten, dieser Blog behandelt alle wichtigen Schritte zur effektiven Datenextraktion. Sie erfahren, wie Sie Ihre Python-Umgebung einrichten, Temu-Scraper erstellen, die Temu-SERP-Paginierung handhaben und Daten für den einfachen Zugriff in einer CSV-Datei speichern.

Am Ende dieses Artikels verfügen Sie über Scraper, mit denen Sie wertvolle Daten aus den Listen und Produktseiten von Temu extrahieren können. Legen wir los!

Inhaltsverzeichnis

  1. Warum Temu scrapen?
  2. Wichtige Datenpunkte zum Extrahieren aus Temu
  3. Crawlbase Crawling API für Temu Scraping
  • Crawlbase Python-Bibliothek
  1. Einrichten Ihrer Python-Umgebung
  • Installieren von Python und erforderlichen Bibliotheken
  • Auswahl einer IDE
  1. Scraping von Temu-Sucheinträgen
  • Untersuchen des HTML auf CSS-Selektoren
  • Schreiben des Suchlisten-Scrapers
  • Umgang mit der Seitennummerierung in Temu
  • Speichern von Daten in einer CSV-Datei
  • Vollständiges Codebeispiel
  1. Scraping von Temu-Produktseiten
  • Untersuchen des HTML auf CSS-Selektoren
  • Schreiben des Produktseiten-Scrapers
  • Speichern von Daten in einer CSV-Datei
  • Vollständiges Codebeispiel
  1. Abschließende Überlegungen
  2. Häufig gestellte Fragen

Warum Temu scrapen?

Ein Bild, das die Gründe für das Verschrotten von Temu zeigt

Das Scraping von Temu ist für Unternehmen, Analysten und Entwickler nützlich. Temu bietet alles von billiger Elektronik bis hin zu Kleidung und Haushaltsgegenständen und ist daher eine großartige Quelle für Marktforschung, Preisverfolgung und Wettbewerbsanalyse. Durch das Extrahieren von Produktdaten wie Preisen, Beschreibungen, Bewertungen und Verfügbarkeit können Unternehmen wettbewerbsfähig bleiben und mit dem Markt Schritt halten.

Beispielsweise kann das Scraping von Temu Online-Händlern und Wiederverkäufern dabei helfen, beliebte Produkte zu finden, Preistrends zu verstehen und die Lagerverfügbarkeit zu überwachen. Für persönliche Projekte oder akademische Zwecke können die Daten von Temu verwendet werden, um Preisvergleichstools zu erstellen, Verbrauchertrends zu untersuchen oder die Produktleistung im Laufe der Zeit zu betrachten.

Temu verwendet CAPTCHA und JavaScript, sodass herkömmliche Scraper die Daten nicht erfassen können. Aber mit dem Crawlbase Crawling API Sie können strukturierte Daten von Temu erhalten.

Wichtige Datenpunkte zum Extrahieren aus Temu

Wenn Sie Temu scrapen, möchten Sie die wichtigsten Produktdetails sammeln, um Ihre Ziele zu unterstützen, sei es für die Marktanalyse, die Produktverfolgung oder den Aufbau einer Datenbank. Hier sind die Datenpunkte, die Sie aus Temu extrahieren können:

  • Produktname: Der Name hilft, jedes Produkt und jede Kategorie zu identifizieren.
  • Preis: Der Preis ist wichtig für die Trendbeobachtung und den Vergleich ähnlicher Produkte.
  • Bewertung und Rezensionen: Bewertungen geben Aufschluss über die Produktqualität und Kundenzufriedenheit, und Ratings geben die allgemeine Kundenmeinung wieder.
  • Beschreibung: Beschreibungen geben den Funktionen, dem Material und den Alleinstellungsmerkmalen eines Produkts einen Kontext.
  • Bild-URL: Bilder sind für eine visuelle Datenbank wichtig und können auf jeder Site oder App verwendet werden, die Sie erstellen.
  • Rabatte und Angebote: Diese können wettbewerbsfähige Preise und Trendprodukte anzeigen.

Crawlbase Crawling API für Temu Scraping

Die Crawlbase Crawling API macht das Scraping von Temu effizient und unkompliziert, insbesondere weil Temu für einen Großteil seines Inhalts auf JavaScript angewiesen ist, was herkömmliche Scraping-Methoden erschwert. Crawlbase löst dieses Problem, indem es Webseiten wie einen echten Browser darstellt und Ihnen Zugriff auf vollständig geladenes HTML ermöglicht.

Darum Crawlbase Crawling API ist ideal zum Schaben von Temu:

  • Verarbeitet dynamische Inhalte: Crawlbase verwaltet JavaScript-lastige Seiten, sodass alle Produktdaten auf Temu geladen und zum Scraping bereit sind.
  • IP-Rotation: Um die Sicherheitsprüfungen von Temu zu umgehen, rotiert Crawlbase die IPs automatisch, wodurch Ratenbegrenzungen verhindert und die Wahrscheinlichkeit einer Blockierung verringert wird.
  • Schnell und effizient: Mit Crawlbase können Sie Unmengen an Daten schnell scrapen und so Zeit und Ressourcen sparen.
  • Anpassbare Anfragen: Sie können Header, Cookies und andere Anforderungsparameter entsprechend Ihren Scraping-Anforderungen steuern.

Crawlbase Python-Bibliothek

Die Crawlbase Python-Bibliothek vereinfacht Ihr Scraping-Setup noch weiter. Um die Bibliothek nutzen zu können, benötigen Sie einen Zugriffstoken, den Sie erhalten, indem Sie Anmeldung für Crawlbase.

Hier ist eine Beispielfunktion zum Anfordern der Crawlbase Crawling API:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
für Crawlbase importieren CrawlingAPI

# Initialisieren Sie die Crawlbase-API mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({ 'Zeichen': 'IHR_CRAWLBASE_TOKEN' })

def Crawlbase-Anfrage erstellen(URL):
    Antwort = crawling_api.get(URL)

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Rückkehr HTML-Inhalt
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Crawlbase-Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

Note: Um JavaScript-gerenderte Inhalte wie die von Temu zu scrapen, benötigen Sie ein JavaScript (JS)-Token von Crawlbase. Crawlbase bietet 1,000 kostenlose Anfragen, um Ihnen den Einstieg zu erleichtern, und für die Anmeldung ist keine Kreditkarte erforderlich. Weitere Anleitungen finden Sie auf der offiziellen Crawlbase Crawling API Dokumentation.

Im nächsten Abschnitt gehen wir die Einrichtung Ihrer Python-Umgebung für das Scraping von Temu durch.

Einrichten Ihrer Python-Umgebung

Um mit dem Scraping von Temu zu beginnen, müssen Sie Ihre Python-Umgebung einrichten. Das bedeutet, dass Sie Python und die erforderlichen Bibliotheken installieren und eine integrierte Entwicklungsumgebung (IDE) zum Schreiben Ihres Codes auswählen.

Installieren von Python und erforderlichen Bibliotheken

Stellen Sie zunächst sicher, dass Python auf Ihrem Computer installiert ist. Sie können Python von der offiziellen Website. Befolgen Sie die Installationsanweisungen für Ihr Betriebssystem.

Nachdem Sie Python installiert haben, müssen Sie einige Bibliotheken installieren, die beim Scraping helfen. Die erforderlichen Bibliotheken sind requests und crawlbaseSo installieren Sie sie mit pip:

  1. Öffnen Sie Ihre Eingabeaufforderung oder Ihr Terminal.
  2. Geben Sie die folgenden Befehle ein und drücken Sie die Eingabetaste:
1
2
Pip Installationsanforderungen
pip installieren crawlbase

Mit diesen Befehlen können Sie die benötigten Bibliotheken herunterladen und installieren. Die Bibliothek requests hilft Ihnen beim Erstellen von Webanfragen. Die Bibliothek crawlbase ermöglicht Ihnen die Interaktion mit der Crawlbase Crawling API.

Auswahl einer IDE

Jetzt müssen Sie eine IDE für die Codierung auswählen. Eine IDE ist ein Programm, das Ihnen beim Schreiben, Bearbeiten und Verwalten Ihres Codes hilft. Hier sind einige Optionen:

  • PyCharm: Eine vollständige Python-IDE mit Codevervollständigung und Debugging-Tools; eine kostenlose Community Edition ist verfügbar.
  • Visual Studio-Code (VS-Code): Ein leichtgewichtiger Editor mit Python-Unterstützung durch Erweiterungen und einer riesigen Benutzerbasis.
  • Jupyter Notizbuch: Ideal für Datenanalyse und Tests. Code kann zur einfachen Weitergabe in einem Browser ausgeführt werden.

Jeder hat seine Vorteile, also wählen Sie einen aus, der zu Ihnen passt. Nachdem Ihre Python-Umgebung nun eingerichtet ist, können Sie mit dem Scraping der Suchlisten von Temu beginnen.

Scraping von Temu-Sucheinträgen

Um Temu-Suchergebnisse zu scrapen, müssen Sie die HTML-Struktur der Seite verstehen, ein Skript zum Sammeln von Produktinformationen schreiben, die Seitennummerierung mit der Schaltfläche „Mehr anzeigen“ verwalten und die gescrapten Daten strukturiert speichern. Lassen Sie uns das im Detail erklären.

Untersuchen des HTML auf CSS-Selektoren

Um mit dem Scraping zu beginnen, überprüfen Sie die HTML-Struktur der Temu-Suchergebnisseite. Öffnen Sie die Temu-Site in Ihrem Browser, klicken Sie mit der rechten Maustaste auf eine Produktliste und wählen Sie „Überprüfen“, um den HTML-Code anzuzeigen.

Ein Screenshot von Temu Search Listings HTML für CSS

Dies sind die wichtigsten Elemente, die Sie benötigen:

  • Produktname: Gefunden in einem h2 tag mit der klasse _2BvQbnbN.
  • Preis: Befindet sich in einem span tag mit der klasse _2de9ERAH.
  • Bild-URL: Liegt in den src Attribut von an img tag mit der klasse goods-img-external.
  • Produkt-URL: Gefunden im href-Attribut eines a tag mit der klasse _2Tl9qLr1.

Durch die Identifizierung dieser Selektoren verfügen Sie über die erforderliche Grundstruktur, um die Details jedes Produkts aus den Suchlisten von Temu zu extrahieren.

Schreiben des Suchlisten-Scrapers

Nachdem wir nun die Selektoren kennen, schreiben wir den Scraper. Wir verwenden Python zusammen mit Crawlbase Crawling API um dynamische Inhalte zu verarbeiten. Hier ist eine Funktion zum Scrapen von Produktinformationen:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe

# Crawlbase API mit JS Token initialisieren
crawling_api = CrawlingAPI({ 'Zeichen': 'CRAWLBASE_JS_TOKEN' })

# Funktion zum Scrapen von Temu-Suchlisten
def scrape_temu_search(URL):
    Antwort = crawling_api.get(URL, {
        'ajax_wait': "wahr",
        'Seite_warten': '5000'
    })

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        Produkte = []
        
für Artikel in Suppe.Auswählen(„div.js-search-goodsList > div.autoFitList > div.EKDT7a3v“):
            Titel = Element.Wählen Sie eins aus(„h2._2BvQbnbN“).text.strip() if Element.Wählen Sie eins aus(„h2._2BvQbnbN“) sonst ''
            Preis = Artikel.Wählen Sie einen Artikel aus(„span._2de9ERAH“).text.strip() if Element.Wählen Sie eins aus(„span._2de9ERAH“) sonst ''
            Bild-URL = Element.Wählen Sie eins aus(„img.goods-img-external“)['Quelle'] if Element.Wählen Sie eins aus(„img.goods-img-external“) sonst ''
            produkt_url = „https://www.temu.com“ + Element.Wählen Sie eins aus(„a._2Tl9qLr1“)['href'] if Element.Wählen Sie eins aus(„a._2Tl9qLr1“) sonst ''
            Produkte.anhängen({
                ‚Titel‘: Titel,
                'Preis': Preis,
                'Bild-URL': Bild-URL,
                'Produkt-URL': Produkt-URL
            })

        Rückkehr Produkte
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Status: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

Diese Funktion ruft das HTML ab, verarbeitet es mit BeautifulSoup und extrahiert Produktdetails basierend auf den Selektoren. Sie gibt eine Liste mit Produktinformationen zurück.

Umgang mit der Seitennummerierung in Temu

Temu verwendet eine Schaltfläche „Mehr anzeigen“, um zusätzliche Einträge zu laden. Wir können Klicks auf diese Schaltfläche mit Crawlbases css_click_selector simulieren, um auf weitere Seiten zuzugreifen:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# Funktion zum Scrapen von Einträgen mit Paginierung
def scrape_temu_with_pagination(URL):
    Produkte = []
    Antwort = crawling_api.get(URL, {
        'ajax_wait': "wahr",
        'Seite_warten': '5000',
        'css_click_selector': 'div.R8mNGZXv[Rolle="Schaltfläche"]'
    })

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')
        Produkte.erweitern(Produktinformationen extrahieren(Suppe))

    Rückkehr Produkte

Dieser Code sammelt Einträge von mehreren Seiten, indem bei jedem Laden eines neuen Ergebnissesstapels auf die Schaltfläche „Mehr anzeigen“ geklickt wird.

Speichern von Daten in einer CSV-Datei

Um die extrahierten Daten in einer CSV-Datei zu speichern, schreiben wir die Informationen zu jedem Produkt in Zeilen und erstellen so ein strukturiertes Dateiformat für eine einfache Analyse.

1
2
3
4
5
6
7
8
9
importieren csv

# Funktion zum Speichern von Produktdaten als CSV
def als CSV speichern(Daten, Dateiname=„temu_products.csv“):
    mit XNUMXh geöffnet(Dateiname, Modus='w', neue Zeile='', Kodierung='utf-8') as Datei:
        Writer = csv.DictWriter(Datei, Feldnamen=[‚Titel‘, 'Preis', 'Bild-URL', 'Produkt-URL'])
        Writer.writeheader()
        
für Artikel in Daten:
            writer.writerow(Element)

Dieser Code erstellt eine CSV-Datei mit Spalten für jeden Datenpunkt, wodurch die Offline-Analyse von Temu-Einträgen vereinfacht wird.

Vollständiges Codebeispiel

Hier ist das vollständige Skript zum Scrapen der Temu-Suchlisten, zur Handhabung der Seitennummerierung und zum Speichern der Daten im CSV-Format:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren csv

# Initialisieren Sie die Crawlbase-API mit Ihrem JS-Token
crawling_api = CrawlingAPI({ 'Zeichen': 'CRAWLBASE_JS_TOKEN' })

# Produktdetails aus dem HTML extrahieren
def Produktinformationen extrahieren(Suppe):
    Produkte = []
    
für Artikel in Suppe.Auswählen(„div.js-search-goodsList > div.autoFitList > div.EKDT7a3v“):
        Titel = Element.Wählen Sie eins aus(„h2._2BvQbnbN“).text.strip() if Element.Wählen Sie eins aus(„h2._2BvQbnbN“) sonst ''
        Preis = Artikel.Wählen Sie einen Artikel aus(„span._2de9ERAH“).text.strip() if Element.Wählen Sie eins aus(„span._2de9ERAH“) sonst ''
        Bild-URL = Element.Wählen Sie eins aus(„img.goods-img-external“)['Quelle'] if Element.Wählen Sie eins aus(„img.goods-img-external“) und Element.Wählen Sie eins aus(„img.goods-img-external“).hat_attr('Quelle') sonst ''
        produkt_url = „https://www.temu.com“ + Element.Wählen Sie eins aus(„a._2Tl9qLr1“)['href'] if Element.Wählen Sie eins aus(„a._2Tl9qLr1“) sonst ''
        Produkte.anhängen({
            ‚Titel‘: Titel,
            'Preis': Preis,
            'Bild-URL': Bild-URL,
            'Produkt-URL': Produkt-URL
        })
    Rückkehr Produkte

# Funktion zum Scrapen von Einträgen mit Paginierung
def scrape_temu_with_pagination(URL):
    Produkte = []
    Antwort = crawling_api.get(URL, {
        'ajax_wait': "wahr",
        'Seite_warten': '5000',
        'css_click_selector': 'div.R8mNGZXv[Rolle="Schaltfläche"]'
    })

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')
        Produkte.erweitern(Produktinformationen extrahieren(Suppe))

    Rückkehr Produkte

# Gescrapte Daten als CSV speichern
def als CSV speichern(Daten, Dateiname=„temu_products.csv“):
    mit XNUMXh geöffnet(Dateiname, Modus='w', neue Zeile='', Kodierung='utf-8') as Datei:
        Writer = csv.DictWriter(Datei, Feldnamen=[‚Titel‘, 'Preis', 'Bild-URL', 'Produkt-URL'])
        Writer.writeheader()
        
für Artikel in Daten:
            writer.writerow(Element)

# Beispielverwendung
Produkte = scrape_temu_with_pagination('https://www.temu.com/search?q=your_search_query')
save_to_csv(Produkte)

temu_products.csv Schnappschuss:

Temu SERP Scraper-Ausgabe

Scraping von Temu-Produktseiten

Nachdem wir eine Liste mit Produkt-URLs aus Temus Suchlisten gesammelt haben, besteht der nächste Schritt darin, Details von jeder Produktseite abzurufen. Dadurch können wir spezifischere Informationen wie detaillierte Beschreibungen, Spezifikationen und Bewertungen sammeln. So geht's.

Untersuchen des HTML auf CSS-Selektoren

Untersuchen Sie zunächst die HTML-Struktur einer Temu-Produktseite. Öffnen Sie eine Produkt-URL in Ihrem Browser, klicken Sie mit der rechten Maustaste auf die Elemente, die Sie extrahieren möchten, und wählen Sie „Untersuchen“.

Ein Screenshot der HTML-Datei für CSS der Temu-Produktseiten

Zu den wichtigsten Elementen, auf die Sie achten sollten, gehören:

  • Produkttitel: Typischerweise zu finden in einem div Tag mit einer Klasse wie _2rn4tqXP.
  • Preis: Normalerweise innerhalb eines div Tag mit einer Klasse wie _1vkz0rqG, Auswahl der letzten span Kind zum tatsächlichen Preis.
  • Beschreibung: Wird häufig in einem Div-Tag mit einer Klasse wie B_OB3uj0 verwendet und enthält Einzelheiten zum Produkt.
  • Bilder-URL: Typischerweise in der src Attribut von img Tags innerhalb eines Div mit role="button" und eine Klasse wie wxWpAMbp.

Durch die Identifizierung dieser Selektoren können wir die für jedes Produkt benötigten Daten leichter extrahieren.

Schreiben des Produktseiten-Scrapers

Mit den notierten CSS-Selektoren können wir den Scraper schreiben, um Details von jeder Produktseite zu sammeln. Wir verwenden Python zusammen mit der Crawlbase Crawling API, um dynamische Inhalte zu verarbeiten.

Hier ist eine Beispielfunktion zum Scrapen von Produktinformationen von einer Temu-Produktseite:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren re

# Crawlbase API mit JS Token initialisieren
crawling_api = CrawlingAPI({ 'Zeichen': 'CRAWLBASE_JS_TOKEN' })

# Funktion zum Scrapen einer Temu-Produktseite
def Produktseite scrapen(URL):
    Antwort = crawling_api.get(URL, {
        'ajax_wait': "wahr",
        'Seite_warten': '5000'
    })

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        # Produktdetails extrahieren
        Titel = re.sub(r'\s+', '', Suppe.Wählen Sie eine('div._2rn4tqXP').text.strip())
        Preis = Suppe.select_one(„div._1vkz0rqG span:letztes Kind“).text.strip()
        Beschreibung = re.sub(r'\s+', '', Suppe.Wählen Sie eine('div.B_OB3uj0').text.strip())
        Bilder_URL = [Bild['Quelle'] 
für img in Suppe.Auswählen('div[Rolle="Schaltfläche"] img.wxWpAMbp')]

        # Produktdetails als Wörterbuch zurückgeben
        Rückkehr {
            ‚Titel‘: Titel,
            'Preis': Preis,
            'Bezeichnung': Beschreibung,
            'Bilder_URL': Bilder-URL,
            'Produkt-URL': URL
        }
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Status: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

In dieser Funktion verwenden wir BeautifulSoup, um das HTML zu analysieren und jedes Element mithilfe der identifizierten Selektoren zu lokalisieren. Dadurch wird ein Wörterbuch mit den Produktdetails zurückgegeben.

Speichern von Daten in einer CSV-Datei

Sobald wir Produktinformationen gesammelt haben, können wir sie in einer CSV-Datei speichern. So bleiben unsere Daten organisiert und können später einfach überprüft oder analysiert werden.

1
2
3
4
5
6
7
8
9
importieren csv

# Funktion zum Speichern von Produktdaten als CSV
def Produktdaten als CSV speichern(Daten, Dateiname=„temu_product_details.csv“):
    mit XNUMXh geöffnet(Dateiname, Modus='w', neue Zeile='', Kodierung='utf-8') as Datei:
        Writer = csv.DictWriter(Datei, Feldnamen=[‚Titel‘, 'Preis', 'Bezeichnung', 'Bilder_URL', 'Produkt-URL'])
        Writer.writeheader()
        
für Artikel in Daten:
            writer.writerow(Element)

Diese Funktion schreibt die Informationen zu jedem Produkt in eine CSV-Datei mit Spalten für jedes Detail.

Vollständiges Codebeispiel

Hier ist das vollständige Skript zum Scrapen mehrerer Produktseiten von Temu unter Verwendung der URLs aus den Suchlisten und zum Speichern der Daten in einer CSV-Datei.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren csv
importieren re

# Initialisieren Sie die Crawlbase-API mit Ihrem JS-Token
crawling_api = CrawlingAPI({ 'Zeichen': 'CRAWLBASE_JS_TOKEN' })

# Funktion zum Scrapen einer einzelnen Produktseite
def Produktseite scrapen(URL):
    Antwort = crawling_api.get(URL, {
        'ajax_wait': "wahr",
        'Seite_warten': '5000'
    })

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        html_content = Antwort['Körper'].dekodieren('utf-8')
        Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')

        # Produktdetails extrahieren
        Titel = re.sub(r'\s+', '', Suppe.Wählen Sie eine('div._2rn4tqXP').text.strip())
        Preis = Suppe.select_one(„div._1vkz0rqG span:letztes Kind“).text.strip()
        Beschreibung = re.sub(r'\s+', '', Suppe.Wählen Sie eine('div.B_OB3uj0').text.strip())
        Bilder_URL = [Bild['Quelle'] 
für img in Suppe.Auswählen('div[Rolle="Schaltfläche"] img.wxWpAMbp')]

        # Produktdetails als Wörterbuch zurückgeben
        Rückkehr {
            ‚Titel‘: Titel,
            'Preis': Preis,
            'Bezeichnung': Beschreibung,
            'Bilder_URL': Bilder-URL,
            'Produkt-URL': URL
        }
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Status: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

# Funktion zum Speichern von Daten in CSV
def Produktdaten als CSV speichern(Daten, Dateiname=„temu_product_details.csv“):
    mit XNUMXh geöffnet(Dateiname, Modus='w', neue Zeile='', Kodierung='utf-8') as Datei:
        Writer = csv.DictWriter(Datei, Feldnamen=[‚Titel‘, 'Preis', 'Bezeichnung', 'Bild-URL', 'Produkt-URL'])
        Writer.writeheader()
        
für Artikel in Daten:
            writer.writerow(Element)

# Mehrere Produktseiten scrapen und als CSV speichern
Produkt-URLs = [
    „https://www.temu.com/pk-en/goods-detail-g-601099527865713.html“,
    „https://www.temu.com/pk-en/goods-detail-g-601099537192760.html“,
    # Fügen Sie hier weitere Produkt-URLs hinzu
]
alle_produkte = []


für URL in Produkt-URLs:
    Produktdaten = Produktseite scrapen(URL)
    if Produktdaten:
        alle_produkte.anhängen(produktdaten)

# Alle Produktdaten als CSV speichern
Produktdaten in CSV speichern (alle Produkte)

temu_product_details.csv Schnappschuss:

Temu-Produktseiten-Scraper-Ausgabe

Abschließende Überlegungen

Das Scraping von Produktdaten aus Temu hilft bei der Analyse von Markttrends, der Verfolgung von Wettbewerbern und der Untersuchung von Preisänderungen. In diesem Handbuch wurde das Einrichten eines Scrapers für Suchlisten und Produktseiten, die Handhabung der Paginierung und das Speichern von Daten in einer CSV-Datei behandelt.

Verwendung der Crawlbase Crawling API verwaltet JavaScript-lastige Inhalte und vereinfacht so die Datenerfassung. Denken Sie daran, die Servicebedingungen von Temu zu lesen, um Probleme zu vermeiden, da übermäßiges Scraping die Server beeinträchtigen kann.

Testen und aktualisieren Sie Ihren Code regelmäßig, da sich Websitestrukturen ändern können und Anpassungen in CSS-Selektoren oder Logik erforderlich sind. Wenn Sie sich für das Scraping von anderen E-Commerce-Plattformen interessieren, können Sie sich gerne die folgenden umfassenden Anleitungen ansehen.

📜 Wie man Amazon scrapt
📜 Wie man Walmart scrapt
📜 So scrapen Sie AliExpress
📜 Wie man Zalando scrapt
📜 Wie man Costco ausbeutet

Hotline | KolbenKraft Deutschland Support wenn Sie Fragen haben. Viel Spaß beim Scrapen!

Häufig gestellte Fragen

F: Ist das Scraping mit Temu sicher und legal?

Das Scraping von Temu-Daten für persönliche Forschungs-, Analyse- oder Bildungszwecke ist grundsätzlich zulässig, es ist jedoch wichtig, die Nutzungsbedingungen von Temu einzuhalten. Vermeiden Sie umfangreiches Scraping, das die Server beeinträchtigen oder gegen Richtlinien verstoßen könnte. Überprüfen Sie immer die neuesten Bedingungen, um die Einhaltung zu gewährleisten, und berücksichtigen Sie ethische Praktiken beim Daten-Scraping.

F: Wie oft sollte ich meinen Scraping-Code für Temu aktualisieren?

Websites können ihre Struktur ändern, insbesondere die HTML- und CSS-Selektoren, was Ihren Scraper beschädigen kann. Es ist eine gute Idee, Ihren Scraper regelmäßig zu testen – mindestens einmal im Monat oder wenn Sie feststellen, dass Daten nicht richtig erfasst werden. Wenn Ihr Scraper nicht mehr funktioniert, überprüfen Sie die Site auf aktualisierte Selektoren und passen Sie Ihren Code an.

F: Kann ich Temu-Daten in einer Datenbank statt in einer CSV-Datei speichern?

Ja, das Speichern von Scraped-Daten in einer Datenbank (wie MySQL oder MongoDB) ist eine gute Option für größere Projekte. Datenbanken erleichtern das Abfragen und Analysieren von Daten im Laufe der Zeit. Sie können den CSV-Speicherschritt in Ihrem Code durch Datenbankbefehle ersetzen und so ein effizienteres und skalierbareres Setup erhalten.