TikTok Scraping wird im Jahr 2024 zur größten Nachfrage von Unternehmen, da TikTok schnell zu einer großen Sache in den sozialen Medien geworden ist und mit seinen lustigen, kurzen und interaktiven Videos die Aufmerksamkeit der Leute erregt. Mit über 1 Milliarden monatlich aktive Nutzer TikTok ist weltweit und mit Millionen von täglich hochgeladenen Videos zu einem Lager wertvoller Daten geworden, die nur darauf warten, erforscht und analysiert zu werden. Viele Menschen nutzen es gerne, was es zu einem großartigen Ort für Werbetreibende, Wissenschaftler und Softwareentwickler macht, die erfahren möchten, was beliebt ist, wie sich Menschen verhalten und welche Trends gerade angesagt sind.

TikTok-Statistiken

Die Zahlen hinter TikToks Erfolg sind atemberaubend. TikTok wurde mehr als 4.1 Milliarden Mal. Im Jahr 2024 verfügt TikTok über eine Nutzerbasis von über 1 Milliarde monatlich aktiven Nutzern weltweit und übertrifft damit andere führende Social-Media-Plattformen in Bezug auf Engagement und Inhaltskonsum. Die Plattform verzeichnet täglich Milliarden von Videoaufrufen, wobei die Nutzer durchschnittlich 55.8 Minuten pro Tag durch ihre personalisierten Feeds stöbern. Angesichts dieser Geschwindigkeit suchen die meisten Menschen nach Möglichkeiten, alle TikTok-Videos eines Benutzers einfach herunterzuladen. Darüber hinaus ist das Suchvolumen von TikTok sprunghaft angestiegen, da Millionen von Benutzern aktiv nach Inhalten zu einer breiten Palette von Themen suchen, von Unterhaltung und Lifestyle bis hin zu Bildung und DIY-Tutorials.

In dieser umfassenden Anleitung werden wir TikTok mit Python und der Crawlbase scrapen Crawling API. Sie erfahren, wie Sie TikTok-Follower, Videos und mehr scrapen. Wir führen Sie durch den Prozess des Extrahierens von HTML-Inhalten, Scrapens von Suchergebnissen, der Handhabung der Paginierung und des Speicherns von Daten für weitere Analysen.

Inhaltsverzeichnis

  1. Projektumfang
  2. Voraussetzungen:
  3. Projektaufbau
  4. HTML der TikTok-Seite extrahieren
  5. Scraping der TikTok-Suchliste
  6. Scraping von TikTok-Videodetails
  7. Scraping der Autordetails für TikTok-Videos
  8. Scraping von TikTok-Video-Hashtags
  9. Vollständiger Code - TikTok Scraper
  10. Umgang mit der Paginierung im TikTok Scraper
  11. Speichern von gescrapten TikTok-Daten in einer CSV-Datei
  12. Abschließende Überlegungen
  13. Häufig gestellte Fragen (FAQs)
  • Was ist TikTok Scraping?
  • Warum TikTok scrapen?
  • Ist das Scrapen von TikTok legal?
  • Was können Sie von TikTok scrapen?
  • Was sind die besten Möglichkeiten zum Scrapen von TikTok?

1. Projektumfang

In diesem Handbuch ist es unser Ziel, ein benutzerfreundliches Tutorial zum Scraping von TikTok mit Python und der Crawlbase bereitzustellen Crawling API. Unser Projekt konzentriert sich zunächst darauf, den HTML-Inhalt mit üblichen Methoden abzurufen. Dann werden wir die Probleme mit diesen Methoden sehen. Danach verwenden wir die Crawlbase Crawling API um diese Probleme zu lösen. Daneben verwenden wir Pythons BeautifulSoup-Bibliothek, um Daten von TikTok effektiv zu verstehen und zu sammeln.

Wir werden uns hauptsächlich darauf konzentrieren, verschiedene Elemente aus TikTok zu extrahieren, darunter Videodetails, Autoreninformationen und Hashtags aus Suchergebnissen. Unser Ziel ist es, einen schrittweisen Ansatz zu präsentieren, der auf Benutzer mit unterschiedlichem technischen Hintergrund zugeschnitten ist.

Schlüsselkomponenten des Projekts:

  1. HTML-Crawling: Wir werden Python zusammen mit Crawlbase nutzen Crawling API um den kompletten HTML-Inhalt von TikTok-Seiten abzurufen. Dieser Ansatz gewährleistet eine gründliche Datenextraktion unter Einhaltung der Nutzungsrichtlinien von TikTok. Wir zielen auf TikTok SERP ab.
TikTok SERP
  1. Datenextraktion aus TikTok: Unser Hauptaugenmerk liegt auf der Verwendung von BeautifulSoup in Python, um bestimmte Datenelemente von TikTok-Seiten zu extrahieren. Dazu gehört das Scraping von Videodetails, Autoreninformationen und Hashtags für alle Suchergebnisse.
  2. Umgang mit Paginierung: Um durch mehrere Seiten mit TikTok-Ergebnissen zu navigieren, besprechen wir die von TikTok verwendeten Paginierungsmechanismen. Dadurch wird sichergestellt, dass beim Scraping-Prozess alle relevanten Daten erfasst werden.
  3. Daten speichern: Wir untersuchen Methoden zum Speichern oder Sichern der Scraped-Daten und bieten Optionen wie das Speichern in einer CSV-Datei zur weiteren Analyse.

Mit der Beschreibung des Projektumfangs möchten wir Sie durch ein umfassendes TikTok-Scraping-Tutorial führen und Ihnen den Prozess zugänglich und durchführbar machen. Kommen wir nun zu den Voraussetzungen des Projekts.

2. Voraussetzungen

Bevor Sie sich in die Welt des Web Scraping von TikTok mit Python vertiefen, müssen Sie unbedingt sicherstellen, dass die erforderlichen Voraussetzungen erfüllt sind:

  1. Grundlegende Python-Kenntnisse: Machen Sie sich mit der Programmiersprache Python vertraut, da diese zum Schreiben von Skripten zum Scraping von TikTok-Daten verwendet wird. Das Verständnis von Konzepten wie Variablen, Schleifen und Funktionen ist von Vorteil.
  2. Crawlbase-Konto erstellen: Eröffnen Sie ein Crawlbase-Konto und erhalten Sie Ihre API-Token. Einer dieser Token ist erforderlich, um sich bei Crawling API. Sie können Ihre Token hier nach der Anmeldung erhalten. Die ersten 1,000 Anfragen sind kostenlos. Keine Kreditkarte erforderlich!
Crawlbase-Token
  1. Auswählen eines Tokens: Crawlbase bietet zwei Arten von Tokens an – Normal Token, zugeschnitten auf statische Websites, und JS Token, entwickelt für dynamische oder JavaScript-gesteuerte Websites. TikTok verlässt sich stark auf JavaScript-Rendering, daher werden wir JS Tokens verwenden.
  2. Python-Installation: Sie können Python je nach Ihrem Betriebssystem von der offiziellen Python-Website herunterladen. Überprüfen Sie außerdem, ob pip (Python-Paketmanager) vorhanden ist, das normalerweise bei Python-Installationen mitgeliefert wird.
1
2
3
4
5
# Verwenden Sie diesen Befehl, um die Python-Installation zu überprüfen
Python --Version

# Verwenden Sie diesen Befehl, um die Pip-Installation zu überprüfen
pip --version

Wenn Sie diese Voraussetzungen erfüllen, können Sie Ihr TikTok-Scraping-Abenteuer voller Selbstvertrauen und Effizienz beginnen.

3. Projekt-Setup

Um Ihr TikTok-Scraping-Projekt zu starten, befolgen Sie diese Schritte, um Ihre Entwicklungsumgebung einzurichten.

Erstellen einer neuen Python-Umgebung

Beginnen Sie damit, eine neue Python-Umgebung für Ihr Projekt zu erstellen. Sie können virtuelle Umgebungen verwenden, um Ihre Projektabhängigkeiten von anderen Python-Projekten zu trennen. Verwenden Sie den folgenden Befehl, um eine neue virtuelle Umgebung mit dem Namen „tiktok-env“ zu erstellen:

1
python -m venv tiktok-env

Aktivieren der virtuellen Umgebung

Sobald die virtuelle Umgebung erstellt ist, aktivieren Sie sie mit dem entsprechenden Befehl für Ihr Betriebssystem:

  • Für Windows:

    1
    tiktok-env\Scripts\aktivieren

  • Für macOS und Linux:

    1
    Quelle tiktok-env/bin/aktivieren

Erforderliche Bibliotheken installieren

Installieren Sie bei aktivierter virtueller Umgebung die erforderlichen Python-Bibliotheken für Web Scraping. Verwenden Sie pip, um die folgenden Bibliotheken zu installieren:

1
Pip-Installationsanforderungen Beautifulsoup4 Pandas Crawlbase
  • Produktanfragen: Zum Senden von HTTP-Anfragen an die Server von TikTok.
  • SchöneSoup4: Zum Parsen von HTML-Inhalten, die von TikTok-Seiten abgerufen wurden.
  • Pandas: Zur Datenmanipulation und -analyse.
  • Crawlbase: Für den effizienten Zugriff auf TikTok-Seiten mithilfe der Crawling API.

Einrichten der Crawlbase-API-Anmeldeinformationen

Stellen Sie sicher, dass Sie Ihre Crawlbase-API-Anmeldeinformationen, einschließlich Ihres Zugriffstokens, erhalten haben. Sie benötigen diese Anmeldeinformationen, um sich über die Crawlbase zu authentifizieren und auf TikTok-Seiten zuzugreifen. Crawling API.

Initialisieren Sie Ihr Python-Skript

Erstellen einer neuen Python-Skriptdatei tiktok_scraper.py für Ihr TikTok-Scraping-Projekt. Sie können jeden Texteditor oder jede integrierte Entwicklungsumgebung (IDE) Ihrer Wahl verwenden, um Ihren Python-Code zu schreiben.

Wenn Sie diese Einrichtungsschritte befolgen, verfügen Sie über eine vollständig konfigurierte Entwicklungsumgebung, mit der Sie mit dem Scraping von TikTok-Daten beginnen können. Diese Einrichtung gewährleistet einen reibungslosen und effizienten Arbeitsablauf, während Sie mit Ihrem Scraping-Projekt fortfahren.

4. Extrahieren des HTML-Codes der TikTok-Seite

Beim Scraping von TikTok besteht der erste Schritt darin, den HTML-Inhalt der Zielseite abzurufen. Es gibt verschiedene Ansätze, um diese Aufgabe zu erfüllen, jeder mit seinen eigenen Herausforderungen und Überlegungen.

Extrahieren von HTML mit einem allgemeinen Ansatz

Der übliche Ansatz zum Extrahieren von HTML aus TikTok besteht darin, HTTP-Anfragen direkt an die Server von TikTok zu senden. Dies kann mit Python-Bibliotheken wie erreicht werden Requests zum Senden von Anfragen.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
importieren Zugriffe
für bs4 importieren BeautifulSuppe
importieren urllib.parse

# Kodieren Sie den Abfrageparameter
codierte_Abfrage = urllib.parse.quote("Kochrezepte")

# Erstellen Sie die URL mit der codierten Abfrage
URL = f"https://www.tiktok.com/search?q={codierte_Abfrage}"

# Senden Sie eine GET-Anfrage, um den HTML-Inhalt abzurufen
Antwort = Anfragen.get(URL)

drucken(Antwort.text)

Kopieren Sie den obigen Code in Ihre Datei tiktok_scraper.py und führen Sie den folgenden Befehl in dem Verzeichnis aus, in dem die Datei vorhanden ist.

1
python tiktok_scraper.py

Sie werden sehen, dass das HTML der Seite auf dem Terminal angezeigt wird.

Aber warum sind im HTML keine nützlichen Informationen enthalten? Das liegt daran, dass TikTok auf JavaScript-Rendering angewiesen ist, um wichtige Daten dynamisch zu laden. Leider kann der Zugriff auf diese Daten mit herkömmlichen Scraping-Methoden schwierig sein. Die Anti-Scraping-Maßnahmen von TikTok erschweren den Prozess zusätzlich. Daher führt das Scraping von TikTok mit herkömmlichen Ansätzen möglicherweise nicht zu zufriedenstellenden Ergebnissen.

Herausforderungen beim Scraping von TikTok mit einem gängigen Ansatz

Das Scraping von TikTok mit dem üblichen Ansatz bringt mehrere Herausforderungen mit sich, darunter:

Herausforderungen beim TikTok Scraping
  • Dynamisches Laden von Inhalten: Die Webseiten von TikTok laden Inhalte häufig dynamisch mithilfe von JavaScript, sodass spezielle Techniken zum genauen Extrahieren der Daten erforderlich sind.
  • Rate Limiting: TikTok kann die Anzahl der Anfragen von einer einzelnen IP-Adresse innerhalb eines bestimmten Zeitraums beschränken, was zu Fehlern bei der Ratenbegrenzung führen kann.
  • IP-Blockierung: TikTok kann IP-Adressen blockieren, die zu viele Anfragen senden, was das Scraping von Daten erschwert. Es gibt zwar Möglichkeiten, Scrapen Sie Websites, ohne blockiert zu werden, am besten verwenden Sie einen TikTok-Scraper.
  • Komplexe HTML-Struktur: Die HTML-Struktur von TikTok kann komplex und ständig im Wandel sein, was das zuverlässige Analysieren und Extrahieren relevanter Informationen erschwert.

Um diese Hindernisse zu überwinden, verwenden wir eine intelligentere Methode mit Hilfe der erweiterten Funktionen des Crawlbase Crawling API.

Extrahieren von HTML mit Crawlbase Crawling API

Ein alternativer Ansatz zum Extrahieren von HTML aus TikTok ist die Nutzung der Crawlbase Crawling API. Crawlbase bietet eine zuverlässige und effiziente Möglichkeit, programmgesteuert auf TikTok-Seiten zuzugreifen und gleichzeitig gängige Scraping-Herausforderungen zu überwinden. Es Parameter Damit können Sie jede Art von Schabeproblem mit Leichtigkeit lösen.

Um das JS-Rendering-Problem zu lösen, können wir die Parameter ajax_wait und page_wait verwenden, die bereitgestellt werden von Crawling APIUnten sehen Sie ein Beispiel, das Crawlbase-Bibliothek zugreifen Crawling API und senden Sie eine Anfrage zum Abrufen des HTML-Codes der TikTok-Seite zusammen mit den erforderlichen Parametern.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
für Crawlbase importieren CrawlingAPI
importieren urllib.parse

# Initialisieren Sie das Crawlbase CrawlingAPI-Objekt
crawling_api = CrawlingAPI({"Zeichen": „CRAWLBASE_JS_TOKEN“})

Optionen = {
    'ajax_wait': "wahr",
    'Seite_warten': 10000,
    "Benutzeragent": „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“
}

# Kodieren Sie den Abfrageparameter
codierte_Abfrage = urllib.parse.quote("Kochrezepte")

# Erstellen Sie die URL mit der codierten Abfrage
URL = f"https://www.tiktok.com/search?q={codierte_Abfrage}"

# Stelle eine Anfrage an die Crawlbase Crawling API
Antwort = crawling_api.get(URL, Optionen)

# HTML-Inhalt aus der Antwort extrahieren
html_content = Antwort["Karosserie"].dekodieren("utf-8")

drucken(HTML-Inhalt)

Beispielausgabe:

Verwenden der Crawlbase Crawling API vereinfacht den Scraping-Prozess und ermöglicht es Ihnen, sich mühelos auf das Extrahieren wertvoller Daten aus TikTok zu konzentrieren.

5. Scraping der TikTok-Suchliste

Nachdem wir den HTML-Inhalt der TikTok-Suchergebnisseite extrahiert haben, besteht der nächste Schritt darin, bestimmte Datenelemente aus den Suchergebnissen zu extrahieren

Wir beginnen mit der Extraktion der Suchliste, das alle auf der TikTok-Suchseite angezeigten Suchergebnisse umfasst.

TikTok-Suchliste
1
2
3
4
5
6
7
8
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe

# Funktion zum Scrapen der TikTok-Suchliste
def Scrape_TikTok_Suchliste(html):
    Suppe = Schöne Suppe (html, "html.parser")
    Suchliste = Suppe.Auswahl("div[data-e2e='Suchvideo-Elementliste'] > div")
    Rückkehr Suchliste

6. Scraping von TikTok-Videodetails

Um TikTok Videodetails wie Video zu scrapen Untertitel, Video-URL, Miniaturansicht-URL, Upload-Datum und Anzahl der Aufrufemüssen wir die HTML-Elemente finden, die diese Informationen enthalten.

TikTok-Videodetails
1
2
3
4
5
6
7
8
9
# Funktion zum Scrapen von Videodetails
def Scrape_Video_Details(Grafikkarte):
    video_details = {}
    Videodetails["Untertitel"] = Grafikkarte.Wählen Sie eine(„div[data-e2e='Suchkarte-Video-Beschriftung'] > div > span“).text.strip()
    Videodetails[„Video-URL“] = Grafikkarte.Wählen Sie eine("div[data-e2e='search_video-item'] a")["href"].Streifen()
    Videodetails[„URL der Miniaturansicht“] = Grafikkarte.Wählen Sie eine(„div[data-e2e='search_video-item'] img“)["Quelle"].Streifen()
    Videodetails[„Upload-Datum“] = Grafikkarte.Wählen Sie eine("div[Klasse*='DivTimeTag']").text.strip()
    Videodetails["Ansichten"] = Grafikkarte.Wählen Sie eine("div[data-e2e='Suchkarten-ähnlicher Container''] > stark").text.strip()
    Rückkehr Videodetails

7. Scraping der Autordetails von TikTok-Videos

Wir können Autoreninformationen wie Benutzer extrahieren Name, Profil-URL und Bild-URL von jeder Grafikkarte.

Details zum TikTok-Videoautor
1
2
3
4
5
6
7
# Funktion zum Scrapen von Autoreninformationen
def scrape_author_info(Grafikkarte):
    Autor_Info = {}
    Autor_Info["Nutzername"] = Grafikkarte.Wählen Sie eine("p[data-e2e='Suchkarten-Benutzer-eindeutige-ID']").text.strip()
    Autor_Info[„Benutzerprofil-URL“] = „https://www.tiktok.com“ + Grafikkarte.Wählen Sie eine("a[data-e2e='Suchkarten-Benutzerlink']")["href"]
    Autor_Info[„Benutzerbild-URL“] = Grafikkarte.Wählen Sie eine(„a[data-e2e='Suchkarte-Benutzerlink'] img“)["Quelle"]
    Rückkehr Benutzerinformationen

8. Scraping von TikTok-Video-Hashtags

Kratzen hashtags Um die mit TikTok-Videos verknüpften Hashtags in den Suchergebnissen anzuzeigen, müssen wir die HTML-Elemente identifizieren, die die Hashtags enthalten, und sie entsprechend extrahieren.

TikTok-Video-Hashtags
1
2
3
4
5
# Funktion zum Scrapen von Hashtags
def scrape_hashtags(Grafikkarte):
    hashtags_elements = video_card.select("a[data-e2e='search-common-link'] > stark")
    Hashtags = [Tag.Text.Streifen() 
für Etikett in hashtags_elemente]
    Rückkehr {„Hashtags“: Hashtags}

9. Vollständiger Code - TikTok Scraper

Hier ist der vollständige Code, der alle Scraping-Aufgaben zum Scraping von Daten aus TikTok-Suchergebnissen integriert:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren urllib.parse
importieren JSON

# Initialisieren Sie das Crawlbase CrawlingAPI-Objekt
crawling_api = CrawlingAPI({"Zeichen": „CRAWLBASE_JS_TOKEN“})

Optionen = {
    'ajax_wait': "wahr",
    'Seite_warten': 10000,
    "Benutzeragent": „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“
}

# Funktion zum Abrufen von HTML mit Crawling API
def Crawlbase-Anfrage erstellen(URL):
    globale  crawling_api, Optionen

    Antwort = crawling_api.get(URL, Optionen)

    if Antwort['Kopfzeilen']['pc_status'] == '200':
      html_content = Antwort['Körper'].dekodieren('utf-8')
      Rückkehr HTML-Inhalt
    sonst:
      drucken(f"Seite konnte nicht abgerufen werden. Crawlbase-Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
      Rückkehr Keine

# Funktion zum Scrapen der TikTok-Suchliste
def Scrape_TikTok_Suchliste(html):
    Suppe = Schöne Suppe (html, "html.parser")
    Suchliste = Suppe.Auswahl("div[data-e2e='Suchvideo-Elementliste'] > div")
    Rückkehr Suchliste

# Funktion zum Scrapen von Videodetails
def Scrape_Video_Details(Grafikkarte):
    video_details = {}
    Videodetails["Untertitel"] = Grafikkarte.Wählen Sie eine(„div[data-e2e='Suchkarte-Video-Beschriftung'] > div > span“).text.strip()
    Videodetails[„Video-URL“] = Grafikkarte.Wählen Sie eine("div[data-e2e='search_video-item'] a")["href"].Streifen()
    Videodetails[„URL der Miniaturansicht“] = Grafikkarte.Wählen Sie eine(„div[data-e2e='search_video-item'] img“)["Quelle"].Streifen()
    Videodetails[„Upload-Datum“] = Grafikkarte.Wählen Sie eine("div[Klasse*='DivTimeTag']").text.strip()
    Videodetails[„Ansichten zählen“] = Grafikkarte.Wählen Sie eine("div[data-e2e='Suchkarten-ähnlicher Container'] > stark").text.strip()
    Rückkehr Videodetails

# Funktion zum Scrapen von Autoreninformationen
def scrape_author_info(Grafikkarte):
    Autor_Info = {}
    Autor_Info["Nutzername"] = Grafikkarte.Wählen Sie eine("p[data-e2e='Suchkarten-Benutzer-eindeutige-ID']").text.strip()
    Autor_Info[„Benutzerprofil-URL“] = „https://www.tiktok.com“ + Grafikkarte.Wählen Sie eine("a[data-e2e='Suchkarten-Benutzerlink']")["href"]
    Autor_Info[„Benutzerbild-URL“] = Grafikkarte.Wählen Sie eine(„a[data-e2e='Suchkarte-Benutzerlink'] img“)["Quelle"]
    Rückkehr author_info

# Funktion zum Scrapen von Hashtags
def scrape_hashtags(Grafikkarte):
    hashtags_elements = video_card.select("a[data-e2e='search-common-link'] > stark")
    Hashtags = [Tag.Text.Streifen() 
für Etikett in hashtags_elemente]
    Rückkehr {„Hashtags“: Hashtags}

# Funktion zum Scrapen von TikTok-Suchergebnissen
def Scrape_TikTok_Suchergebnisse(URL):
    # HTML der Seite abrufen
    html = make_crawlbase_request(URL)

    # Scrape-Sucheinträge (Grafikkarten)
    Suchliste = scrape_tiktok_search_listing(html)

    Ergebnisse = []

    
für Grafikkarte in Suchliste:
        video_info = {}

        # Videodetails scrapen
        video_info.update(scrape_video_details(Grafikkarte))

        # Benutzerinformationen scrapen
        video_info.update(scrape_user_info(Grafikkarte))

        # Hashtags scrapen
        video_info.update(scrape_hashtags(Videokarte))

        Ergebnisse.anhängen(video_info)

    Rückkehr Ergebnisse

# Hauptfunktion
def Haupt-†
    # Kodieren Sie den Abfrageparameter
    codierte_Abfrage = urllib.parse.quote("Kochrezepte")

    # Erstellen Sie die URL mit der codierten Abfrage
    URL = f"https://www.tiktok.com/search/video?q={codierte_Abfrage}"

    # TikTok-Suchergebnisse scrapen
    Suchergebnisse = scrape_tiktok_search_results(URL)

    # Drucken Sie die Scraped-Ergebnisse
    drucken(json.dumps(Suchergebnisse, Einzug=2, secure_ascii=falsch))

if __name__ == "__hauptsächlich__":
    Main()

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
[
  {
    "Untertitel": „Rezept für knusprige Kartoffelsnacks😋🔥 Abonnieren Sie den YouTube-Kanal \"Art of Cooking\", um weitere leckere Rezepte zu erhalten. Kanallink in Bio😊“,
    „Video-URL“: „https://www.tiktok.com/@artofcooking.tiktok/video/7344763014572182789“,
    „URL der Miniaturansicht“: "./Finde 'Kochrezepte' auf TikTok _ TikTok Search_files/a7ba950bfd354fea8ba88957ec787e37_1710085906",
    „Upload-Datum“: "3-10",
    „Ansichten zählen“: "8.7M",
    "Nutzername": „artofcooking.tiktok“,
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@artofcooking.tiktok“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/68e2b4f33e4265c27e175f9a7e4409f3~c5_100x100.jpeg",
    „Hashtags“: [
      „#Kartoffelsnacks“,
      "#Snacks",
      „#ramzanrezepte“,
      „#iftarrezept“,
      „#foryouseite“,
      "#fürdich",
      „#fürs Leben“,
      „#KunstdesKochens“
    ]
  },
  {
    "Untertitel": "Knusprige Kartoffelbrötchen",
    „Video-URL“: „https://www.tiktok.com/@recipesoftheworld.tiktok/video/7155082128521186587“,
    „URL der Miniaturansicht“: "./Finde 'Kochrezepte' auf TikTok _ TikTok Search_files/91f98eef286a4c0dbf7756002e5f757a_1665922412",
    „Upload-Datum“: "2022-10-16",
    „Ansichten zählen“: "6.6M",
    "Nutzername": "rezeptevonderwelt.tiktok",
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@recipesoftheworld.tiktok“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/287e9d47b7b6e119c3bf4875e6a46cd9~c5_100x100.jpeg",
    „Hashtags“: [
      „#RezepteausDerWelt“,
      "#Brötchen",
      "#Snacks",
      "#Feinschmecker",
      „#Straßenessen“,
      „#fürs Leben“,
      „#foryouseite“,
      „#Heimcafé“,
      "#fürdich"
    ]
  },
  {
    "Untertitel": „Rezeptvorschlag Krin 🍽️“,
    „Video-URL“: „https://www.tiktok.com/@emanminivlogs1/video/7331450145223085317“,
    „URL der Miniaturansicht“: "./Finde 'Kochrezepte' auf TikTok _ TikTok Search_files/oUJ7MeGiedhez4nVeHFCIHfIEwzLQitwKgAAxj",
    „Upload-Datum“: "2-3",
    „Ansichten zählen“: "79.6K",
    "Nutzername": "emanminivlogs1",
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@emanminivlogs1“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/b08b69344d859dede0f4b66994b54f68~c5_100x100.jpeg",
    „Hashtags“: [
      "#nächste",
      „#asmr“,
      „#viral“,
      „#trendig“,
      „#kochenasmr“,
      „#viraleskochen“,
      "#Kochen",
      „#essenasmr“,
      „#viralmacroni“,
      „#desimacroni“,
      „#asmreating“,
      „#Hühnchenpasta“,
      „#viralasmr“,
      „#rezeptasmr“,
      „#kochmitmir“,
      "#Detailrezept",
      „#fpppppppppppppppppppppp“,
      „#1MillionAudition“,
      „#unfreezemyaccount“ (Mein Konto entsperren),
      "#unfreezmyid"
    ]
  },
  {
    "Untertitel": „Rezept für knusprige Kartoffelsandwiches 🥰 (Ramadan-Spezial) Folgen Sie mir bitte auf youtu.be für weitere Ramadan-Rezepte. YouTube-Link in Bio 😇“,
    „Video-URL“: „https://www.tiktok.com/@amnaarman90/video/7210834069200981274“,
    „URL der Miniaturansicht“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/71fbcc3ad04043619c95997e47da6604_1678903149",
    „Upload-Datum“: "2023-3-15",
    „Ansichten zählen“: "12.3M",
    "Nutzername": "amnaarman90",
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@amnaarman90“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/6733899b34c05493e6a19312aa836259~c5_100x100.jpeg",
    „Hashtags“: [
      „#ramadan“,
      „#küchemitmitmittagsseit“,
      „#foryouseite“,
      „#iftarrezept“,
      "#Kartoffel",
      "#Sandwich",
      „#kochenzuhausetiktoktv“
    ]
  },
  {
    "Untertitel": „Mit nur 3 Kartoffeln können Sie ein einfaches und köstliches Frühstück zubereiten“,
    „Video-URL“: „https://www.tiktok.com/@food_house9/video/7196970154150956314“,
    „URL der Miniaturansicht“: "./Finde 'Kochrezepte' auf TikTok _ TikTok Search_files/ow3gD1Q4bAIBHObcAnRj2kB2xDDPeEetKM8QtN",
    „Upload-Datum“: "2023-2-6",
    „Ansichten zählen“: "9.2M",
    "Nutzername": "food_house9",
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@food_house9“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/8652be952fa716926e3692e2f7135795~c5_100x100.jpeg",
    „Hashtags“: [
      „#fastfoodleben“,
      „#Feinschmecker“,
      „#Essensliebhaber“,
      „#viraltiktok“,
      „#virales Video“,
      "#Stimmeffekte"
    ]
  },
  {
    "Untertitel": „Chicken Tikka (bitte abonnieren Sie meinen YouTube-Kanal | Kanalname Foodie Girl Sara)“,
    „Video-URL“: „https://www.tiktok.com/@foodiegirlsara/video/7312480741495966981“,
    „URL der Miniaturansicht“: "./Finde 'Kochrezepte' auf TikTok _ TikTok Search_files/65c2c0d1b2bf4e5a8c7115354b66c1e8_1702569652",
    „Upload-Datum“: "2023-12-14",
    „Ansichten zählen“: "7M",
    "Nutzername": "foodiegirlsara",
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@foodiegirlsara“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/6156698bab3718ccf78b2114227f7210~c5_100x100.jpeg",
    „Hashtags“: [
      "#Kochen",
      "#Rezept",
      "#Rezepte",
      „#foryoupage❤️❤️“,
      „#fypシ゚viral“,
      "#outdoorkochen",
      "#braten",
      „#für dich“,
      „#TikTokFood“,
      "#Chutney",
      "#Essen",
      "#Huhn",
      „#foryoupage❤️❤️“,
      "#outdoorkochen",
      „@KrucibleKitchen“
    ]
  },
  {
    "Untertitel": "trinken",
    „Video-URL“: „https://www.tiktok.com/@royalfood.786/video/7280072204925046021“,
    „URL der Miniaturansicht“: "./Finde 'Kochrezepte' auf TikTok _ TikTok Search_files/oYReMhDQIBQlcZCbfA8JIJEXOxI6AEApnBARBK",
    „Upload-Datum“: "2023-9-18",
    „Ansichten zählen“: "6.4M",
    "Nutzername": "royalfood.786",
    „Benutzerprofil-URL“: „https://www.tiktok.comhttps://www.tiktok.com/@royalfood.786“,
    „Benutzerbild-URL“: "./Finden Sie 'Kochrezepte' auf TikTok _ TikTok Search_files/716e07d8f30fbcb2cdf94cf9793c51ee~c5_100x100.jpeg",
    „Hashtags“: [
      "#anders"
    ]
  },
  .... mehr
]

10. Handhabung der Paginierung im TikTok Scraper

Beim Scraping von TikTok-Daten ist es wichtig, effizient durch mehrere Seiten mit Suchergebnissen zu navigieren. TikTok implementiert ein scrollbasiertes Paginierungssystem, bei dem neuer Inhalt geladen wird, wenn der Benutzer auf der Seite nach unten scrollt.

TikTok-Scroll-Paginierung

Um diese Paginierung zu handhaben, können wir den „scroll“-Parameter verwenden, der von Crawlbase bereitgestellt wird. Crawling API. Wir setzen den Parameter „scroll“ in unserer Anfrage an die Crawlbase auf „true“. Crawling API. Dadurch wird die API angewiesen, das Scrollen auf der Seite zu simulieren, um zusätzlichen Inhalt zu laden. Standardmäßig ist das Scrollintervall auf 10 Sekunden (10000 Millisekunden) eingestellt. Wir können dieses Intervall jedoch mit dem Parameter „scroll_interval“ entsprechend unseren Anforderungen anpassen.

Wir können das aktualisieren options Objekt in unserem Skript, um die Seitennummerierung wie folgt zu konfigurieren:

1
2
3
4
5
6
7
Optionen = {
    'ajax_wait': "wahr",
    'Seite_warten': 10000,
    "Benutzeragent": „Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0“,
    'scrollen': "wahr",
    'Scrollintervall': 10000
}

11. Speichern von gescrapten TikTok-Daten in einer CSV-Datei

Nachdem wir TikTok-Daten erfolgreich gescrapt haben, müssen wir sie unbedingt für weitere Analysen oder Verwendungen speichern. Eine gängige Methode zum Speichern strukturierter Daten ist das Speichern in einer CSV-Datei.

Hier ist eine Funktion zum Speichern unserer gescrapten TikTok-Daten in einer CSV-Datei:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
importieren csv

def als CSV speichern(Daten, Dateiname):
    # Feldnamen für die CSV-Datei definieren
    Feldnamen = ["Untertitel", „Video-URL“, „URL der Miniaturansicht“, „Upload-Datum“, „Ansichten zählen“, "Nutzername", „Benutzerprofil-URL“, „Benutzerbild-URL“, „Hashtags“]

    # Daten in die CSV-Datei schreiben
    mit XNUMXh geöffnet(Dateiname, "w", neue Zeile="", Kodierung="utf-8") as csv-Datei:
        Writer = csv.DictWriter(CSV-Datei, Feldnamen=Feldnamen)
        Writer.writeheader()
        writer.writerows(Daten)

# Anwendungsbeispiel:
# Speichern Sie die gescrapten TikTok-Daten in einer CSV-Datei mit dem Namen „tiktok_data.csv“
# in CSV speichern (Suchergebnisse, "tiktok_data.csv")

Sie können dies nennen save_to_csv Funktion mit den gescrapten TikTok-Daten und dem gewünschten Dateinamen (z. B. tiktok_data.csv), um die Daten in einer CSV-Datei zu speichern.

tiktok_data.csv Schnappschuss:

tiktok_data.csv Schnappschuss

12. Scrape Tiktok mit Crawlbase

Herzlichen Glückwunsch zur erfolgreichen Erstellung Ihres TikTok Scrapers mit Crawlbase Crawling API und Python! Dieser Leitfaden hat Ihnen das Know-how und die Tools vermittelt, um problemlos wichtige Informationen aus TikTok zu erhalten.

Schauen Sie sich auch die Liste der Tiktok-Schaber die wir für Sie erstellt haben.

Jetzt, da Sie gut im TikTok Scraping sind, können Sie viele Dinge tun. Sie können Daten von anderen Social-Media-Konten abrufen, Marktforschung betreiben, Trends verfolgen und vieles mehr. Und mit der Crawlbase Crawling API, Sie können Ihr Scraping genau an Ihre Bedürfnisse anpassen.

Wenn Sie Ihre Web-Scraping-Fähigkeiten erweitern möchten, sehen Sie sich unsere folgenden Anleitungen zum Scraping anderer Social-Media-Plattformen an.

📜 Beste Tiktok-Schaber

📜 So scrapen Sie Facebook

📜 Wie man Linkedin scrapt

📜 So scrapen Sie Twitter

📜 Wie man Reddit scrapt

📜 Wie man Instagram scrapt

📜 Wie man Youtube scrapt

Weitere Anpassungsmöglichkeiten und erweiterte Funktionen finden Sie in der Crawlbase Crawling API Dokumentation. Wenn Sie Fragen oder Feedback haben, wenden Sie sich bitte an unseren Support-Team. Wir sind hier, um Sie bei Ihrem Web Scraping-Abenteuer zu unterstützen und Ihnen zu helfen, Ihre Datenerfassungsziele zu erreichen. Vielen Dank, dass Sie sich für Crawlbase entschieden haben Crawling API, und wir wünschen Ihnen viel Erfolg bei all Ihren Scraping-Bemühungen!

13. Häufig gestellte Fragen (FAQs)

F. Was ist TikTok Scraper?

Beim TikTok Scraping werden Daten von der TikTok-Plattform extrahiert, darunter Informationen wie Benutzerprofile, Videodetails, Interaktionen, Hashtags und mehr. Dieser Prozess ermöglicht es Benutzern, Daten für Analysen, Recherchen, Trendverfolgung und andere Zwecke zu sammeln.

F. Warum TikTok scrapen?

Durch das Scraping von TikTok können Sie wertvolle Daten für verschiedene Zwecke extrahieren, z. B. für Marktforschung, Trendanalyse, Inhaltserstellung und Wettbewerbsanalyse. Durch das Sammeln von Informationen von TikTok können Sie Einblicke in das Benutzerverhalten, beliebte Hashtags, Trendthemen und Engagement-Metriken gewinnen. Diese Daten können verwendet werden, um Geschäftsentscheidungen zu treffen, Marketingstrategien zu verbessern und Wachstumschancen zu identifizieren.

Die Rechtmäßigkeit des Scrapings von TikTok hängt davon ab, wie Sie die Daten verwenden und ob Sie die Servicebedingungen und Datennutzungsrichtlinien von TikTok einhalten. Während die Servicebedingungen von TikTok das automatisierte Scraping der Plattform verbieten, kann es Fälle geben, in denen Scraping für Forschung, Analyse oder den persönlichen Gebrauch zulässig ist. Es ist jedoch wichtig, die Servicebedingungen von TikTok zu überprüfen und Rechtsexperten zu konsultieren, um die Einhaltung der relevanten Gesetze und Vorschriften sicherzustellen.

F: Was können Sie von TikTok scrapen?

Sie können verschiedene Arten von Daten aus TikTok extrahieren, darunter Benutzerprofile, Videos, Kommentare, Likes, Shares, Hashtags und Engagement-Metriken. Mit den richtigen Scraping-Techniken können Sie Informationen über trendige Inhalte, beliebte Ersteller, demografische Merkmale des Publikums und Benutzerinteraktionen extrahieren. Diese Daten können wertvolle Einblicke in das Ökosystem von TikTok liefern und Ihnen helfen, dessen Publikum und Trends besser zu verstehen.

F: Was sind die besten Möglichkeiten zum Scrapen von TikTok?

Die besten Methoden zum Scrapen von TikTok sind der Einsatz von Techniken, die darauf ausgelegt sind, das dynamische Laden von Inhalten und die JavaScript-Wiedergabe von TikTok zu umgehen. Hier sind einige empfohlene Methoden:

  1. Headless-Browser und Automatisierungstools: Verwenden Sie Headless-Browser oder Automatisierungstools wie Selenium, um Benutzerinteraktionen mit der TikTok-Website zu simulieren. Durch die Automatisierung von Aufgaben wie Scrollen, Klicken und Navigieren können Sie Inhalte dynamisch laden und Daten effektiv extrahieren, einschließlich von JavaScript gerenderter Elemente.
  2. Offizielle TikTok-APIs: Die offiziellen APIs von TikTok bieten eine genehmigte Möglichkeit, auf strukturierte Daten zuzugreifen, darunter Benutzerprofile, Videos, Kommentare und Likes. Sie sind zwar zuverlässig und benutzerfreundlich, können jedoch Einschränkungen beim Datenzugriff aufweisen. Darüber hinaus kann für den Zugriff auf die offiziellen APIs von TikTok eine Registrierung und die Einhaltung von Nutzungsrichtlinien erforderlich sein.
  3. API-Anbieter von Drittanbietern: Erwägen Sie die Verwendung von APIs von Drittanbietern, wie Crawlbase Crawling API, die TikTok anbieten Datenintegrationsdienste. Diese Anbieter bieten umfassende APIs mit auf die Datenextraktion zugeschnittenen Funktionen und ermöglichen so einen nahtlosen Zugriff auf die Inhalte von TikTok, ohne dass komplexe Scraping-Aufgaben durchgeführt werden müssen.

Durch die Implementierung dieser Methoden können Sie TikTok effektiv nach wertvollen Erkenntnissen, Trends und benutzergenerierten Inhalten durchsuchen und gleichzeitig die besonderen Herausforderungen bewältigen, darunter JavaScript-Rendering und Anti-Scraping-Maßnahmen.