So scrapt man TripAdvisor mit PythonBewertungen und Ratings aus öffentlichen Listings

TripAdvisor sitzt auf einem der größten Pools nutzergenerierter Reisedaten im Web: Hunderte Millionen Bewertungen, Ratings und Listings für Hotels, Restaurants und Attraktionen. Das macht es zu einer verlockenden Quelle für Marktforschung, Wettbewerber-Benchmarking und Reputations-Tracking. Der Haken ist, dass TripAdvisor den Großteil seines Inhalts mit JavaScript rendert und hart gegen automatisierten Datenverkehr vorgeht, sodass eine einfache HTTP-Anfrage eine nahezu leere Seite und häufig eine Blockierung liefert.

Diese Anleitung zeigt Ihnen, wie Sie TripAdvisor scrapen auf zuverlässige Weise mit Python: Leiten Sie Ihre Anfragen über den Crawlbase Smart AI Proxy, lassen Sie ihn die Seite rendern und IPs für Sie rotieren, und parsen Sie dann das zurückgegebene HTML mit BeautifulSoup, um Namen, Ratings, Bewertungszählungen und Standorte aus öffentlichen Suchlisten zu extrahieren. Alles hier ist lauffähig, und der gesamte Walkthrough beschränkt sich ausschließlich auf öffentliche Daten.

Ist es legal, TripAdvisor zu scrapen?

Das Scrapen einer großen kommerziellen Plattform befindet sich in einem rechtlichen Graubereich, und ob es zulässig ist, hängt von TripAdvisors Nutzungsbedingungen, Ihrem Gerichtsstand und dem ab, was Sie mit den Daten tun. TripAdvisors Bedingungen schränken den automatisierten Zugriff ein, sodass Scraping unabhängig davon, wie sorgfältig Ihr Tooling ist, gegen diese Bedingungen verstoßen kann. Keiner der hier vorliegenden Codes ändert das; er sorgt nur dafür, dass der technische Teil funktioniert.

Ein paar Linien, an denen es sich lohnt festzuhalten. Sammeln Sie nur öffentliche Daten: Listing-Namen, Ratings, Bewertungszählungen und Standorte, die jeder ohne Konto sehen kann. Respektieren Sie TripAdvisors robots.txt und seine erklärten Ratenerwartungen und halten Sie Ihr Anfragevolumen niedrig genug, sodass Sie niemandes Server belasten. Bewertungen sind nutzergenerierter Inhalt, der mit echten Personen verknüpft ist, also veröffentlichen Sie sie nicht in großem Umfang oder scrapen Sie nichts, das eine Einzelperson identifiziert. Wenn Sie die Daten kommerziell weiterverwenden möchten, holen Sie sich eine Genehmigung oder eine offizielle Datenvereinbarung, anstatt Schweigen als Zustimmung zu interpretieren.

Diese Anleitung beschränkt sich bewusst auf öffentliche Listing-Daten, da das die Linie ist, die die Arbeit vertretbar macht. Sie deckt nichts hinter einem Login, Konto- oder Profildaten, private Nachrichten oder Versuche ab, die Authentifizierung zu umgehen. Wenn Ihr Projekt mehr als öffentliche Listings benötigt, ist der richtige Schritt eine offizielle API oder eine Datenvereinbarung mit TripAdvisor, kein cleverer Scraper.

Warum TripAdvisor scrapen

Öffentliche Reisestimmung ändert sich ständig, und eine einzelne Seitenansicht sagt Ihnen nur, wie ein Listing gerade aussieht. Das Scrapen von TripAdvisors öffentlichen Listings ermöglicht es Ihnen, Ratings, Bewertungszählungen und Rankings über die Zeit zu verfolgen, was die meisten Forschungsaufgaben tatsächlich erfordern. Einige konkrete Anwendungsfälle:

• Marktforschung. Erkennen Sie beliebte Ziele und sich ändernde Kundenpräferenzen, indem Sie Bewertungsvolumen und Ratings in einer Kategorie beobachten.
• Wettbewerbsanalyse. Vergleichen Sie Ihr Hotel, Restaurant oder Ihre Attraktion mit Konkurrenten in Rating und Bewertungszählung im selben Markt.
• Reputationsüberwachung. Verfolgen Sie, wie das Rating Ihres eigenen Listings über die Zeit tendiert, damit Sie früh auf Einbrüche reagieren können.
• Trend-Entdeckung. Aggregieren Sie Stimmung über viele Listings, um aufkommende Muster zu erkennen, die eine einzelne Seite nie enthüllen würde.

Für einen Ingenieur liegt der Wert in strukturierten Daten: eine gerenderte Suchseite in saubere Zeilen umwandeln, die Sie abfragen, visualisieren oder in ein Modell einspeisen können.

Warum ein einfacher Abruf hier scheitert

Wenn Sie eine TripAdvisor-URL mit einem einfachen HTTP-Client anfordern, erhalten Sie normalerweise eine Antwort mit Status 200 und fast keinen der gewünschten Daten. Zwei Dinge arbeiten gegen Sie. Erstens rendert TripAdvisor seine Listings im Browser mit JavaScript, sodass das initiale HTML eine Hülle ist, die sich erst füllt, nachdem die Skripte der Seite ausgeführt werden. Zweitens kennzeichnet TripAdvisor automatisierten Datenverkehr schnell: Datacenter-IPs und Anfragemuster, die nicht wie ein echter Browser aussehen, werden herausgefordert oder blockiert, bevor sie jemals den gerenderten Inhalt erreichen.

Ein funktionierender TripAdvisor-Scraper benötigt also zwei Dinge in einer Anfrage: einen Browser, der die Seite tatsächlich rendert, und eine IP, die die Plattform als echten Besucher liest. Sie können das selbst mit einem Headless-Browser plus einem Pool rotierender Residential-Proxys zusammenstellen, aber diese zu verknüpfen und gesund zu halten ist der Großteil der Arbeit. Der Crawlbase Smart AI Proxy fasst beides in einem einzigen Endpunkt zusammen: Sie zeigen Ihren normalen HTTP-Client darauf, übergeben ein paar Parameter, und er rendert die Seite hinter einer vertrauenswürdigen, rotierenden IP und gibt das fertige HTML zurück.

Umgebung einrichten

Sie benötigen Python 3.8 oder höher. Bestätigen Sie Ihre Version, erstellen Sie eine virtuelle Umgebung, damit Projektabhängigkeiten isoliert bleiben, und installieren Sie dann die drei Bibliotheken, die diese Anleitung verwendet.

python --version

python -m venv tripadvisor_env
source tripadvisor_env/bin/activate

pip install requests beautifulsoup4 pandas

Unter Windows aktivieren Sie die Umgebung mit tripadvisor_env\Scripts\activate statt der source-Zeile. Die drei Abhängigkeiten erledigen die Arbeit: requests stellt die HTTP-Aufrufe, beautifulsoup4 parst das zurückgegebene HTML und pandas organisiert Ihre Ergebnisse und schreibt sie in eine Datei.

Sie benötigen außerdem ein Crawlbase-Konto und ein Access-Token, das Sie nach der Registrierung vom Dashboard erhalten. Fügen Sie es in den Code ein, wo Sie YOUR_ACCESS_TOKEN sehen.

Eine Anfrage über den Smart AI Proxy senden

Der Smart AI Proxy ist nur ein HTTP-Proxy-Endpunkt, also konfigurieren Sie ihn auf dieselbe Weise wie jeden Proxy in requests. Geben Sie Ihr Access-Token in die Proxy-URL ein, zeigen Sie sowohl den http- als auch den https-Eintrag darauf und stellen Sie eine normale GET-Anfrage. Da der Proxy TLS für Sie beendet, übergeben Sie verify=False, um lokale Zertifikatsprüfungen zu überspringen.

import requests

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

proxies = {"http": proxy_url, "https": proxy_url}

response = requests.get(target_url, proxies=proxies, verify=False)

print("Status:", response.status_code)
print(response.content[:500])

Dieser einzelne Aufruf ist die gesamte Integration. Ihr Code bleibt normales requests; der Proxy übernimmt IP-Rotation und die vertrauenswürdige-Besucher-Reputation, die Sie davor schützt, beim ersten Treffer blockiert zu werden.

Crawling API-Parameter übergeben

Der Smart AI Proxy stellt dieselben Steuerelemente wie die Crawling API über einen einzigen Request-Header bereit, CrawlbaseAPI-Parameters. Sie übergeben Optionen als query-string-artigen Wert. Um beispielsweise die Anfrage geografisch in die Vereinigten Staaten zu verorten, setzen Sie den country-Parameter:

import requests

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

headers = {"CrawlbaseAPI-Parameters": "country=US"}
proxies = {"http": proxy_url, "https": proxy_url}

response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
print(response.content[:500])

Sie können mehrere Optionen mit & im selben Header-Wert verketten, was genau so ist, wie Sie als nächstes JavaScript-Rendering einschalten.

JavaScript-schwere Seiten rendern

TripAdvisor lädt seine Listings clientseitig, also erhalten Sie ohne Rendering wieder die leere Hülle. Schalten Sie einen Headless-Browser mit javascript=true ein und fügen Sie page_wait hinzu, um für eine feste Anzahl von Millisekunden nach dem Laden zu warten, damit spät rendernde Elemente vor der Erfassung erscheinen. Fünf Sekunden sind ein vernünftiger Start; erhöhen Sie es, wenn Ergebnisse spärlich zurückkommen.

import requests

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

headers = {"CrawlbaseAPI-Parameters": "javascript=true&page_wait=5000"}
proxies = {"http": proxy_url, "https": proxy_url}

response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
html_content = response.content.decode("utf-8")

print("Fetched", len(html_content), "characters of rendered HTML")

Mit eingeschaltetem JavaScript-Rendering enthält der Antwort-Body nun die befüllten Listings anstelle eines leeren Gerüsts. Das ist das HTML, das Sie an BeautifulSoup übergeben.

Die Suchlisten mit BeautifulSoup parsen

Mit dem gerenderten HTML in der Hand laden Sie es in BeautifulSoup und gehen die Ergebniskarten durch. Die erste Aufgabe ist es, den Container zu finden, der die Suchergebnisse enthält. Öffnen Sie die Seite in Ihrem Browser, klicken Sie mit der rechten Maustaste auf ein Ergebnis und wählen Sie Inspizieren, um das Live-Markup zu lesen.

In TripAdvisors Suchansicht befindet sich jedes Listing in einem div mit der Klasse result, und diese befinden sich in einer Ergebnisliste, die durch data-widget-type="LOCATIONS" identifiziert wird. Wählen Sie das aus und iterieren Sie die Karten:

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, "html.parser")

search_results = soup.select(
    'div.search-results-list[data-widget-type="LOCATIONS"] div.result'
)

for result in search_results:
    # extract fields from each result here
    pass

Ordnen Sie nun jedes Feld seinem Selektor zu. Die Inspektion einer Karte zeigt, wo Name, Rating, Bewertungszählung und Standort liegen:

• Name befindet sich in einem <span> innerhalb eines div.result-title.
• Rating befindet sich in einem span.ui_bubble_rating, wobei der Wert in seinem alt-Attribut gespeichert ist.
• Bewertungszählung ist der Text eines a.review_count-Links.
• Standort ist der Text eines div.address-text.

name_el = result.select_one("div.result-title span")
name = name_el.text.strip() if name_el else None

rating_el = result.select_one("span.ui_bubble_rating")
rating = rating_el["alt"] if rating_el else None

reviews_el = result.select_one("a.review_count")
reviews = reviews_el.text.strip() if reviews_el else None

location_el = result.select_one("div.address-text")
location = location_el.text.strip() if location_el else None

Der vollständige Scraper

Hier ist alles in einer lauffähigen Datei zusammengefasst. Er ruft die gerenderte Suchseite über den Smart AI Proxy ab, parst jedes Ergebnis, sammelt die Zeilen und gibt sie als JSON aus.

import json
import requests
from bs4 import BeautifulSoup

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

headers = {"CrawlbaseAPI-Parameters": "javascript=true&page_wait=5000"}
proxies = {"http": proxy_url, "https": proxy_url}


def parse_results(html):
    soup = BeautifulSoup(html, "html.parser")
    cards = soup.select(
        'div.search-results-list[data-widget-type="LOCATIONS"] div.result'
    )
    rows = []
    for result in cards:
        name_el = result.select_one("div.result-title span")
        rating_el = result.select_one("span.ui_bubble_rating")
        reviews_el = result.select_one("a.review_count")
        location_el = result.select_one("div.address-text")
        rows.append({
            "name": name_el.text.strip() if name_el else None,
            "rating": rating_el["alt"] if rating_el else None,
            "reviews": reviews_el.text.strip() if reviews_el else None,
            "location": location_el.text.strip() if location_el else None,
        })
    return rows


def main():
    response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
    html = response.content.decode("utf-8")
    rows = parse_results(html)
    print(json.dumps(rows, indent=2))


if __name__ == "__main__":
    main()

Wie die Ausgabe aussieht

Führen Sie es mit python tripadvisor_scraper.py aus und Sie erhalten ein Array strukturierter Listing-Objekte. Eine gekürzte Stichprobe:

[
  {
    "name": "London Eye",
    "rating": "4.5 of 5 bubbles",
    "reviews": "89,766 reviews",
    "location": "Westminster Bridge Road, London, England, United Kingdom"
  },
  {
    "name": "Big Bus London Hop-On Hop-Off Tour and River Cruise",
    "rating": "4 of 5 bubbles",
    "reviews": "8,656 reviews",
    "location": "London, England, United Kingdom"
  },
  {
    "name": "North London Skydiving Centre",
    "rating": "5 of 5 bubbles",
    "reviews": "2,889 reviews",
    "location": "Block Fen Drove, Wimblington, Cambridgeshire, England, United Kingdom"
  }
]

Paginierung behandeln

Eine Seite mit Ergebnissen ist eine Demo; ein echter Auftrag geht mehrere durch. TripAdvisor verwendet den o-Parameter (Offset) für die Seitennavigation in Suchergebnissen und rückt um die Anzahl der Ergebnisse pro Seite vor. Iterieren Sie über einen Bereich, erhöhen Sie den Offset jedes Mal und sammeln Sie die Zeilen in einer Liste.

base_url = "https://www.tripadvisor.com/Search?q=london"
all_rows = []
offset = 0

for page in range(5):  # adjust to the number of pages you want
    target_url = f"{base_url}&o={offset}"
    response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
    html = response.content.decode("utf-8")
    all_rows.extend(parse_results(html))
    offset += 30  # results per page

print(f"Collected {len(all_rows)} listings")

Die Wiederverwendung von parse_results aus dem vollständigen Skript hält die Extraktionslogik an einem Ort, sodass jede Seite durch dieselben Selektoren geht. Dosieren Sie die Schleife, damit Sie keine Anfragen hintereinander abfeuern; der Proxy rotiert IPs für Sie, aber ein stetiger Rhythmus hält einen Lauf auf einer defensiven Website gesund.

Daten in Excel speichern

Das Protokollieren in die Konsole ist fein, während Sie iterieren, aber Sie möchten die Daten auf der Festplatte. Mit pandas reichen zwei Zeilen, um Ihre Zeilen in eine Excel-Datei umzuwandeln, die jeder in einem Tabellenkalkulationsprogramm öffnen kann.

import pandas as pd

df = pd.DataFrame(all_rows)
df.to_excel("tripadvisor_data.xlsx", index=False)
print("Saved tripadvisor_data.xlsx")

Jeder Objektschlüssel wird zu einer Spalte, sodass Sie eine ordentliche Tabelle mit Name, Rating, Bewertungen und Standort erhalten. Wenn Sie die Daten lieber mit SQL abfragen möchten, schreiben Sie dieselben Zeilen stattdessen in eine SQLite-Tabelle; das Parsen bleibt identisch.

Unblockiert bleiben

Auch bei durch den Smart AI Proxy gehandhabtem Rendering und IP-Rotation beobachtet TripAdvisor scraper-ähnlichen Datenverkehr. Einige Gewohnheiten halten einen Lauf gesund, und sie gelten für jedes schwere kommerzielle Ziel.

• Dosieren Sie Ihre Anfragen. Dieselbe Suche in einer engen Schleife zu hämmern ist der schnellste Weg zur Drosselung. Verteilen Sie Anfragen und variieren Sie Ihre Suchanfragen.
• Setzen Sie auf Rotation. Ein Pool von Residential-Proxys verteilt Anfragen über viele echte Nutzer-IPs, sodass keine einzelne ein Ratenlimit auslöst. Der Smart AI Proxy übernimmt das für Sie; wenn Sie Ihren eigenen aufbauen, ist das der Teil, den Sie richtig machen müssen.
• Lesen Sie die Statuscodes. Ein Lauf, der anfängt, Herausforderungen oder Fehler zurückzugeben, signalisiert Ihnen, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Behandeln Sie diese Antworten als Signal, weichen Sie zurück und versuchen Sie es später erneut.

Das umfassendere Playbook finden Sie unter Websites scrapen ohne blockiert zu werden.

Häufig gestellte Fragen

Ist es legal, TripAdvisor zu scrapen?

Das hängt von TripAdvisors Nutzungsbedingungen, Ihrem Gerichtsstand und Ihrem Zweck ab, und ihre Bedingungen schränken den automatisierten Zugriff ein. Bleiben Sie strikt bei öffentlichen Listing-Daten wie Namen, Ratings, Bewertungszählungen und Standorten, respektieren Sie robots.txt und erklärte Ratenerwartungen und berühren Sie niemals Konten, persönliche Daten oder login-gesperrte Inhalte. Bewertungen sind Nutzerinhalt, der mit echten Personen verknüpft ist, also veröffentlichen Sie sie nicht in großem Umfang. Für kommerzielle Weiterverwendung holen Sie sich eine Genehmigung oder eine offizielle Datenvereinbarung statt auf einen Scraper zu setzen.

Warum gibt ein einfacher Abruf keine Daten von TripAdvisor zurück?

Weil TripAdvisor seine Listings clientseitig mit JavaScript rendert. Das initiale HTML ist eine Hülle, die sich erst füllt, nachdem die Skripte der Seite in einem Browser ausgeführt wurden, sodass eine rohe HTTP-Anfrage Status 200 mit leeren Feldern zurückgibt. Um echte Daten zu erhalten, müssen Sie die Seite zuerst rendern, was der javascript=true-Parameter des Smart AI Proxys für Sie übernimmt.

Wie gehe ich mit dynamisch geladenen Inhalten auf TripAdvisor um?

Aktivieren Sie JavaScript-Rendering über den Smart AI Proxy, indem Sie javascript=true im CrawlbaseAPI-Parameters-Header übergeben, und fügen Sie page_wait hinzu, um einige Sekunden nach dem Laden zu warten, damit spät rendernde Elemente erscheinen. Diese Kombination führt die Seite in einem echten Headless-Browser aus, bevor das HTML zurückgegeben wird, sodass die dynamischen Listings vorhanden sind, wenn BeautifulSoup sie parst.

Kann ich mehrere Seiten von TripAdvisor-Suchergebnissen scrapen?

Ja. TripAdvisor verwendet den o-Offset-Parameter für die Navigation in Suchergebnissen, also iterieren Sie über einen Bereich, erhöhen den Offset jedes Mal um die Anzahl der Ergebnisse pro Seite und sammeln die Zeilen in einer Liste. Dosieren Sie die Schleife statt Anfragen hintereinander abzufeuern, und verwenden Sie dieselbe Parse-Funktion für jede Seite wieder.

Meine Selektoren geben None zurück. Was hat sich geändert?

Höchstwahrscheinlich TripAdvisors Markup. Klassennamen wie result-title und ui_bubble_rating ändern sich ohne Ankündigung, sodass Selektoren, die letzten Monat funktioniert haben, brechen können. Inspizieren Sie eine Live-Suchseite in den Dev Tools Ihres Browsers und aktualisieren Sie die Selektoren. Periodische Selektor-Wartung ist bei jedem Produktions-Scraper normal.

Erlaubt TripAdvisor Web-Scraping?

TripAdvisors Bedingungen schränken den automatisierten Zugriff ein, also erlaubt es Scraping nicht generell. Das Sammeln öffentlich sichtbarer Daten wie Listing-Namen, Ratings, Bewertungszählungen und Standorte über ein Tool wie den Smart AI Proxy ist der risikoärmere Weg, wenn es verantwortungsvoll durchgeführt wird: Bleiben Sie bei öffentlichen Daten, respektieren Sie robots.txt und Ratenlimits und vermeiden Sie alles, das mit einzelnen Nutzern verknüpft ist.

HR

Hassan Rehan

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zu rotierenden Proxys, Scraping und den praktischen Details schreibt, Proxys in echten Code einzubinden.