Agoda verfügt über Millionen von Hotel- und Immobilieneinträgen. Egal, ob Sie recherchieren, einen Reiseaggregator erstellen oder Hotelpreise analysieren, das Scraping von Daten von Agoda kann für Ihr Projekt wirklich nützlich sein.

In diesem Leitfaden zeigen wir Ihnen, wie Sie Hoteldaten auslesen können von Agoda mit Python und dem Crawlbase Crawling API. Sie erfahren, wie Sie Hotelnamen, Preise, Bewertungen und Beurteilungen extrahieren, während Sie durch Agodas scrollbasierte Paginierung navigieren. Wir zeigen Ihnen auch, wie Sie Ihre Python-Umgebung einrichten und die Scraped-Daten in einem strukturierten Format wie JSON speichern.

Sie erhalten einen Agoda-Web-Scraper, der dynamische Inhalte scrapen und Hotellisten abrufen kann. Dieser Leitfaden behandelt nicht nur fortgeschrittene Themen wie Seitennummerierung und die Nutzung einer API zum Erleichtern des Scrapings, sondern ist auch für Anfänger gedacht.

Bereit, loszulegen? Hier erfahren Sie, was wir behandeln werden:

Inhaltsverzeichnis

  1. Warum Hoteldaten von Agoda scrapen?
  2. Wichtige Datenpunkte zum Extrahieren von Agoda
  3. Crawlbase Crawling API zum Scraping von Hoteleinträgen auf Agoda
  • Installieren der Crawlbase Python-Bibliothek
  1. Einrichten Ihrer Python-Umgebung
  • Installieren von Python und erforderlichen Bibliotheken
  • IDE für Web Scraping
  1. Scraping von Agoda-Immobilienangeboten
  • Untersuchen des HTML zum Identifizieren von Selektoren
  • Schreiben des Agoda Search Listings Scrapers
  • Umgang mit scrollbasierter Paginierung
  • Speichern von Scraped-Daten in einer JSON-Datei
  • Vollständiges Python-Codebeispiel
  1. Abschließende Überlegungen
  2. Häufig gestellte Fragen (FAQs)

Warum Hoteldaten von Agoda scrapen?

Agoda ist eine beliebte Online-Reisebuchungsseite, der Millionen von Nutzern weltweit vertrauen, wenn es um die besten Hotelangebote geht. Mit Millionen von Unterkünften in seiner Datenbank ist Agoda eine wahre Fundgrube an Informationen für Unternehmen, Forscher und Entwickler. Durch das Scraping der Agoda-Hoteldaten können Sie Erkenntnisse gewinnen, die manuell nur schwer zu gewinnen sind.

Hier sind einige Gründe, warum das Scraping von Agoda-Hoteldaten wertvoll ist:

1. Marktforschung

Durch Scraping von Agoda können Sie Hotelpreise, Trends und Verfügbarkeiten für Reisebüros, Hotelmanager und Wettbewerber analysieren, um die Preisgestaltung zu optimieren und Chancen zu erkennen.

2. Aufbau eines Reiseaggregators

Agoda-Daten stellen Benutzern von Reisevergleichsseiten oder Apps Hotelpreise, Bewertungen, Rezensionen und Verfügbarkeit in Echtzeit zur Verfügung.

3. Wettbewerbsanalyse

Hotels können die Daten von Agoda nutzen, um die Preise, Sonderangebote und Bewertungen der Konkurrenz zu verfolgen und so ihre Preise und Dienstleistungen zu verbessern.

4. Personalisierte Empfehlungen

Durch das Scraping der Hoteldaten von Agoda können Entwickler personalisierte Reiseempfehlungen auf Grundlage von Ausstattung, Bewertungen und Standort erstellen.

5. Akademische Forschung

Forscher können die Daten von Agoda für Studien zu Tourismustrends, Nutzerverhalten und Gastgewerbe für akademische Projekte und Berichte verwenden.

Wichtige Datenpunkte zum Extrahieren von Agoda

Wenn Sie Hoteldaten von Agoda extrahieren, können Sie Ihre Bemühungen optimal nutzen, indem Sie sich auf die wertvollsten Datenpunkte konzentrieren. Hier sind die wichtigsten zu extrahierenden Datenpunkte:

Bild der wichtigsten Datenpunkte zum Extrahieren aus Agoda
  1. Hotelname – Der Name des Hotels hilft bei der Identifizierung der Unterkünfte.
  2. Preis pro Nacht – Die Kosten für eine einzelne Übernachtung.
  3. Gesamtpreis – Der volle Preis für den gesamten Aufenthalt, einschließlich Steuern.
  4. Hotelbewertung – Kundenbewertungen zur Beurteilung der Qualität der Immobilie.
  5. Anzahl der Bewertungen – Gibt Aufschluss über die Popularität und Vertrauenswürdigkeit des Hotels.
  6. Standort – Stadt oder Viertel, in dem sich das Hotel befindet.
  7. Ausstattung – Ausstattungsmerkmale wie WLAN, Pool, Fitnessstudio usw., die das Hotel bietet.
  8. Immobilientyp – Art der Unterkunft, z. B. Hotel, Resort oder Apartment.
  9. Raumverfügbarkeit – Informationen zu verfügbaren Zimmern an bestimmten Daten.
  10. Hotel Bilder – Bilder der Immobilie sind hilfreich, um Angebote zu präsentieren.

Crawlbase Crawling API zum Scraping von Hoteleinträgen auf Agoda

Crawlbase Crawling API ist das perfekte Tool zum Scrapen von Agoda, dessen dynamischer Inhalt beim Scrollen geladen wird. Es verarbeitet mit JavaScript gerenderte Seiten und umgeht Sicherheitsmaßnahmen wie IP-Blockierungen, sodass das Scraping effizient und reibungslos abläuft.

Deshalb eignet sich Crawlbase für Agoda Scraping:

  • Verarbeitet dynamische Inhalte: Crawlbase simuliert menschliches Scrollen, sodass alle Hoteleinträge erfasst werden, während die Seite weitere Daten lädt.
  • IP-Rotation: Rotiert IPs, um Ratenbegrenzungen und Sperren von Agoda zu vermeiden.
  • Schnell und zuverlässig: Große Datenmengen schnell zusammentragen.
  • Anpassbare Anfragen: Passen Sie Header, Cookies und Anforderungsparameter Ihren Bedürfnissen an.

Crawlbase Python-Bibliothek

Die Crawlbase Python-Bibliothek macht die Verwendung der API einfach. Um loszulegen, benötigen Sie Ihren Crawlbase-Zugriffstoken, den Sie erhalten können unter Anmeldung für ihren Dienst.

Hier ist ein Beispielcode zum Abrufen von Daten von Agoda mithilfe von Crawlbase:

1
2
3
4
5
6
7
8
9
10
11
12
13
für Crawlbase importieren CrawlingAPI

# Initialisieren Sie die Crawlbase-API mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({ 'Zeichen': 'IHR_CRAWLBASE_TOKEN' })

def Crawlbase-Anfrage erstellen(URL):
    Antwort = crawling_api.get(URL)

    if Antwort['Kopfzeilen']['pc_status'] == '200':
        Rückkehr Antwort['Körper'].dekodieren('utf-8')
    sonst:
        drucken(f"Seite konnte nicht abgerufen werden. Statuscode: {Antwort['Kopfzeilen']['pc_status']}")
        Rückkehr Keine

Hinweis: Zum Scrapen von JavaScript-Inhalten ist ein JS-Token von Crawlbase erforderlich. Crawlbase bietet 1,000 Anfragen kostenlos für seine Crawling API. Siehe Dokumentation für mehr. Als Nächstes richten wir Ihre Python-Umgebung für Agoda Scraping ein!

Im nächsten Abschnitt richten wir Ihre Python-Umgebung für das Agoda-Scraping ein!

Einrichten Ihrer Python-Umgebung

Die Installation der Bibliotheken und die Konfiguration Ihrer Umgebung sind Voraussetzungen für den Beginn des Agoda-Scrapings. Befolgen Sie die folgenden Schritte, um die Einrichtung abzuschließen.

Installieren von Python und erforderlichen Bibliotheken

Stellen Sie sicher, dass Python auf Ihrem Computer installiert ist. Wenn nicht, laden Sie die neueste Version von der offizielle Python-Website.

Nach der Installation von Python müssen wir einige erforderliche Bibliotheken installieren:

  1. Crawlbase Python-Bibliothek: Zur Interaktion mit der Crawlbase Crawling API.
  2. BeautifulSuppe: Zum Analysieren von HTML und Extrahieren von Daten.

Sie können diese Bibliotheken mit pip installieren:

1
pip installieren crawlbase beautifulsoup4

IDE für Web Scraping

Eine integrierte Entwicklungsumgebung (IDE) erleichtert das Codieren und Ausführen Ihres Scrapers. Beliebte Optionen für Python sind:

Suchen Sie sich eines aus, das zu Ihnen passt, und schon kann es losgehen!

Scraping von Agoda-Immobilienangeboten

In diesem Abschnitt durchsuchen wir Agoda-Immobilienangebote für die Stadt „Kuala Lumpur“. Die Such-URL lautet:

Agoda-Such-URL für Kuala Lumpur

Um die Einträge effizient zu scrapen, werden wir die folgenden Schritte durchführen:

Untersuchen des HTML zum Identifizieren von Selektoren

Bevor wir mit dem Scraping beginnen, müssen wir die HTML-Struktur der Agoda-Suchergebnisseite verstehen, damit wir die Selektoren für die Hoteldaten bestimmen können, die wir extrahieren möchten.

  1. Öffnen Sie die Agoda-URL: Navigieren Sie zur Agoda-Suchergebnisseite für Kuala Lumpur.
  2. Überprüfen Sie die Seite: Klicken Sie mit der rechten Maustaste auf die Seite und wählen Sie „Untersuchen“ oder drücken Sie Ctrl + Shift + I um die Entwicklertools zu öffnen.
Bild zur Überprüfung der HTML-Struktur der Agoda-Eigenschaft
  1. Identifizieren Sie Schlüsselelemente: Suchen Sie in der HTML-Struktur der Seite nach den Elementen, die Hoteldetails enthalten. Wir werden uns auf Folgendes konzentrieren:
  • Hotelname: Innerhalb einer <h3> Element mit data-selenium="hotel-name".
  • Preis: In einem <div> Element mit data-element-name="final-price".
  • Rating: In einem <p> Element mit data-element-name="review-score".
  • Hotel Link: In einem (n <a> Tag mit Klasse PropertyCard__Link das auf die Seite des Hotels verlinkt.

Schreiben des Agoda Search Listings Scrapers

Um Daten von Agoda zu scrapen, verwenden wir Crawlbase Crawling API um dynamische Inhalte zu verarbeiten und die Seite wie ein echter Browser darzustellen. Dadurch wird sichergestellt, dass wir alle Hoteleinträge erfassen, auch die, die per JavaScript geladen werden.

So können wir den Scraper schreiben:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

# Initialisieren Sie die Crawlbase-API mit Ihrem Token
crawling_api = CrawlingAPI({'Zeichen': 'IHR_CRAWLBASE_TOKEN'})

# Funktion zum Abrufen der Agoda-Suchergebnisseite
def fetch_agoda_page(URL):
    Antwort = crawling_api.get(URL)
    if Antwort['Kopfzeilen']['pc_status'] == '200':
        Rückkehr Antwort['Körper'].dekodieren('utf-8')
    sonst:
        drucken("Fehler beim Abrufen der Seite.")
        Rückkehr Keine

# Funktion zum Extrahieren von Hoteldaten aus dem HTML-Inhalt
def extrahieren_agoda_data(HTML-Inhalt):
    Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')
    Hotels = []

    # Alle Hoteleinträge auf der Seite durchgehen
    
für Hotels in Suppe.Auswählen(„div#contentContainer ol.hotel-list-container > li.PropertyCard“):
        Name = Hotel.Wählen Sie eins aus('h3[data-selenium="Hotelname"]').text.strip() if hotel.select_one('h3[data-selenium="Hotelname"]') sonst ''
        Preis = Hotel.Wählen Sie eins aus('div[Datenelementname="Endpreis"]').text.strip() if hotel.select_one('div[Datenelementname="Endpreis"]') sonst ''
        Bewertung = hotel.select_one('p[data-element-name="Bewertungsergebnis"]').text.strip() if hotel.select_one('p[data-element-name="Bewertungsergebnis"]') sonst ''
        Link = Hotel.Wählen Sie eins aus(„a.PropertyCard__Link“)['href'] if hotel.select_one(„a.PropertyCard__Link“) sonst ''

        hotels.append({
            'Süßkartoffel': Name,
            'Preis': Preis,
            'Bewertung': Bewertung,
            'Link': f"https://www.agoda.com{Verknüpfung}"  # Vervollständigen Sie die URL
        })

    Rückkehr Hotels

Umgang mit scrollbasierter Paginierung

Agoda verwendet scrollbasierte Paginierung, so dass mehr Hoteleinträge erscheinen, wenn Sie auf der Seite nach unten scrollen. Wir können Crawlbase anweisen Crawling API um Scrollen zu simulieren und mehr Einträge zu erfassen.

Um das Scrollen zu verwalten, können wir den scroll und scroll_interval Optionen. So können wir sie einstellen:

1
2
3
4
5
6
Optionen = {
    'scrollen': "wahr",
    'Scrollintervall': '20'  # Scrollen Sie 20 Sekunden lang, um weitere Einträge zu laden
}

Antwort = crawling_api.get(URL, Optionen)

Dadurch scrollt der Crawler 20 Sekunden lang und stellt sicher, dass alle Hoteleinträge vor dem Scraping geladen werden.

Speichern von Scraped-Daten in einer JSON-Datei

Sobald wir die Daten haben, müssen wir sie in einem strukturierten Format wie JSON speichern, damit wir die Daten später analysieren oder verarbeiten können. So können wir die ausgelesenen Hoteldaten in einer JSON-Datei speichern:

1
2
3
4
def in JSON speichern(Daten, Dateiname='hotels_data.json'):
    mit XNUMXh geöffnet(Dateiname, 'w') as f:
        json.dump(Daten, f, Einzug=4)
    drucken(f"Daten gespeichert in {Dateiname}")

Vollständiges Python-Codebeispiel

Nachdem wir nun alle Komponenten an Ort und Stelle haben, kombinieren wir alles zu einem vollständig funktionierenden Beispiel. Dieses Skript ruft die Agoda-Suchergebnisse für Kuala Lumpur ab, extrahiert Hotelinformationen und speichert sie in einer JSON-Datei.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
für Crawlbase importieren CrawlingAPI
für bs4 importieren BeautifulSuppe
importieren JSON

# Initialisieren Sie die Crawlbase-API mit Ihrem Token
crawling_api = CrawlingAPI({'Zeichen': 'IHR_CRAWLBASE_TOKEN'})

# Funktion zum Abrufen der Agoda-Suchergebnisseite
def fetch_agoda_page(URL):
    Optionen = {
        'scrollen': "wahr",
        'Scrollintervall': '20'
    }

    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Kopfzeilen']['pc_status'] == '200':
        Rückkehr Antwort['Körper'].dekodieren('utf-8')
    sonst:
        drucken("Fehler beim Abrufen der Seite.")
        Rückkehr Keine

# Funktion zum Extrahieren von Hoteldaten aus dem HTML-Inhalt
def extrahieren_agoda_data(HTML-Inhalt):
    Suppe = Schöne Suppe (HTML-Inhalt, 'html.parser')
    Hotels = []

    # Alle Hoteleinträge auf der Seite durchgehen
    
für Hotels in Suppe.Auswählen(„div#contentContainer ol.hotel-list-container > li.PropertyCard“):
        Name = Hotel.Wählen Sie eins aus('h3[data-selenium="Hotelname"]').text.strip() if hotel.select_one('h3[data-selenium="Hotelname"]') sonst ''
        Preis = Hotel.Wählen Sie eins aus('div[Datenelementname="Endpreis"]').text.strip() if hotel.select_one('div[Datenelementname="Endpreis"]') sonst ''
        Bewertung = hotel.select_one('p[data-element-name="Bewertungsergebnis"]').text.strip() if hotel.select_one('p[data-element-name="Bewertungsergebnis"]') sonst ''
        Link = Hotel.Wählen Sie eins aus(„a.PropertyCard__Link“)['href'] if hotel.select_one(„a.PropertyCard__Link“) sonst ''

        hotels.append({
            'Süßkartoffel': Name,
            'Preis': Preis,
            'Bewertung': Bewertung,
            'Link': f"https://www.agoda.com{Verknüpfung}"  # Vervollständigen Sie die URL
        })

    Rückkehr Hotels

# Funktion zum Speichern der Daten in einer JSON-Datei
def in JSON speichern(Daten, Dateiname='hotels_data.json'):
    mit XNUMXh geöffnet(Dateiname, 'w') as f:
        json.dump(Daten, f, Einzug=4)
    drucken(f"Daten gespeichert in {Dateiname}")

# Hauptskript
if __name__ == "__hauptsächlich__":
    URL = "https://www.agoda.com/search?city=14524&checkIn=2025-01-05&los=2&rooms=1&adults=2&checkOut=2025-01-09"
    html_content = fetch_agoda_page(url)

    if HTML-Inhalt:
        Hotels_Daten = Extrahieren_von_Agoda_Daten(HTML-Inhalt)  # Daten aus HTML-Inhalten extrahieren
        save_to_json(Hoteldaten)

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
[
    {
        "Name": "Diamond Suite KL im Mercu Summer Suite KLCC",
        "Preis": "28 USD",
        "Bewertung": "7.7",
        "Verknüpfung": "https://www.agoda.com/axon-suite-klcc-by-home/hotel/kuala-lumpur-my.html?countryId=198&finalPriceView=1&isShowMobileAppPrice=false&cid=-1&numberOfBedrooms=&familyMode=false&adults=2&children=0&rooms=1&maxRooms=0&checkIn=2025-01-7&isCalendarCallout=false&childAges=&numberOfGuest=0&missingChildAges=false&travellerType=1&showReviewSubmissionEntry=false&currencyCode=USD&isFreeOccSearch=false&tspTypes=17&los=4&searchrequestid=c975ab20-8534-4286-8e45-b8f3b25524f3"
    },
    {
        "Name": "Sommersuiten KLCC von Castle Classy",
        "Preis": "34 USD",
        "Bewertung": "8.4",
        "Verknüpfung": "https://www.agoda.com/summer-suites-klcc-by-castle-classy/hotel/all/kuala-lumpur-my.html?countryId=198&finalPriceView=1&isShowMobileAppPrice=false&cid=-1&numberOfBedrooms=&familyMode=false&adults=2&children=0&rooms=1&maxRooms=0&checkIn=2025-01-7&isCalendarCallout=false&childAges=&numberOfGuest=0&missingChildAges=false&travellerType=1&showReviewSubmissionEntry=false&currencyCode=USD&isFreeOccSearch=false&tspTypes=3&los=4&searchrequestid=c975ab20-8534-4286-8e45-b8f3b25524f3"
    },
    {
        "Name": „Deface Platinum 2 Kuala Lumpur“,
        "Preis": "72 USD",
        "Bewertung": "8.5",
        "Verknüpfung": "https://www.agoda.com/deface-victory-suites-kuala-lumpur/hotel/kuala-lumpur-my.html?countryId=198&finalPriceView=1&isShowMobileAppPrice=false&cid=-1&numberOfBedrooms=&familyMode=false&adults=2&children=0&rooms=1&maxRooms=0&checkIn=2025-01-7&isCalendarCallout=false&childAges=&numberOfGuest=0&missingChildAges=false&travellerType=1&showReviewSubmissionEntry=false&currencyCode=USD&isFreeOccSearch=false&tspTypes=8,-1&los=4&searchrequestid=c975ab20-8534-4286-8e45-b8f3b25524f3"
    },
    {
        "Name": "Riveria City Kuala Lumpur von Guestonic",
        "Preis": "20 USD",
        "Bewertung": "9.2",
        "Verknüpfung": "https://www.agoda.com/riveria-city-kuala-lumpur-by-guestonic/hotel/kuala-lumpur-my.html?countryId=198&finalPriceView=1&isShowMobileAppPrice=false&cid=-1&numberOfBedrooms=&familyMode=false&adults=2&children=0&rooms=1&maxRooms=0&checkIn=2025-01-7&isCalendarCallout=false&childAges=&numberOfGuest=0&missingChildAges=false&travellerType=1&showReviewSubmissionEntry=false&currencyCode=USD&isFreeOccSearch=false&tspTypes=5&los=4&searchrequestid=c975ab20-8534-4286-8e45-b8f3b25524f3"
    },
    .... mehr
]

Abschließende Überlegungen

Das Scraping von Hoteldaten mit Python und Crawlbase ermöglicht es Unternehmen, Erkenntnisse durch Wettbewerbsanalysen, Preisüberwachung und Marktforschung zu gewinnen. Mit dem Crawlbase Crawling APIkönnen Sie Daten von dynamischen, JavaScript-lastigen Websites wie Agoda scrapen, ohne auf häufige Probleme wie Seitennummerierung oder Verzögerungen beim Laden von Inhalten zu stoßen.

In diesem Blog haben wir alles behandelt, vom Finden der wichtigsten HTML-Elemente auf Agodas Suchergebnisseite bis zum Schreiben und Ausführen eines vollständigen Python-Scrapers. Wir haben auch gezeigt, wie man mit scrollbasierter Paginierung umgeht und die Scraped-Daten zur weiteren Analyse in einer JSON-Datei speichert.

Wenn Sie erfahren möchten, wie Sie Daten von anderen Immobilien-Websites extrahieren, sehen Sie sich unsere hilfreichen Anleitungen weiter unten an.

📜 So scrapen Sie Realtor.com
📜 So scrapen Sie Zillow
📜 Wie man Airbnb scrapt
📜 Wie man Booking.com scrapt
📜 So scrapen Sie Expedia

Bei Fragen oder Anregungen steht Ihnen unser Support-Team steht Ihnen jederzeit zur Verfügung, um Sie bei Ihrem Web Scraping-Vorhaben zu unterstützen. Denken Sie daran, ethische Richtlinien zu befolgen und die Nutzungsbedingungen der Website zu respektieren. Viel Spaß beim Scraping!

Häufig gestellte Fragen

Web Scraping ist rechtlich eine Grauzone. Obwohl es im Allgemeinen zulässig ist, öffentlich verfügbare Daten zu scrapen, sollten Sie immer die Servicebedingungen von Agoda prüfen, um sicherzustellen, dass sie eingehalten werden. Scraping ist verantwortungsbewusst und Sie sollten die Daten nicht für unbefugte Zwecke verwenden.

F: Wie gehe ich mit CAPTCHA oder Anti-Bot-Maßnahmen bei Agoda um?

Agoda verwendet CAPTCHAs und andere Bot-Erkennungstechniken. Sie können diese Probleme umgehen, indem Sie die Crawlbase Crawling API, das über Funktionen wie browserbasiertes Rendering und IP-Rotation verfügt.

F: Kann ich Daten für mehrere Städte gleichzeitig scrapen?

Ja, Sie können Daten für mehrere Städte abrufen, indem Sie die Abfrageparameter in der Agoda-URL ändern. Aktualisieren Sie beispielsweise die city Parameter mit der ID der gewünschten Stadt. Achten Sie einfach darauf, die Best Practices für Scraping zu befolgen, z. B. die Begrenzung der Anfragehäufigkeit, um eine Blockierung zu vermeiden.