Just Eat, eine der weltweit führenden Online-Plattformen für Essenslieferungen, verbindet Millionen von Verbrauchern mit ihren Lieblingsrestaurants. Mit detaillierten Informationen zu Restaurantverzeichnissen, Speisekarten, Bewertungen und Rezensionen ist die Plattform eine wahre Goldgrube für Unternehmen, Forscher und Entwickler, die Trends bei Essenslieferungen analysieren oder datengesteuerte Lösungen entwickeln möchten.
Im Jahr 2023 machte Just Eat 5.2 Mrd. €, mit über 60 Millionen aktive Nutzer weltweit. Sie haben über 374,000 Partnerrestaurants weltweit und eine riesige Auswahl an Küchen. Die britische Site ist die Nummer 1 in der Kategorie Restaurants und Lieferung und damit Marktführer.
In diesem Blog werden wir Just Eat mit Python und der Crawlbase scrapen Crawling API. Hier ist, was Sie lernen werden:
- Extrahieren von Restaurant- und Menüdaten.
- Handhabung der scrollbasierten Paginierung.
- Speichern und Strukturieren der Scraped-Daten.
Lass uns loslegen!
Inhaltsverzeichnis
- Warum Just Eat-Daten scrapen?
- Wichtige Datenpunkte, die Sie aus Just Eat extrahieren können
- Crawlbase Crawling API für Just Eat Scraping
- Installieren der Crawlbase Python-Bibliothek
- Installieren von Python und erforderlichen Bibliotheken
- Auswahl der richtigen IDE für Web Scraping
- Untersuchen des HTML zum Identifizieren von Selektoren
- Schreiben des Just Eat Search Listings Scrapers
- Umgang mit scrollbasierter Paginierung
- Speichern von Scraped-Daten in einer JSON-Datei
- Vollständiges Python-Codebeispiel
- Überprüfen des HTML-Codes der Menüseite auf Selektoren
- Schreiben des Menü-Scrapers
- Seitennummerierung für Menüs handhaben
- Speichern von Menüdaten in einer JSON-Datei
- Vollständiges Python-Codebeispiel
Warum Just Eat-Daten scrapen?
Just Eat ist ein Gigant in der Lebensmittellieferbranche und eine wahre Fundgrube an Daten, die für viele Zwecke genutzt werden können. Das folgende Bild zeigt einige der Gründe, warum Just Eat Scraping betreiben sollte:

Wichtige Datenpunkte, die Sie aus Just Eat extrahieren können
Beim Scraping von Daten von Just Eat sollten Sie sich auf die wertvollsten und relevantesten Informationen konzentrieren. Das folgende Bild zeigt, was Sie aus der Plattform extrahieren können:

Crawlbase Crawling API für Just Eat Scraping
Die Crawlbase Crawling API macht das Scrapen von Just Eat einfach und unkompliziert. Hier erfahren Sie, warum Just Eat Crawling API eignet sich hervorragend zum Just Eat Scraping:
- Verarbeitet mit JavaScript gerenderte Inhalte: Just Eat verwendet JavaScript, um Restaurantdetails und Menüs anzuzeigen. Crawlbase stellt sicher, dass alle Inhalte vor dem Scraping vollständig geladen sind.
- IP-Rotation: Crawlbase rotiert IPs, um eine Blockierung zu vermeiden, sodass Sie mehrere Seiten durchsuchen können, ohne auf Ratenbegrenzungen oder CAPTCHAs zu stoßen.
- Anpassbare Anfragen: Sie können Header, Cookies und andere Parameter an Ihre Bedürfnisse anpassen.
- Scroll-basierte Paginierung: Just Eat verwendet unendliches Scrollen, um weitere Ergebnisse zu laden. Crawlbase unterstützt langes Scrollen, sodass Sie alle Daten erhalten.
Crawlbase Python-Bibliothek
Crawlbase bietet eine Python-Bibliothek um seine Produkte zu nutzen. Dadurch können Sie Crawling API ganz einfach. Um loszulegen, benötigen Sie Ihren Crawlbase-Zugriffstoken, den Sie erhalten können unter Anmeldung für ihren Dienst.
Crawlbase bietet zwei Arten von Tokens an. Ein normales Token für statische Websites und ein JS-Token für JS-gerenderte Websites. Crawlbase bietet 1,000 Anfragen kostenlos für seine Crawling API. Siehe Dokumentation für mehr.
Im nächsten Abschnitt erläutern wir, wie Sie Ihre Python-Umgebung für Just Eat Scraping einrichten.
Einrichten Ihrer Python-Umgebung
Bevor wir mit dem Scraping von Just Eat-Daten beginnen, müssen Sie Ihre Python-Umgebung einrichten. Eine gute Umgebung sorgt dafür, dass Ihre Skripte reibungslos laufen.
Installieren von Python und erforderlichen Bibliotheken
Stellen Sie zunächst sicher, dass Python auf Ihrem System installiert ist. Sie können die neueste Version von Python von der offizielle Python-Website. Überprüfen Sie nach der Installation die Installation, indem Sie den folgenden Befehl in Ihrem Terminal oder in der Eingabeaufforderung ausführen:
1 | Python --Version |
Installieren Sie dann die erforderlichen Bibliotheken mit pip. Für dieses Tutorial benötigen Sie:
**crawlbase**
: Zur Interaktion mit der Crawlbase Crawling API.**beautifulsoup4**
: Zum Parsen von HTML und Extrahieren von Daten.
Führen Sie den folgenden Befehl aus, um alle Abhängigkeiten zu installieren:
1 | pip installieren crawlbase beautifulsoup4 |
Auswahl der richtigen IDE für Web Scraping
Die Wahl der richtigen IDE (Integrated Development Environment) erleichtert das Programmieren. Hier sind einige beliebte IDEs für Python:
- VS-Code: Leicht, leistungsstark und verfügt über großartige Python-Erweiterungen.
- PyCharm: Voll ausgestattet mit erweiterten Debugging- und Testtools.
- Jupyter Notizbuch: Gut für explorative Datenanalyse und schrittweise Codeausführung.
Wählen Sie eine aus, die zu Ihrem Workflow passt. Für diesen Blog empfehlen wir der Einfachheit halber VS Code.
Scraping von Just Eat-Restauranteinträgen
In diesem Abschnitt werden wir Restauranteinträge von Just Eat mit Python und der Crawlbase scrapen. Crawling API. Wir gehen das Suchen von HTML-Selektoren, das Schreiben des Scrapers, das Scrollen der Paginierung und das Speichern von Daten in einer JSON-Datei durch.
Untersuchen des HTML zum Identifizieren von Selektoren
Um Daten zu scrapen, müssen Sie zunächst die Struktur der Just Eat-Website verstehen. So können Sie das HTML überprüfen:
- Öffnen Sie die Webseite: Navigieren Sie zur Just Eat-Suchergebnisseite für eine bestimmte Stadt, z. B. Just Eat-Einträge für die Gegend um London Bridge.
- Öffnen Sie die Entwicklertools: Klicken Sie mit der rechten Maustaste irgendwo auf die Seite und wählen Sie „Untersuchen“ (oder drücken Sie
Ctrl + Shift + I
unter Windows oderCmd + Option + I
auf dem Mac).

- Schlüsselelemente lokalisieren:
- Name des Restaurants: Auszug aus
<div>
mitdata-qa="restaurant-info-name"
. - Art der Küche: Auszug aus
<div>
mitdata-qa="restaurant-cuisine"
. - Rating: Auszug aus
<div>
mitdata-qa="restaurant-ratings"
. - Restaurant Link: Extrahieren Sie die
href
von dem<a>
Etikett in der Restaurantkarte und versehen Sie es mit dem Präfixhttps://www.just-eat.co.uk
.
Schreiben des Just Eat Search Listings Scrapers
Nachdem Sie nun die Selektoren identifiziert haben, können Sie den Scraper schreiben. Unten finden Sie ein Beispiel-Python-Skript zum Scrapen von Restauranteinträgen mit Crawlbase und BeautifulSoup:
1 | für Crawlbase importieren CrawlingAPI |
Umgang mit scrollbasierter Paginierung
Just Eat verwendet scrollbasierte Paginierung, um mehr Ergebnisse zu laden, wenn Sie nach unten scrollen. Crawlbase Crawling API unterstützt automatisches Scrollen, sodass Sie es nicht manuell verwalten müssen.
Durch Einstellen der scroll
und scroll_interval
in der API-Anfrage werden alle Einträge abgerufen. Sie müssen nicht hinzufügen page_wait
, wie scroll_interval
wird genauso funktionieren.
1 | Optionen = { |
Speichern von Scraped-Daten in einer JSON-Datei
Nachdem Sie die Daten extrahiert haben, speichern Sie sie zur weiteren Analyse in einer JSON-Datei. So können Sie die Ergebnisse speichern:
1 | def in JSON speichern(Daten, Dateiname='nur_essen_restaurants.json'): |
Vollständiges Python-Codebeispiel
Unten sehen Sie das vollständige Skript, das alle Schritte kombiniert:
1 | für Crawlbase importieren CrawlingAPI |
Beispielausgabe:
1 | [ |
Mit diesem Skript können Sie Restaurantlisten von Just Eat scrapen. Im nächsten Abschnitt scrapen wir Restaurantmenüs für weitere Details.
Scraping von Restaurantmenüs auf Just Eat
Durch das Scraping von Restaurantmenüs auf Just Eat erhalten Sie detaillierte Informationen zu Menüangeboten, Preisen und Optionen zur individuellen Gestaltung von Mahlzeiten. In diesem Abschnitt zeigen wir Ihnen, wie Sie die HTML-Struktur von Menüseiten finden, den Scraper schreiben, die Seitennummerierung handhaben und die Menüdaten in einer JSON-Datei speichern.
Überprüfen des HTML-Codes der Menüseite auf Selektoren
Bevor Sie den Scraper schreiben, überprüfen Sie die HTML-Struktur der Menüseite, um die Schlüsselelemente zu finden:
- Öffnen Sie die Menüseite: Klicken Sie auf den Eintrag eines Restaurants, um auf dessen Menüseite zuzugreifen.
- Untersuchen Sie das HTML: Klicken Sie mit der rechten Maustaste und wählen Sie „Untersuchen“ (oder drücken Sie
Ctrl + Shift + I
/Cmd + Option + I
), um die Entwicklertools zu öffnen.
- Schlüsselelemente lokalisieren:
- Kategorie: Gefunden in
<section>
mitdata-qa="item-category"
Der Name ist in<h2>
mitdata-qa="heading"
. - Name des Gerichts: Inside
<h2>
mitdata-qa="heading"
. - Gerichtpreis: Inside
<span>
mit einer Klasse beginnend mit"formatted-currency-style"
. - Beschreibung des Gerichts: Inside
<div>
mit einer Klasse beginnend mit"new-item-style_item-description"
.
Schreiben des Menü-Scrapers
Nachdem Sie die HTML-Selektoren identifiziert haben, schreiben Sie ein Python-Skript, um die Menüdetails abzurufen. Hier ist eine Beispielimplementierung:
1 | für Crawlbase importieren CrawlingAPI |
Seitennummerierung für Menüs handhaben
Wie SERP verwendet auch die Just Eat-Menüseite eine scrollbasierte Paginierung. Crawlbase Crawling API kann die Seitennummerierung durch Aktivieren von Scroll-Optionen handhaben. Verwenden Sie diese Optionen:
1 | Optionen = { |
Fügen Sie die Scrollzeit nach Bedarf hinzu, um sicherzustellen, dass alle Menüelemente vor dem Scraping geladen werden.
Speichern von Menüdaten in einer JSON-Datei
Sobald die Menüdaten extrahiert wurden, speichern Sie sie in einer JSON-Datei, um einfach darauf zugreifen und sie analysieren zu können. So geht's:
1 | def Menü als JSON speichern(Daten, Dateiname='just_eat_menu.json'): |
Vollständiges Python-Codebeispiel
Hier ist das vollständige Skript zum Scraping von Menüs:
1 | für Crawlbase importieren CrawlingAPI |
Beispielausgabe:
1 | [ |
Abschließende Überlegungen
Scraping von Just Eat-Daten mit Python und dem Crawlbase Crawling API ist eine großartige Möglichkeit, wertvolle Erkenntnisse für Unternehmen, Entwickler und Forscher zu gewinnen. Von Restaurantverzeichnissen bis zu Menüdaten – die Datenerfassung und -organisation für Analysen oder die App-Entwicklung wird zum Kinderspiel.
Stellen Sie sicher, dass Ihre Scraping-Praktiken den ethischen Richtlinien und den Nutzungsbedingungen der Website entsprechen. Mit dem richtigen Ansatz können Sie Webdaten nutzen, um fundierte Entscheidungen zu treffen und wirkungsvolle Lösungen zu entwickeln.
Wenn Sie mehr Web Scraping betreiben möchten, sehen Sie sich unsere Anleitungen zum Scraping anderer wichtiger Websites an.
📜 Wie man Amazon scrapt
📜 Wie man Walmart scrapt
📜 So scrapen Sie Monster.com
📜 Wie man Groupon scrapt
📜 So scrapen Sie TechCrunch
📜 So scrapen Sie Hoteldaten von Agoda
Hotline | KolbenKraft Deutschland Support wenn Sie Fragen haben. Viel Spaß beim Scrapen!
Häufig gestellte Fragen
F: Ist es legal, Daten von Just Eat zu scrapen?
Die Rechtmäßigkeit von Web Scraping hängt von den AGB der Website und Ihrer beabsichtigten Verwendung der Daten ab. Lesen Sie unbedingt die AGB von Just Eat und verstoßen Sie nicht dagegen. Stellen Sie immer sicher, dass Ihre Scraping-Aktivitäten ethisch sind und den lokalen Datenschutzbestimmungen entsprechen.
F: Wie gehe ich mit dynamischen Inhalten und der Seitennummerierung bei Just Eat um?
Just Eat verwendet JavaScript, um Inhalte darzustellen und scrollbasierte Seitennummerierung durchzuführen. Mit Crawlbase Crawling API, die Seiten werden vollständig gerendert und Sie können dynamische Inhalte scrapen. Crawlbase's scroll
Parameter ermöglichen Ihnen die effiziente Handhabung unendlichen Scrollens.
F: Kann ich auf Just Eat Menüinformationen für bestimmte Restaurants abrufen?
Ja, mit den richtigen Auswahlmöglichkeiten und Tools können Sie Menüinformationen für einzelne Restaurants abrufen, einschließlich der Namen der Gerichte, Beschreibungen und Preise. Crawlbase Crawling API stellt sicher, dass alle dynamischen Inhalte, einschließlich Menüdetails, für das Scraping vollständig gerendert werden.
F. Wie kann ich verhindern, dass mein Schaber verstopft?
Um nicht blockiert zu werden, verwenden Sie Techniken wie IP-Rotation, Anforderungsverzögerungen und User-Agent-Header, um echte Benutzer zu imitieren. Crawlbase Crawling API übernimmt dies alles für Sie, indem es die IP-Rotation, die Benutzeragentenverwaltung und Anti-Bot-Maßnahmen übernimmt.