Öffentliche Facebook-Seiten, die Marken- und Unternehmensprofile, die jeder ohne Anmeldung einsehen kann, enthalten viele nützliche öffentliche Signale: den Seitennamen, den sichtbaren Text öffentlicher Beiträge und die aggregierten Zahlen, die ein Beitrag anzeigt. Für Wettbewerbsanalysen, Brand-Monitoring oder Content-Benchmarking ist diese öffentliche Oberfläche es wert, programmgesteuert gelesen zu werden. Dieser Leitfaden zeigt Ihnen, wie Sie eine öffentliche Facebook-Seite mit Python scrapen, erstellt und ausgeführt in PyCharm, auf eine Weise, die tatsächlich funktioniert.
Um es von vornherein klar zu sagen: Alles hier ist auf öffentliche Facebook-Seiten beschränkt. Das bedeutet den öffentlichen Seitennamen, den sichtbaren Text öffentlicher Beiträge und die öffentlichen aggregierten Zahlen, die eine Seite oder ein Beitrag jedem Besucher anzeigt. Es deckt keine privaten Gruppen, Mitgliederlisten, persönliche Profile, hinter Login-Wänden verborgene Inhalte, Kommentare, die mit namentlich genannten Personen verbunden sind, oder personenbezogene Daten von Personen ab. Facebook und sein Mutterunternehmen Meta schränken den automatisierten Zugriff in ihren Nutzungsbedingungen stark ein, also lesen Sie den Rechtsabschnitt am Ende, bevor Sie das auf etwas Echtes richten. Für Produktions- oder kommerzielle Nutzung ist die offizielle Facebook Graph API das richtige Tool, kein Scraper.
Was Sie bauen werden
Ein kleines Python-Skript, geschrieben und ausgeführt in PyCharm, das eine öffentliche Facebook-Seiten-URL nimmt, die vollständig gerenderte Seite durch die Crawling API mit einem JavaScript-Token abruft und eine Handvoll öffentlicher Felder herausparst:
- Öffentlicher Seitenname der Marken- oder Unternehmensname, der auf der Seite angezeigt wird.
- Öffentlicher Beitragstext der sichtbare Fließtext öffentlicher Beiträge auf der Seite.
- Öffentliche Zahlen die aggregierten Zahlen, die eine öffentliche Seite anzeigt, wie die Reaktions- oder Share-Zahl eines Beitrags, nur als Zahlen behandelt.
- Öffentliche Beitrags-URLs der Permalink zu jedem öffentlichen Beitrag.
Beachten Sie, was absichtlich fehlt: keine Gruppenmitgliederlisten, keine Kommentator-Identitäten, keine persönlichen Profile, keine Kontaktdaten von Einzelpersonen. Das sind personenbezogene Daten, und ihre Erfassung liegt hier absichtlich außerhalb des Rahmens. Die Legacy-Version dieses Tutorials richtete sich an Facebook-Gruppen; dieses Rewrite bleibt strikt auf öffentlichen Seiten, was die vertretbare Oberfläche ist.
Warum eine einfache Anfrage bei Facebook scheitert
Fordern Sie eine öffentliche Facebook-Seiten-URL mit einem einfachen HTTP-Client an, und Sie erhalten eine Antwort, die technisch erfolgreich und praktisch nutzlos ist. Der Body ist eine JavaScript-Shell: Die echten Inhalte erscheinen erst, nachdem die Skripte der Seite in einem Browser ausgeführt wurden und Daten von internen Endpunkten abgerufen haben. Facebook ist aus genau diesem Grund seit Jahren eines der schwierigeren Ziele im öffentlichen Web.
Zusätzlich zum Rendering markiert Facebook automatisierten Datenverkehr schnell. Datacenter-IP-Ranges, fehlendes Browser-Verhalten und sich wiederholende Anfragenmuster werden herausgefordert oder im Rate-Limiting gut vor dem Laden interessanter Inhalte behandelt. Ein funktionierender Scraper benötigt daher zwei Dinge in derselben Anfrage: einen echten Browser, der die Seite rendert, und eine IP-Adresse, die die Plattform als gewöhnlichen Besucher liest. Sie können das selbst mit einem Headless-Browser und einem Pool rotierender Residential Proxies aufbauen, aber diesen Stack gesund zu halten, ist der größte Teil der Arbeit. Die Crawling API faltet beides in einem Aufruf: Sie senden eine URL mit einem JavaScript-Token, sie rendert die Seite hinter einer vertrauenswürdigen Residential-IP und gibt fertiges HTML zurück, das Sie parsen können. Wenn Sie den tieferen Hintergrund möchten, sehen Sie unseren Leitfaden zu wie man JavaScript-Websites crawlt.
Crawlbase bietet zwei Token-Typen. Das normale Token ruft statisches HTML ab; das JavaScript-Token (JS) rendert die Seite zuerst in einem echten Browser. Facebook ist clientseitig gerendert, also benötigen Sie hier das JS-Token. Das normale Token gibt dieselbe Shell zurück, die eine einfache Anfrage zurückgeben würde, mit nichts Nützlichem darin zu parsen.
Voraussetzungen
Einige Dinge vorab zu haben. Keines davon dauert lange.
Grundlegendes Python. Sie sollten sich damit wohlfühlen, ein Skript auszuführen und Pakete mit pip zu installieren. Wenn Sie neu beim Parsen von HTML sind, deckt unser Primer zu wie man eine Website mit Python scrapt die Extraktionsseite ab.
Python 3.8 oder höher. Bestätigen Sie mit python --version. Wenn Sie es nicht haben, installieren Sie es von python.org. Das Legacy-Tutorial verwendete Python 2 und urllib2; beides ist End-of-Life, also zielt dieses Rewrite auf modernes Python 3.
PyCharm. Laden Sie die kostenlose Community-Edition von JetBrains herunter und installieren Sie sie. PyCharm ist die IDE, die wir verwenden, um das Projekt zu erstellen, Pakete zu installieren und das Skript auszuführen.
Ein Crawlbase-Konto und JS-Token. Registrieren Sie sich, öffnen Sie Ihr Dashboard und kopieren Sie Ihr JavaScript-Token (JS-Token) von der Konto-Dokumentationsseite. Behandeln Sie es wie ein Passwort: Es authentifiziert Ihre Anfragen, also halten Sie es aus der Versionskontrolle heraus.
Das Projekt in PyCharm einrichten
Das ist der PyCharm-Teil der Anleitung. Öffnen Sie PyCharm und wählen Sie New Project. Benennen Sie es zum Beispiel facebook-page-scraper, lassen Sie PyCharm eine virtuelle Umgebung für Sie erstellen (der Standard), und bestätigen Sie, dass der Interpreter Python 3.8 oder höher ist. Klicken Sie auf Create. Klicken Sie dann mit der rechten Maustaste auf das Projekt im Projektbereich, wählen Sie New, Python File und benennen Sie es scraper.py.
PyCharm bündelt ein Terminal am unteren Rand des Fensters, das bereits in der virtuellen Umgebung Ihres Projekts aktiviert ist. Öffnen Sie es und installieren Sie die beiden Bibliotheken, die der Scraper benötigt.
python --version pip install crawlbase beautifulsoup4
Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Client für die Crawling API, und beautifulsoup4 parst das zurückgegebene HTML, damit Sie einzelne Felder per Selektor herausziehen können. Wenn Sie die GUI bevorzugen, installiert PyCharms Python Packages-Toolfenster dieselben Pakete ohne das Terminal zu berühren.
Schritt 1: Die gerenderte Seite abrufen
Beginnen Sie damit, die fertige Seite zu erhalten. In scraper.py importieren Sie CrawlingAPI, initialisieren Sie es mit Ihrem JS-Token und fordern Sie eine öffentliche Facebook-Seiten-URL an. Prüfen Sie den Statuscode vor dem Parsen, damit Fehler laut statt still bleiben.
from crawlbase import CrawlingAPI api = CrawlingAPI({"token": "YOUR_CRAWLBASE_TOKEN"}) def crawl(page_url): options = {"ajax_wait": "true", "page_wait": 5000} response = api.get(page_url, options) if response["status_code"] == 200: return response["body"].decode("utf-8") print(f"Request failed: {response['status_code']}") return None if __name__ == "__main__": page_url = "https://www.facebook.com/MetaForBusiness" html = crawl(page_url) print(html[:500] if html else "No HTML returned")
Führen Sie es von innerhalb PyCharm aus: Klicken Sie mit der rechten Maustaste auf den Editor und wählen Sie Run 'scraper', oder drücken Sie den grünen Ausführungspfeil im Randbereich. Die beiden Warteoptionen sind bei einem clientseitig gerenderten Ziel wichtig. ajax_wait weist die API an, darauf zu warten, dass asynchrone Inhalte fertig geladen sind, und page_wait hält für eine feste Anzahl von Millisekunden nach dem Laden, damit spät rendernde Elemente erscheinen, bevor die Seite erfasst wird. Fünf Sekunden ist ein vernünftiger Ausgangspunkt; erhöhen Sie es, wenn Felder leer zurückkommen. Das Beispiel verwendet eine öffentliche Unternehmensseite genau weil sie öffentlich und unpersönlich ist. Sie sollten echtes Seiten-Markup im Run-Bereich sehen, was bestätigt, dass das Rendering funktioniert, bevor Sie einen einzigen Selektor schreiben.
Facebook benötigt eine gerenderte Seite hinter einer vertrauenswürdigen IP, in einem Aufruf. Die Crawling API nimmt ein JS-Token, führt die Seite in einem echten Browser aus, rotiert durch Residential-IPs serverseitig und übergibt Ihnen fertiges HTML, sodass Sie das Betreiben einer Headless-Browser-Flotte und eines Proxy-Pools selbst überspringen. Richten Sie es zuerst auf eine öffentliche Unternehmensseite auf der kostenlosen Stufe.
Schritt 2: Die öffentlichen Felder mit BeautifulSoup parsen
Mit gerendertem HTML laden Sie es in BeautifulSoup und ziehen die öffentlichen Felder heraus. Facebook exponiert viele stabile Metadaten in den <meta>-Tags der Seite, was weit zuverlässiger ist als das Jagen tief verschachtelter, häufig umbenannter CSS-Klassen. Der öffentliche Seitenname und die Beschreibung befinden sich in Standard-Open-Graph-Meta-Tags; der sichtbare öffentliche Beitragstext und Beitrags-Permalinks befinden sich im gerenderten DOM.
from bs4 import BeautifulSoup def meta(soup, prop): el = soup.find("meta", attrs={"property": prop}) return el["content"] if el and el.has_attr("content") else None def scrape_page(html): soup = BeautifulSoup(html, "html.parser") page_name = meta(soup, "og:title") summary = meta(soup, "og:description") post_urls = [] for a in soup.select("a[href*='/posts/']"): href = a["href"].split("?")[0] if href.startswith("/"): href = f"https://www.facebook.com{href}" if href not in post_urls: post_urls.append(href) return { "page_name": page_name, "summary": summary, "post_urls": post_urls, }
Das Tag og:title trägt den öffentlichen Seitennamen, und og:description trägt oft eine kurze öffentliche Zusammenfassungszeichenkette. Die Beitrags-Links werden von Ankern gesammelt, deren href /posts/ enthält, von Abfragezeichenketten bereinigt, auf absolute URLs normalisiert und dedupliziert, da derselbe Permalink mehr als einmal im gerenderten DOM erscheinen kann. Alles hier ist ein öffentliches, seitenseitiges Signal, kein Profil einer Einzelperson.
Facebook ändert sein Markup und seine Klassennamen ohne Vorankündigung, weshalb dieser Code sich auf Open-Graph-Meta-Tags und die stabile /posts/-URL-Form stützt statt auf brüchige verschachtelte Klassen. Wenn ein Feld als None zurückkommt, inspizieren Sie die Live-Seite erneut in den Entwicklertools Ihres Browsers und aktualisieren Sie den Selektor. Regelmäßige Pflege ist bei jedem Produktions-Scraper normal, kein Zeichen für etwas Kaputtes.
Schritt 3: Öffentlichen Text und Zahlen aus einem Beitrag extrahieren
Eine öffentliche Beitragsseite trägt dieselbe Art von Open-Graph-Metadaten, plus den sichtbaren öffentlichen Beitragstext im gerenderten DOM. Daraus können Sie den öffentlichen Beitragstext und alle öffentlichen Zahlen ziehen, die die Seite anzeigt, wie eine Reaktions- oder Share-Zahl. Lesen Sie diese Zahlen als schlichte Aggregate, niemals als Möglichkeit, die Personen dahinter aufzuzählen.
import re from bs4 import BeautifulSoup def scrape_post(html): soup = BeautifulSoup(html, "html.parser") desc = soup.find("meta", attrs={"property": "og:description"}) post_text = desc["content"] if desc and desc.has_attr("content") else None counts = {} for label in ("reaction", "share"): node = soup.find("div", attrs={"aria-label": re.compile(label, re.I)}) if node: digits = re.sub(r"[^\d]", "", node.get_text()) counts[label] = int(digits) if digits else None return { "post_text": post_text, "counts": counts, }
Das extrahiert nur öffentliche, nicht-personenbezogene Felder: den sichtbaren Beitragstext und die aggregierten Zahlen, die die Seite anzeigt. Es liest keine einzelnen Kommentare, Kommentator-Handles oder wer auf den Beitrag reagiert hat. Die aria-label- und Selektor-Formen verschieben sich im Laufe der Zeit, also inspizieren Sie sie erneut, wenn ein Feld aufhört, aufgelöst zu werden. Diese Zurückhaltung ist absichtlich, und sie ist auch das, was die Arbeit vertretbar hält. Zahlen sind Zahlen; die Menschen dahinter sind nicht zum Ernten bestimmt.
Schritt 4: Alles zusammensetzen
Verbinden Sie jetzt Abrufen und Parsen in einem ausführbaren Skript, das eine öffentliche Seite liest und dann ihre ersten paar öffentlichen Beiträge besucht. Fügen Sie das über scraper.py ein und führen Sie es von PyCharm aus.
import re import json import time from crawlbase import CrawlingAPI from bs4 import BeautifulSoup api = CrawlingAPI({"token": "YOUR_CRAWLBASE_TOKEN"}) def crawl(page_url): options = {"ajax_wait": "true", "page_wait": 5000} response = api.get(page_url, options) if response["status_code"] == 200: return response["body"].decode("utf-8") print(f"Request failed: {response['status_code']}") return None def main(): page_url = "https://www.facebook.com/MetaForBusiness" html = crawl(page_url) if not html: return page = scrape_page(html) records = [] for post_url in page["post_urls"][:5]: post_html = crawl(post_url) if post_html: record = scrape_post(post_html) record["url"] = post_url records.append(record) time.sleep(3) output = {"page_name": page["page_name"], "posts": records} print(json.dumps(output, indent=2, ensure_ascii=False)) if __name__ == "__main__": main()
Das time.sleep(3) zwischen Anfragen ist keine Dekoration. Das Tempo ist der entscheidende Faktor dafür, ob ein Lauf gesund bleibt, und wir werden darauf zurückkommen. Das Slice [:5] hält die Demo klein; erhöhen Sie es nur, wenn Ihr Tempo und Volumen verantwortungsbewusst sind. Behalten Sie die Funktionen scrape_page und scrape_post aus den früheren Schritten in derselben Datei, damit dieses Skript von Anfang bis Ende läuft.
Wie die Ausgabe aussieht
Führen Sie das vollständige Skript in PyCharm aus und Sie erhalten einen sauberen Datensatz öffentlicher Felder, bereit zum Schreiben in JSON, CSV oder eine Datenbank.
{ "page_name": "Meta for Business", "posts": [ { "post_text": "New tools to help businesses reach customers.", "counts": { "reaction": 1820, "share": 214 }, "url": "https://www.facebook.com/MetaForBusiness/posts/example123" } ] }
Skalieren und entsperrt bleiben
Um mehr als eine Seite zu lesen, wickeln Sie die Crawl-Schleife über eine Liste öffentlicher Seiten-URLs und schreiben Sie jedes Ergebnis während des Vorgangs auf die Festplatte, damit ein Fehler auf halbem Weg nicht alles verliert. Selbst wenn das Rendering von der Crawling API übernommen wird, überwacht Facebook scraper-ähnlichen Datenverkehr. Einige Gewohnheiten halten einen Lauf gesund, und sie gelten für jedes schwierige, stark verteidigte Ziel.
-
Temponieren Sie Ihre Anfragen. Das Hämmern von Seiten in einer engen Schleife ist der schnellste Weg zum Throttling. Fügen Sie echte Verzögerungen hinzu, wie im obigen
time.sleep, und widerstehen Sie dem Drang, aggressiv zu parallelisieren. - Setzen Sie auf Rotation. Ein Pool von Residential-IPs verteilt Anfragen auf viele echte Nutzeradressen, sodass keine einzelne ein Rate-Limit auslöst. Die Crawling API erledigt das für Sie; wenn Sie Ihren eigenen Stack aufbauen, ist das der Teil, den Sie richtig machen müssen.
- Lesen Sie die Statuscodes. Ein Lauf, der beginnt, Herausforderungen oder Fehler zurückzugeben, sagt Ihnen, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Treten Sie zurück, statt härter zu drücken.
- Halten Sie das Volumen niedrig und die Ziele vielfältig. Öffentliche Datenrecherche erfordert kein Crawlen der gesamten Geschichte einer Seite. Testen Sie, was Sie benötigen, und hören Sie auf.
Für das breitere Playbook sehen Sie unseren Leitfaden zu wie man Websites scrapt, ohne blockiert zu werden. Wenn ein verwalteter Render-plus-Rotations-Aufruf für Ihr Volumen nicht ausreicht und Sie automatisch geparsten Seiten-Output möchten, behandelt unser tieferer Beitrag zu Facebook-Datenextraktion mit der Crawling API meistern den strukturierten Output-Pfad.
Ist es legal, Facebook zu scrapen?
Das ist der Abschnitt, den Sie lesen sollten, bevor Sie Produktionscode schreiben. Facebook gehört Meta, und Metas Nutzungsbedingungen schränken den automatisierten Zugriff und die Datenerfassung stark ein. Automatisiertes Scraping kann gegen diese Bedingungen verstoßen, unabhängig davon, wie sorgfältig Ihr Tooling ist, und keiner der obigen Codes ändert das. Er lässt nur den technischen Teil funktionieren. Lesen Sie Metas und Facebooks Nutzungsbedingungen und Facebooks robots.txt, respektieren Sie die Rate-Limits der Plattform und behandeln Sie alle als Grenze für das, was Sie sammeln.
Die ehrlichen, restriktiven Regeln, die Sie einhalten sollten. Sammeln Sie nur öffentliche Daten von öffentlichen Seiten: den öffentlichen Seitennamen, den sichtbaren Text öffentlicher Beiträge, öffentliche aggregierte Zahlen und öffentliche Beitrags-URLs, die jeder ohne Anmeldung sehen kann. Scrapen Sie niemals private Gruppen, Gruppenmitgliederlisten, persönliche Profile, hinter Login-Wänden verborgene Inhalte, Direktnachrichten, Kommentare, die mit namentlich genannten Personen verbunden sind, oder personenbezogene Daten von Personen. Die Legacy-Version dieses Tutorials richtete sich auf Facebook-Gruppen; das ist genau die Oberfläche, die dieses Rewrite vermeidet, weil Gruppeninhalte und Mitgliederdaten persönlich sind und häufig hinter einer Datenschutzsperre stehen. Umgehen Sie niemals die Authentifizierung, lösen Sie eine Login-Herausforderung programmgesteuert oder verwenden Sie die Anmeldeinformationen einer Person, um auf Inhalte zuzugreifen. Das sind rote Linien, und dieser Leitfaden bleibt bewusst auf der öffentlichen Seite all dieser Linien.
Wenn personenbezogene Daten beteiligt sind, gilt das Datenschutzrecht. Unter der DSGVO in der EU und dem CCPA in Kalifornien benötigen Sie eine Rechtsgrundlage zur Verarbeitung personenbezogener Daten und müssen Lösch- und Opt-out-Anfragen berücksichtigen. Die sicherste Haltung ist es, personenbezogene Daten vollständig zu vermeiden und sich auf seitenweite öffentliche Aggregate zu beschränken, was das obige Skript tut. Für jede echte oder kommerzielle Nutzung ist das richtige Tool die offizielle Facebook Graph API. Sie ist für sanktionierten Zugriff auf Seiten gebaut, die Sie besitzen oder verwalten, bietet garantierte Struktur und hält Sie innerhalb von Metas Bedingungen. Dieser Artikel ist eine technische Anleitung, eng auf öffentliche Seiten beschränkt. Er ist keine Befürwortung von massenhafter persönlicher Datenerfassung und deckt nichts hinter einem Login ab. Wenn Ihr Projekt mehr als eine kleine Stichprobe öffentlicher Felder benötigt, ist die Graph API oder eine formelle Datenvereinbarung der richtige Weg, kein cleverer Scraper.
Wichtigste Erkenntnisse
- Nur öffentliche Seiten. Diese Anleitung richtet sich auf öffentliche Facebook-Seiten, niemals auf private Gruppen, Mitgliederdaten oder persönliche Profile.
- Facebook ist clientseitig gerendert und bot-verteidigt. Eine einfache Anfrage gibt eine leere Shell zurück, also müssen Sie die Seite rendern, bevor Sie sie parsen.
- PyCharm übernimmt das Setup. Erstellen Sie das Projekt und seine virtuelle Umgebung, installieren Sie crawlbase und beautifulsoup4 und führen Sie das Skript von der IDE aus.
-
Rendering und eine vertrauenswürdige IP gehören in einen Aufruf. Die Crawling API mit einem JS-Token erledigt beides;
ajax_waitundpage_waitsteuern, wie lange sie auf Inhalte wartet. - Tempo, Rotation und Präferenz für die Graph API. Halten Sie das Volumen niedrig, setzen Sie auf Residential-Rotation, beachten Sie DSGVO und CCPA und verwenden Sie die offizielle Facebook Graph API für alles Echte oder Kommerzielle.
Häufig gestellte Fragen
Warum gibt eine einfache Anfrage keine Daten von Facebook zurück?
Weil Facebook seine Seiten- und Beitragsinhalte clientseitig mit JavaScript rendert. Das anfängliche HTML ist eine Shell, die sich erst füllt, nachdem die Skripte der Seite in einem Browser ausgeführt wurden, sodass eine rohe HTTP-Anfrage einen nahezu leeren Body zurückgibt. Um echte öffentliche Daten zu erhalten, müssen Sie die Seite zuerst rendern, was das JS-Token der Crawling API für Sie übernimmt.
Benötige ich das normale Token oder das JS-Token für Facebook?
Das JS-Token. Das normale Token ruft statisches HTML ab, das bei Facebook dieselbe leere Shell wie eine einfache Anfrage zurückgibt. Das JS-Token rendert die Seite in einem echten Browser, bevor es das HTML zurückgibt, sodass die öffentlichen Felder vorhanden sind, wenn BeautifulSoup sie parst.
Welche Facebook-Daten sind sicher zu scrapen?
Nur öffentliche Daten von öffentlichen Seiten: der öffentliche Seitenname, der sichtbare Text öffentlicher Beiträge, öffentliche aggregierte Zahlen als Zahlen und öffentliche Beitrags-URLs. Private Gruppen, Gruppenmitgliederlisten, persönliche Profile, hinter Login-Wänden verborgene Inhalte, Direktnachrichten und die Identitäten einzelner Kommentatoren sind tabu. Das sind personenbezogene Daten, und ihre Erfassung verstößt gegen Metas Bedingungen und in vielen Ländern gegen das Datenschutzrecht.
Warum behandelt dieses Tutorial Seiten statt Gruppen?
Weil öffentliche Seiten die vertretbare Oberfläche sind. Gruppeninhalte, Mitgliederlisten und die Beiträge einzelner Mitglieder sind personenbezogene Daten und befinden sich häufig hinter einer Datenschutzsperre, auch bei als öffentlich gekennzeichneten Gruppen. Marken- und Unternehmensseiten sind darauf ausgelegt, von jedem ohne Anmeldung gesehen zu werden, sodass das Lesen ihres öffentlichen Seitennamens, Beitragstext und aggregierter Zahlen innerhalb der öffentlichen Grenze bleibt.
Sollte ich die offizielle Facebook Graph API verwenden oder die Website scrapen?
Für jede echte, laufende oder kommerzielle Nutzung verwenden Sie die offizielle Facebook Graph API. Es ist der sanktionierten Weg, bietet garantierte Struktur und hält Sie innerhalb von Metas Bedingungen. Das Scrapen einer kleinen Stichprobe öffentlicher Seitenfelder mit dem hier beschriebenen Ansatz passt zur leichtgewichtigen öffentlichen Datenrecherche, bei der kein API-Zugang vorhanden ist, solange Sie die Bedingungen, robots.txt und Rate-Limits respektieren.
Wie vermeide ich es, beim Scraping von Facebook blockiert zu werden?
Halten Sie Ihre Pro-IP-Anfragerate niedrig, fügen Sie echte Verzögerungen zwischen Anfragen hinzu, variieren Sie Ihre Ziele statt die vollständige Geschichte einer Seite zu crawlen und leiten Sie durch rotierende Residential-IPs, damit keine einzelne Adresse ein Rate-Limit auslöst. Die Crawling API verwaltet Rotation und einen vertrauenswürdigen IP-Pool für Sie. Beobachten Sie die Statuscodes und treten Sie sofort zurück, wenn Sie beginnen, Herausforderungen zu sehen.
Crawlen Sie jede Website im großen Maßstab, ohne gegen die Infrastruktur zu kämpfen.
Crawlbase übernimmt Proxys, Fingerprints und CAPTCHAs, damit Ihr Team Datenpipelines ausliefert, statt Crawl-Infrastruktur zu pflegen. 1.000 Anfragen kostenlos, keine Karte erforderlich.