KI-Coding-Assistenten erstellen das Grundgerüst für APIs, generieren Frontend-Komponenten und schreiben Tests in Sekunden. Aber ein Modell kann nur über das schlussfolgern, was es bereits weiß oder was Sie in den Kontext einfügen, und das bricht in dem Moment zusammen, in dem Sie eine unbekannte API integrieren, gegen eine Dokumentation arbeiten, die sich gestern geändert hat, oder auf einer sich schnell entwickelnden Plattform aufbauen.
Bitten Sie Codex, einen neuen Dienst zu integrieren, und es generiert selbstbewusst den Client, verdrahtet die Authentifizierung und setzt die Umgebungsvariablen. Alles sieht richtig aus, bis Sie es mit der offiziellen Dokumentation abgleichen: Ein erforderlicher Parameter fehlt, ein Endpunkt wurde umbenannt, die Authentifizierung braucht jetzt einen zusätzlichen Header. Nichts davon ist vor der Laufzeit offensichtlich, weil der generierte Code weiterhin plausibel aussieht.
Der übliche Ausweg unterbricht Ihren Arbeitsfluss: die Dokumentation in einem anderen Tab öffnen, GitHub nach dem neuesten README durchsuchen, die relevanten Abschnitte in den Chat einfügen und eine erneute Generierung anfordern, bis alles zusammenpasst. Die Reibung liegt nicht im Schreiben von Code. Sie liegt im Hin- und Herpendeln zwischen Recherche und Umsetzung.
Das Crawlbase Codex Plugin beseitigt diese Trennung. Gestützt auf den Crawlbase Web MCP Server gibt es Codex Live-Zugriff auf das Web über natürliche Sprache: HTML crawlen, sauberes Markdown extrahieren, Screenshots aufnehmen und Seiten optional in Crawlbase Cloud Storage speichern, alles ohne Ihren Editor zu verlassen. Ein Begleit-Repository liefert die Prompts, Beispieldateien und die hier verwendete Projektstruktur. Klonen Sie es, bevor Sie beginnen:
git clone https://github.com/ScraperHub/turn-codex-into-a-full-stack-web-scraper.git cd turn-codex-into-a-full-stack-web-scraper
Am Ende haben Sie das Plugin installiert, es mit einem Smoke-Test verifiziert, Live-Dokumentation direkt von GitHub geholt und Codex aus dieser Dokumentation einen minimalen Full-Stack-Scraper bauen lassen. Noch nützlicher: Sie haben einen Workflow, der sich auf nahezu jede KI-gestützte Aufgabe anwenden lässt, bei der genaue, aktuelle Informationen zählen.
Warum KI-gestützte Entwicklung Live-Webdaten braucht
Modelle sind stark darin, über den Kontext zu schlussfolgern, den sie erhalten. Ihre Schwachstelle ist nicht das Programmieren, sondern Informationen, die sich nach dem Training geändert haben. Dokumentation entwickelt sich ständig weiter: SDKs fügen Parameter hinzu, APIs verwerfen Endpunkte, Authentifizierungsanforderungen verschieben sich, und Release Notes enthalten Implementierungsdetails, die es nie in Tutorials schaffen.
Ohne Live-Web-Zugriff ist die Schleife manuell: Codex bitten, eine API zu integrieren, größtenteils korrekten Code erhalten, ihn mit der aktuellen Dokumentation vergleichen, die Unterschiede zurück in den Chat einfügen und neu generieren. Mit dem Plugin schließt Codex diese Schleife selbst.
Statt Dokumentation von Hand zusammenzutragen, ruft Codex die aktuelle Version ab, bevor es eine Zeile Code schreibt.
Was das Crawlbase Codex Plugin ist
Das Ökosystem der OpenAI Codex Plugins lässt Sie Codex mit wiederverwendbaren Skills, App-Integrationen und MCP-Servern erweitern. Das Crawlbase Codex Plugin verpackt den Crawlbase Web MCP Server in ein Plugin, das produktionsreifes Crawling über natürliche Sprache bereitstellt. Einmal installiert, können Sie Codex bitten:
- Eine Webseite crawlen und HTML zurückgeben.
- Sauberes Markdown aus einem Artikel extrahieren.
- Ganzseitige Screenshots aufnehmen.
- JavaScript-gerenderte Websites crawlen.
- Gecrawlte Seiten in Crawlbase Cloud Storage speichern und später abrufen, ohne erneut zu crawlen.
Unter der Haube startet das Plugin npx -y @crawlbase/mcp, gibt Ihre Crawlbase-Anmeldedaten über Umgebungsvariablen weiter und kommuniziert mit der Crawling-Infrastruktur von Crawlbase. Das Hero-Diagramm oben zeichnet den gesamten Pfad nach: Ihr Prompt geht an Codex, Codex ruft das Plugin auf, das Plugin steuert den Web MCP Server, und Crawlbase übernimmt Rendering, Wiederholungsversuche, Proxy-Rotation, Anti-Bot und Speicherung hinter den Kulissen. Aus Ihrer Perspektive geschieht alles über Prompts.
Sie könnten Codex bitten, Scraping-Code von Grund auf zu schreiben, aber es würde auf ein bewegliches Ziel zielen: das Markup der Website, ihre Anti-Bot-Haltung und die aktuelle Form der API. Das Plugin leitet jede Anfrage über die Crawling API, sodass Codex JavaScript-Rendering, die Rotation von Residential-IPs und die Anti-Bot-Behandlung erbt und bereits beim ersten Aufruf sauberen Inhalt zurückbekommt.
Was Sie bauen werden
Das Ziel ist nicht nur, eine Website zu scrapen, sondern einen wiederholbaren Engineering-Workflow zu bauen, der Live-Dokumentation mit KI-gestützter Entwicklung verbindet. In den nächsten fünf Schritten installieren Sie das Plugin, validieren es mit einem Smoke-Test, holen die neueste Web-MCP-Dokumentation von GitHub, nutzen diese Dokumentation, um einen minimalen Full-Stack-Scraper zu generieren, und lernen, wo Screenshots und Cloud Storage in größere Workflows passen.
Schritt 1: Das Plugin installieren
Klonen Sie das Plugin in das Plugins-Verzeichnis von Codex:
git clone https://github.com/crawlbase/crawlbase-codex-plugin ~/.codex/plugins/crawlbase-mcp
Exportieren Sie Ihre Crawlbase-API-Tokens (falls Sie noch kein Konto haben, registrieren Sie sich zuerst bei Crawlbase). Das Begleit-Repo enthält eine .env.example, die die erwarteten Variablen auflistet:
export CRAWLBASE_TOKEN=your_token_here export CRAWLBASE_JS_TOKEN=your_js_token_here
Starten Sie Codex neu. Das Plugin erscheint dann als Crawlbase Web Scraper und stellt Tools wie crawl, crawl_markdown, crawl_screenshot und die Cloud-Storage-Operationen bereit. Die mitgelieferte .mcp.json startet npx -y @crawlbase/mcp und liest Ihre Anmeldedaten aus der Umgebung, sodass keine Geheimnisse im Plugin selbst liegen, was es für geteilte, versionskontrollierte Umgebungen sicher macht.
Schritt 2: Mit einem Smoke-Test verifizieren
Bevor Sie Anwendungscode generieren, stellen Sie sicher, dass die gesamte Pipeline funktioniert. Fügen Sie prompts/00-smoke-test.txt in Codex ein oder fragen Sie einfach:
Get the markdown content of https://example.com
Die Anfrage tut absichtlich fast nichts. Wenn alles verdrahtet ist, ruft Codex crawl_markdown auf und gibt sauberes Markdown (Titel, Überschriften, Fließtext) statt rohem HTML zurück. Das bestätigt den vollständigen Ausführungspfad, von Ihrem Prompt über Codex, das Plugin und den Web MCP Server bis hinunter zur Crawling API. Dieser Pfad ist das Rückgrat des restlichen Tutorials: Sie beschreiben das Ergebnis, und der Server speist Live-Webinhalte in den Kontext von Codex ein. Wenn es fehlschlägt, prüfen Sie, ob CRAWLBASE_TOKEN exportiert ist, und starten Sie Codex nach der Installation des Plugins neu.
Schritt 3: Die neueste Dokumentation abrufen, bevor Sie Code schreiben
Statt Codex Crawlbase aus dem Gedächtnis integrieren zu lassen, geben Sie ihm zuerst die aktuelle Dokumentation von GitHub. Fügen Sie prompts/01-fetch-api-readme.txt in Codex ein; es ruft das Web-MCP-README von der Raw-GitHub-URL ab und deckt Umgebungsvariablen, die MCP-Tools, store=true, den Abruf aus Cloud Storage und das token-spezifische Speicherverhalten ab.
Trainingsdaten veralten. Das README direkt von GitHub zu ziehen bedeutet, dass Codex mit derselben Dokumentation arbeitet, die heute im main-Branch steht. Wenn das README groß ist, crawlen Sie es mit store=true und holen Sie es später mit storage_get unter Verwendung von as=markdown zurück (siehe die Cloud-Storage-Dokumentation).
Schritt 4: Den Full-Stack-Scraper generieren
Mit der aktuellen Dokumentation im Kontext bitten Sie Codex, die App mithilfe von prompts/02-build-full-stack-scraper.txt zu generieren. Der Prompt fordert drei Schichten an:
| Schicht | Zuständigkeit |
|---|---|
| Backend |
POST /scrape, ruft die Crawlbase Crawling API auf |
| Frontend | URL-Eingabe, Senden-Button, Ergebnisbereich |
| Projekt | README, .env.example, .gitignore, Ausführungsanweisungen |
Codex hat nun Ihre Anforderungen, Ihren Projektkontext und die neueste Dokumentation, sodass es gegen die aktuelle API-Referenz generiert statt gegen historische Trainingsdaten. Testen Sie die App gegen books.toscrape.com oder eine andere öffentliche Übungswebsite. Wenn das zurückgegebene Markdown leer ist, weil die Website auf JavaScript angewiesen ist, versuchen Sie es erneut mit CRAWLBASE_JS_TOKEN und folgen dabei der Dokumentation, die Sie in Schritt 3 abgerufen haben.
Schritt 5: Mit Live-Webdaten iterieren
Öffnen Sie prompts/03-iterate-with-live-data.txt. Es bündelt Workflows zum Vergleichen von Markdown-Ausgaben, zum Aufnehmen von Screenshots, zum Speichern von Dokumentation mit store=true und zum erneuten Versuchen von JavaScript-gerenderten Seiten. An diesem Punkt leben Recherche, Umsetzung und Debugging alle innerhalb einer einzigen Codex-Unterhaltung, statt über Tabs verstreut zu sein.
Crawls mit Cloud Storage dauerhaft speichern
Viele Scraping-Workflows enden nicht bei einer einzigen Anfrage. Möglicherweise müssen Sie eine Dokumentation erneut aufrufen, vergleichen, wie sich eine Seite geändert hat, oder denselben Crawl erneut verarbeiten, ohne die Zielwebsite noch einmal anzusteuern. Setzen Sie store: true bei einem beliebigen Crawl, und statt die Seite inline zurückzugeben, bewahrt Crawlbase das zugrunde liegende HTML in Cloud Storage auf und gibt Metadaten wie rid, stored_at, storage_url und token_type zurück. Sie verwalten den gespeicherten Inhalt mit:
-
storage_getundstorage_bulk_get -
storage_listundstorage_count -
storage_deleteundstorage_bulk_delete
Ein Detail lohnt sich zu wissen: Egal ob Sie crawl, crawl_markdown oder crawl_screenshot aufrufen, das gespeicherte Artefakt ist immer das zugrunde liegende HTML. Wenn Sie eine gespeicherte Seite als Markdown abrufen, generiert Crawlbase es zum Abrufzeitpunkt aus diesem HTML. Screenshots werden nicht in Cloud Storage aufbewahrt; sie kommen separat über eine temporäre Screenshot-URL zurück.
Speicherpartitionen verstehen
Cloud Storage partitioniert gecrawlte Seiten nach dem für den Crawl verwendeten API-Token. Seiten, die mit CRAWLBASE_TOKEN abgerufen wurden, liegen in einem anderen Silo als Seiten, die mit CRAWLBASE_JS_TOKEN abgerufen wurden, weil Standard-Crawls und JavaScript-gerenderte Crawls auf unterschiedlicher Infrastruktur laufen.
token_type von normal oder js; geben Sie denselben Wert (über use_js_token) an die Storage-Tools weiter, damit Sie die Partition abfragen, in der die Seite tatsächlich gelandet ist.Jede erfolgreiche Crawl-Antwort enthält ein token_type-Feld (normal oder js), das Ihnen sagt, wo das Dokument gespeichert wurde. Verwenden Sie diesen Wert für spätere Storage-Operationen wieder: Wenn eine Seite mit dem JavaScript-Token gecrawlt wurde, geben Sie use_js_token: true an storage_get, storage_list oder storage_bulk_get weiter. Eine "Not found"-Antwort bedeutet meist nicht, dass das Dokument weg ist; sie bedeutet, dass Sie die falsche Partition abfragen. Der token_type des ursprünglichen Crawls zu prüfen reicht normalerweise aus, um das richtige Silo zu finden.
Engineering-Best-Practices
Der obige Workflow eignet sich hervorragend für Prototypen; ein paar Praktiken sorgen dafür, dass er auch beim Wachsen von Projekten standhält.
- Rufen Sie aktuelle Dokumentation ab, bevor Sie Integrationscode generieren. APIs und SDKs entwickeln sich schnell, und dem Modell die heutige Dokumentation zu geben reduziert veraltete Endpunkte, falsche Parameter und überholte Authentifizierungsabläufe deutlich.
-
Bewahren Sie Anmeldedaten in Umgebungsvariablen auf. Committen Sie eine
.env.example, damit andere wissen, was erforderlich ist, aber committen Sie niemals echte Tokens. -
Speichern Sie große Crawls, statt sie inline einzubetten. Bei großen Dokumentationsseiten oder Datasets hält
store: truedie Unterhaltung fokussiert und lässt Sie den Inhalt später abrufen. - Behandeln Sie generierten Code wie Produktionscode. Validieren Sie Statuscodes, setzen Sie sinnvolle Timeouts und geben Sie aussagekräftige Fehler aus. Ob KI-gestützt oder nicht, robuste Fehlerbehandlung ist es, was eine App zuverlässig macht.
Wenn Projekte über Prototypen hinauswachsen, beginnen auch Nebenläufigkeit, Wiederholungsversuche, Monitoring und Infrastrukturzuverlässigkeit eine Rolle zu spielen; unser Leitfaden zum Skalieren von Web-Scraping-Projekten behandelt diese Produktionsaspekte.
Fazit
KI-Coding-Assistenten sind am besten, wenn sie über aktuelle Informationen schlussfolgern können statt über historische Trainingsdaten. Die Kombination des Crawlbase Codex Plugins mit dem Crawlbase Web MCP Server gibt Codex direkten Zugriff auf Live-Webinhalte: Es kann Dokumentation abrufen, sauberes Markdown extrahieren, Screenshots aufnehmen und Anwendungen aus den neuesten verfügbaren Informationen bauen, alles innerhalb einer einzigen Unterhaltung.
Geben Sie Codex (und jedem MCP-Client) Live-Web-Zugriff in einem einzigen Tool-Aufruf. Jeder Crawl rendert JavaScript hinter einer rotierenden Residential-IP und gibt sauberes Markdown zurück, mit optionalem Cloud Storage zur Wiederverwendung. Kein Proxy-Pool, keine Headless-Flotte, kein zu wartender Scraping-Code. Holen Sie sich Ihre API-Tokens und bauen Sie auf dem kostenlosen Tarif.
Häufig gestellte Fragen
Was ist das Crawlbase Codex Plugin?
Es ist eine Erweiterung für OpenAI Codex, die den Crawlbase Web MCP Server in Ihren Entwicklungs-Workflow integriert. Einmal installiert, kann Codex Webseiten crawlen, sauberes Markdown extrahieren, Screenshots aufnehmen und Crawlbase Cloud Storage über natürlichsprachliche Prompts verwalten. Statt selbst Scraping-Infrastruktur zu schreiben, bitten Sie Codex, Live-Webinhalte abzurufen und sie als Kontext für die Codegenerierung zu nutzen.
Warum den Web MCP Server nutzen, statt Codex zu bitten, einen Scraper zu generieren?
Codex ist gut darin, Scraping-Code zu generieren, aber es hat keinen Zugriff auf Live-Websites oder Dokumentation, sofern Sie ihn nicht bereitstellen. Das Plugin gibt Codex Echtzeit-Web-Zugriff über die Infrastruktur von Crawlbase, sodass es die neueste API-Dokumentation ziehen, Websites crawlen, JavaScript-Seiten rendern und Code aus aktuellen Informationen statt aus möglicherweise veralteten Trainingsdaten generieren kann.
Kann ich das Plugin für JavaScript-lastige Websites nutzen?
Ja. Es unterstützt sowohl statische als auch JavaScript-gerenderte Seiten. Mit konfiguriertem CRAWLBASE_JS_TOKEN nutzt Codex das JavaScript-Rendering von Crawlbase, um dynamische Websites zu crawlen, Inhalte nach der Skriptausführung zu extrahieren und gerenderte Screenshots aufzunehmen.
Warum gibt storage_get nach dem Speichern einer Seite "Not found" zurück?
Seiten, die mit CRAWLBASE_TOKEN gecrawlt wurden, werden getrennt von Seiten gespeichert, die mit CRAWLBASE_JS_TOKEN gecrawlt wurden. Wenn eine Seite mit dem JavaScript-Token gecrawlt wurde, geben Sie use_js_token: true an die Storage-Tools weiter. Die meisten "Not found"-Antworten bedeuten nur, dass Sie die falsche Speicherpartition abfragen, nicht dass die Seite fehlt.
Crawlen Sie jede Website im großen Maßstab, ohne gegen die Infrastruktur zu kämpfen.
Crawlbase übernimmt Proxys, Fingerprints und CAPTCHAs, damit Ihr Team Datenpipelines ausliefert, statt Crawl-Infrastruktur zu pflegen. 1.000 Anfragen kostenlos, keine Karte erforderlich.