Manuelle SEO-Audits sind auf eine Weise langsam, die sich aufsummiert. Sie öffnen eine Seite, lesen den Titel, suchen die Meta-Beschreibung, überblicken die Überschriftsreihenfolge, zählen die internen Links und wiederholen das für die nächste URL und die übernächste. Bei der zehnten Seite überfliegen Sie, und Überfliegen ist, wie fehlerhafte Hierarchien und doppelte Titel durchschlüpfen. Die Arbeit ist mechanisch, was genau die Art von Arbeit ist, die es wert ist, einer Maschine zu übergeben.
Diese Anleitung zeigt, wie Sie SEO-Audits mit dem Crawlbase Web MCP automatisieren. Die Idee ist einfach: Verbinden Sie einen KI-Assistenten wie Claude mit einem Tool, das Live-Seiten abrufen kann, und bitten Sie es dann, eine URL zu crawlen, den Titel, Meta, Überschriften, Links und Status abzurufen und alles Auffällige zu kennzeichnen. Sie schreiben einen Prompt und erhalten einen strukturierten Audit zurück, statt einer Wand von HTML. Alles Folgende beschränkt sich auf öffentliche Seiten, die Sie besitzen oder die Sie berechtigt sind zu prüfen.
Was das Web MCP tatsächlich für einen SEO-Audit tut
MCP (Model Context Protocol) ist ein Standardweg, einem KI-Assistenten Zugriff auf externe Tools zu geben. Allein kann ein Modell nur über Text nachdenken, den Sie einfügen; es kann keine Live-Seite abrufen. Das Crawlbase Web MCP schließt diese Lücke. Es stellt eine kleine Menge von Tools bereit, die der Assistent aufrufen kann: Geben Sie ihm eine URL und es crawlt die Seite über die Crawling API, rendert sie bei Bedarf und gibt sauberen Inhalt zurück, über den das Modell lesen und nachdenken kann.
Das ist wichtig, weil der schwierige Teil eines Audits nicht das Urteilen ist, sondern das Sammeln der Daten. Sobald der Assistent den echten Titel, die gerenderten Überschriften, den tatsächlichen Link-Satz und den HTTP-Status abrufen kann, ist der Audit nur noch Mustererkennung, die das Modell gut kann: ein H1 oder mehrere, Meta-Länge im Bereich oder nicht, Links vorhanden oder fehlend. Der MCP-Server behandelt den Crawl hinter einer vertrauenswürdigen IP und gibt Markdown zurück; der Assistent übernimmt die Analyse. Warum die Zuführung von Live-Webdaten an ein Modell das ermöglicht, erfahren Sie in Echtzeit-Webdaten an LLMs zuführen.
Viele Seiten rendern ihren Inhalt clientseitig, und viele echte Sites fordern bloße HTTP-Anfragen heraus. Das Web MCP leitet Crawls über die Crawling API weiter, die JavaScript bei Bedarf rendert und eine vertrauenswürdige IP verwendet, sodass der Assistent die fertige Seite sieht und nicht eine leere Hülle oder eine Blockseite. Das ist der Unterschied zwischen dem Auditing dessen, was eine Suchmaschine sieht, und dem Auditing von nichts.
Warum das eine andere SEO-Plattform zu starten schlägt
Traditionelle SEO-Suiten sind leistungsstark und für einen schnellen Audit meist Overhead. Sie loggen sich ein, navigieren durch Dashboards, die Sie nicht angefordert haben, stoßen an ein Crawl-Credit-Limit und exportieren einen Bericht, der so gestaltet ist, wie der Anbieter es entschieden hat, und nicht so, wie Sie es brauchen. Für eine fokussierte Frage wie "Hat diese Landing-Page eine saubere Überschriftenstruktur und eine Meta-Beschreibung im richtigen Bereich?" ist das viel Reibung.
Der MCP-Ansatz dreht das um. Sie bleiben in dem Assistenten, den Sie bereits nutzen, richten ihn genau auf die Seiten, die Sie interessieren, und definieren, was "gut" bedeutet, im Prompt. Prüfen Sie heute Alt-Text und morgen Schema, indem Sie eine Zeile ändern. Erhalten Sie die Ausgabe als Tabelle für einen Teamkollegen oder als rohen JSON für ein Skript, indem Sie danach fragen. Der Assistent führt die Crawl-Analyse-Berichtsschleife aus, und Sie behalten die Kontrolle über Umfang und Format.
Schritt 1: Das Web MCP mit Ihrem Assistenten verbinden
Sie benötigen einen MCP-fähigen Client (Claude Desktop ist die gängige Wahl) und ein Crawlbase-Token. Holen Sie das Token aus Ihrem Dashboard und fügen Sie dann den Crawlbase Web MCP-Server zur MCP-Konfiguration Ihres Clients hinzu. Ein typischer Konfigurationsblock sieht so aus.
{ "mcpServers": { "crawlbase": { "command": "npx", "args": ["-y", "@crawlbase/mcp"], "env": { "CRAWLBASE_TOKEN": "YOUR_CRAWLBASE_TOKEN" } } } }
Starten Sie den Client neu, damit er den neuen Server übernimmt, und der Assistent erhält ein Crawl-Tool, das er selbst aufrufen kann. Die Einrichtung dauert normalerweise unter einer Minute. Wenn Sie eine tiefere Anleitung zum Verdrahten von Tools zu wiederholbaren Runs wünschen, behandelt der Leitfaden über KI-Agenten-Workflows mit dem Crawlbase Web MCP die Muster im Detail.
Schritt 2: Den Audit-Prompt schreiben
Der Prompt ist der Ort, an dem Sie einen generischen Crawl in einen SEO-Audit verwandeln. Sagen Sie dem Assistenten, welche Seite abgerufen werden soll, welche Felder extrahiert werden sollen und gegen welche Regeln es geprüft werden soll. Seien Sie explizit bei den Prüfungen; ein vages "Mach einen SEO-Audit" gibt Ihnen eine vage Antwort, während eine konkrete Checkliste Ihnen etwas gibt, auf das Sie reagieren können.
Crawl https://example.com/landing-page and extract: - HTTP status code - Title tag and its character length - Meta description and its character length - All headings in order (H1, H2, H3) - Count of internal vs external links - Images missing alt text Then audit against these rules and flag any failures: - Exactly one H1, with a logical H2/H3 hierarchy - Title length between 50 and 60 characters - Meta description present, 150 to 160 characters - At least three internal links - No images missing alt text Return the result as JSON with a pass/fail per check.
Der Assistent liest den Prompt, ruft das Web-MCP-Crawl-Tool mit der URL auf, wartet auf die gerenderte Seite und parst jedes Feld heraus. Da Sie JSON mit einem Pass/Fail pro Prüfung angefordert haben, erhalten Sie ein maschinell lesbares Ergebnis statt Prosa, was den nächsten Schritt (Skalierung) einfach macht.
Schritt 3: Die Audit-Ausgabe lesen
Nachdem der Crawl zurückgekehrt ist, legt der Assistent einen strukturierten Bericht vor. Für den obigen Prompt sieht ein Einzelseitenergebnis so aus.
{ "url": "https://example.com/landing-page", "status": 200, "title": "Fast Web Data API for Developers", "titleLength": 32, "metaDescription": "Pull structured web data in one call.", "metaLength": 38, "headings": { "h1": 2, "h2": 5, "h3": 7 }, "links": { "internal": 4, "external": 9 }, "imagesMissingAlt": 3, "checks": { "singleH1": "fail", "titleLength": "fail", "metaLength": "fail", "internalLinks": "pass", "altText": "fail" }, "notes": "Two H1 tags found; title and meta are too short; 3 images lack alt text." }
Auf einen Blick sehen Sie, was falsch ist: ein doppeltes H1, ein Titel und Meta, die zu kurz sind, um in Suchergebnissen nützlich zu sein, und Bilder ohne Alt-Text. Kein HTML zum Durchscrollen, nur das Urteil und die Gründe. Bitten Sie den Assistenten, dieselben Daten als Markdown-Tabelle oder als priorisierte Behebungsliste darzustellen, und er wird es tun, da er das strukturierte Ergebnis bereits im Kontext hält.
Das Web MCP gibt Ihrem KI-Assistenten ein Crawl-Tool, das von der Crawling API unterstützt wird: Es rendert Seiten, routet durch vertrauenswürdige IPs und gibt saubenen Inhalt zurück, den das Modell auditen kann. Verbinden Sie es einmal und verwandeln Sie einen Prompt in eine vollständige SEO-Prüfung. Starten Sie im kostenlosen Tier und richten Sie es auf eine Seite, die Ihnen gehört.
Schritt 4: Von einer Seite auf einen ganzen Abschnitt skalieren
Ein Einzelseiten-Audit ist nützlich; ein abschnittsweiter Audit ist das, wo das seinen Wert beweist. Anstatt einer URL übergeben Sie dem Assistenten eine Liste und bitten ihn, dieselben Prüfungen über alle auszuführen und dann die Fehler zusammenzufassen. Die Crawls laufen nacheinander durch dasselbe MCP-Tool, und der Assistent aggregiert die Ergebnisse.
Run the SEO audit above on each of these URLs: - https://example.com/blog/post-one - https://example.com/blog/post-two - https://example.com/blog/post-three Then return one table: URL, status, and the count of failed checks per page, sorted worst first. List the three most common issues across the whole set.
Jetzt haben Sie einen Abschnittsbericht statt eines Snapshots: welche Seiten am gesündesten sind, welche zuerst Aufmerksamkeit brauchen und welche Probleme sich über die Site wiederholen. Führen Sie ihn monatlich aus und vergleichen Sie die Anzahl fehlgeschlagener Prüfungen, um zu beweisen, dass Ihre Fixes greifen. Für sehr große Jobs, die unbeaufsichtigt laufen, können Sie dieselben Crawls auf den asynchronen Crawler verschieben, der Ergebnisse an einen Webhook sendet, damit Sie keine Sitzung für Hunderte von Seiten offen halten, oder auf den Smart AI Proxy zurückgreifen, wenn Sie Anfragen lieber über einen einzigen rotierenden Endpunkt aus Ihrem eigenen Tooling routen möchten.
Tipps für einen schärferen Audit-Workflow
- Mit zwei oder drei Seiten beginnen. Tunen Sie den Prompt und bestätigen Sie, dass die Ausgabe so gestaltet ist, wie Sie es wünschen, bevor Sie ihn auf die gesamte Site richten. Es ist günstiger, klein zu iterieren.
- Den Prompt speichern, sobald er funktioniert. Ein Prompt, der zuverlässig den JSON produziert, den Sie wollen, ist wiederverwendbar; bewahren Sie ihn auf, damit jeder Audit konsistent ist, ohne die benutzerdefinierten Prüfungen zu verlieren.
- Bei Prüfungen spezifisch sein. "Prüfen Sie diese Produktseite auf Schema-Markup und einen Canonical-Tag" schlägt "Mach einen SEO-Audit". Je enger die Anfrage, desto umsetzbarer die Antwort.
- Die Ausgabe für den Leser wählen. JSON für ein Skript, eine Markdown-Tabelle für einen Teamkollegen, eine priorisierte Liste für einen Kunden. Fragen Sie nach dem Format, das Sie benötigen, anstatt später umzuformatieren.
Crawls bei Skalierung zuverlässig halten
Der Grund, warum ein MCP-Audit auf echten Sites funktioniert und ein naives Skript es oft nicht tut, liegt in der Art, wie die Seite abgerufen wird. Viele Ziele rendern Inhalte mit JavaScript und fordern Traffic heraus, der nicht wie ein echter Browser aussieht, sodass eine bare Anfrage eine leere Seite oder eine Blockierung zurückgibt. Da das Web MCP über die Crawling API crawlt, werden Rendering und vertrauenswürdige IPs für Sie behandelt, sodass der Assistent dieselbe Seite sieht wie ein Besucher. Den vollständigen Hintergrund zu Nicht-blockiert-Bleiben bei schwierigeren Zielen lesen Sie in wie man Websites scrapet ohne blockiert zu werden.
Eine Formulierung, die ehrlich bleibt: Zahlen wie Zeichenanzahlen und Link-Gesamtzahlen sind nur so gut wie die gerenderte Seite, von der sie kommen. Auditen Sie die Seite, wie sie tatsächlich rendert, nicht die rohe Hülle, oder Ihre Statistiken beschreiben eine Seite, die niemand sieht.
Wichtigste Erkenntnisse
- Das Web MCP gibt Ihrem Assistenten ein Crawl-Tool. Es ruft Live-Seiten über die Crawling API ab, sodass das Modell echte Titel, Überschriften, Links und Status lesen kann, anstatt aus eingefügtem Text zu raten.
- Der Prompt definiert den Audit. Listen Sie die zu extrahierenden Felder und die zu prüfenden Regeln auf und fordern Sie JSON mit einem Pass/Fail pro Prüfung an, damit das Ergebnis umsetzbar ist.
- Rendering ist das, was es genau macht. Das Crawlen über die Crawling API rendert JavaScript und verwendet vertrauenswürdige IPs, sodass Sie die Seite auditen, die Suchmaschinen sehen, und nicht eine leere Hülle.
- Skalierung ist eine Liste, kein Umbau. Übergeben Sie dem Assistenten viele URLs und dieselben Prüfungen, um einen abschnittsweiten Bericht zu erhalten; wechseln Sie für sehr große Runs zum asynchronen Crawler.
- Den funktionierenden Prompt speichern. Ein wiederverwendbarer Prompt macht Audits Monat für Monat konsistent und bewahrt gleichzeitig die benutzerdefinierten Prüfungen, die Ihnen wichtig sind.
Häufig gestellte Fragen
Was ist das Crawlbase Web MCP und wie hilft es bei SEO-Audits?
Das Web MCP ist ein Model-Context-Protocol-Server, der einem KI-Assistenten ein Tool zum Crawlen von Live-Webseiten über die Crawling API gibt. Für SEO-Audits bedeutet das, dass der Assistent die echte, gerenderte Seite abrufen und den Titel, die Meta-Beschreibung, Überschriften, Links und HTTP-Status abrufen kann, dann gegen Regeln prüfen, die Sie in Ihrem Prompt definieren. Das Crawlen wird für Sie erledigt; der Assistent übernimmt die Analyse.
Muss ich Code schreiben, um einen Audit auszuführen?
Nein. Nachdem Sie den MCP-Server zur Konfiguration Ihres Assistenten mit Ihrem Crawlbase-Token hinzugefügt haben, läuft der gesamte Audit über natürlichsprachliche Prompts. Sie bitten den Assistenten, eine URL zu crawlen und gegen Ihre Regeln zu prüfen, und er ruft das Crawl-Tool selbst auf. Code wird nur nützlich, wenn Sie die JSON-Ausgabe planen oder in etwas anderes leiten möchten.
Kann es Seiten crawlen, die Inhalte mit JavaScript rendern?
Ja. Das Web MCP leitet Crawls über die Crawling API weiter, die JavaScript rendert, wenn eine Seite es benötigt, und den fertigen Inhalt zurückgibt. Das ist wichtig für Audits, weil eine Meta-Beschreibung oder Überschrift, die durch clientseitige Skripte eingefügt wird, für einen reinen HTTP-Fetch unsichtbar wäre, aber das ist, was Suchmaschinen und Besucher tatsächlich sehen.
Wie auditiere ich viele Seiten auf einmal?
Geben Sie dem Assistenten eine Liste von URLs in Ihrem Prompt und bitten Sie ihn, dieselben Prüfungen für jede auszuführen und dann eine einzelne zusammenfassende Tabelle zurückzugeben, sortiert nach der Anzahl fehlgeschlagener Prüfungen. Die Crawls laufen nacheinander durch dasselbe MCP-Tool und der Assistent aggregiert die Ergebnisse. Für sehr große Batches, die unbeaufsichtigt laufen sollen, verschieben Sie die Crawls auf den asynchronen Crawler, der Ergebnisse an einen Webhook liefert.
Welche SEO-Probleme kann der Audit kennzeichnen?
Alles, was Sie als Regel gegen den Inhalt der Seite beschreiben können: mehrere H1-Tags oder eine fehlerhafte Überschriftenhierarchie, Titel und Meta-Beschreibungen, die zu lang oder zu kurz sind, fehlende Meta-Beschreibungen, zu wenig interne Links, Bilder ohne Alt-Text, Nicht-200-Statuscodes und mehr. Sie entscheiden die Checkliste im Prompt, sodass der Audit Ihren Standards entspricht und nicht einer festen Vorlage.
Ist das ein Ersatz für eine vollständige SEO-Plattform?
Es ist eine leichtgewichtige, flexible Alternative für fokussierte Audits, kein eins-zu-eins-Ersatz für alles, was eine große Suite tut. Wo es gewinnt, ist Geschwindigkeit und Kontrolle: Sie bleiben in dem Assistenten, den Sie bereits verwenden, richten ihn genau auf die Seiten, die Sie interessieren, und definieren, was geprüft werden soll. Für tiefes historisches Tracking und Backlink-Analyse hat eine dedizierte Plattform noch ihren Platz, aber für schnelle, maßgeschneiderte Content-Audits ist der MCP-Workflow schwer zu schlagen.
Crawlen Sie jede Website im großen Maßstab, ohne gegen die Infrastruktur zu kämpfen.
Crawlbase übernimmt Proxys, Fingerprints und CAPTCHAs, damit Ihr Team Datenpipelines ausliefert, statt Crawl-Infrastruktur zu pflegen. 1.000 Anfragen kostenlos, keine Karte erforderlich.