eCommerce-Produktrecherche automatisierenmit n8n und Crawlbase

Produktrecherche bedeutete früher, ein Dutzend Browser-Tabs zu öffnen, Preise manuell in eine Tabelle zu kopieren und die folgende Woche alles erneut zu aktualisieren. Das zu automatisieren konnten nur Entwickler, weil es bedeutete, Scraper zu schreiben, Proxies zu verwalten und Code zu beaufsichtigen. Diese Hürde ist weggefallen. Visuelle Automatisierungstools ermöglichen es jetzt jedem, einen Workflow einzurichten, der eigenständig Produktdaten sammelt, ohne Programmierkenntnisse.

Diese Anleitung zeigt Ihnen, wie Sie eCommerce-Produktrecherche mit n8n, einer Open-Source-Automatisierungsplattform, und Crawlbase automatisieren, das den schwierigen Teil des Abrufens von Live-Produktseiten von Websites wie Amazon erledigt. Sie bauen einen Workflow, der eine Produktliste aus einem Google Sheet liest, für jedes Produkt frische Details über Crawlbase abruft und die Ergebnisse zurückschreibt, damit Ihre Recherche ohne Ihr Zutun aktuell bleibt. Wir behandeln zwei Wege, beides zu verbinden: den Web MCP für einen KI-gesteuerten Flow und die Crawling API für einen direkten, vorhersehbaren.

Warum Produktrecherche überhaupt automatisieren

Manuelle Recherche skaliert nicht. In dem Moment, in dem Sie mehr als eine Handvoll Produkte verfolgen, frisst die Kopier-Einfüge-Schleife Ihren Tag, und die Daten sind veraltet, wenn Sie fertig sind. Schlimmer noch, Preise und Verfügbarkeit ändern sich ständig, sodass ein einmaliger Snapshot Ihnen fast nichts über einen Markt verrät. Der Wert liegt darin, dieselben Produkte im Zeitverlauf zu beobachten und die Änderungen zu erkennen.

Ein automatisierter Workflow macht daraus einen Hintergrundprozess. Sie definieren die Produkte einmal, stellen einen Zeitplan ein, und die Daten aktualisieren sich selbst. Dieses Setup zahlt sich für verschiedene Rollen aus:

• eCommerce-Forscher, die große Datensätze für Nischenanalysen aufbauen
• Wettbewerbsanalysten, die Preis- und Lagerbestandsbewegungen verfolgen
• Amazon-Verkäufer, die ihre eigenen und konkurrierende Listings überwachen
• Datenanalysten, die Markttrends über Wochen oder Monate hinweg untersuchen

Woran die meisten Menschen scheitern, ist der Abruf. Amazon und andere große Händler rendern Inhalte mit JavaScript und fordern automatisierten Traffic aggressiv heraus, sodass eine einfache HTTP-Anfrage in der Regel eine fast leere Seite oder eine Blockierung zurückgibt. Das ist die Aufgabe, die Crawlbase erledigt, und deshalb bleibt dieser Workflow zuverlässig statt das erste Mal zu brechen, wenn eine Website ihre Abwehr verschärft.

Was Sie vor dem Start brauchen

Sie verbinden einige Tools, schreiben keinen Code. Stellen Sie diese zuerst bereit:

• n8n zum Aufbauen und Ausführen der Automatisierung. Verwenden Sie eine lokale Installation oder n8n Cloud; beide funktionieren für diesen Workflow gleich.
• Ein Crawlbase-Konto für das Crawling. Melden Sie sich an und kopieren Sie Ihre API-Token vom Dashboard. Sie erhalten ein Normal-Token für statische Seiten und ein JavaScript-Token für clientseitig gerenderte.
• Ein Google-Konto mit aktivierter Sheets API, damit n8n Ihre Produktliste lesen und Ergebnisse zurückschreiben kann. Sie verbinden es beim ersten Hinzufügen eines Google-Sheets-Knotens.
• Ein Google Sheet mit Ihrer Produktliste: Eine einzelne Spalte von Amazon-ASINs reicht für den Anfang. Benennen Sie die Spalte klar, zum Beispiel ASIN.

Der gesamte Flow ist kurz: Ihr Sheet hält die Produktliste, n8n führt den Workflow bei einem Trigger oder nach einem Zeitplan aus, Crawlbase ruft jede Produktseite ab und gibt saubere strukturierte Daten zurück, und n8n schreibt diese Daten zurück in das Sheet.

Zwei Wege, n8n mit Crawlbase zu verbinden

Es gibt zwei solide Wege, und welchen Sie wählen, hängt davon ab, wie viel Kontrolle versus Flexibilität Sie wollen.

Der Web MCP-Weg exponiert Crawling als Tools, die ein KI-Agent in n8n eigenständig aufrufen kann. Sie beschreiben das Ziel in einfacher Sprache, der Agent entscheidet, welches Crawl-Tool er verwendet, und Sie erhalten strukturierte Ausgabe zurück. Er glänzt, wenn Ihre Ziele variieren oder Sie möchten, dass das Modell über die Seite nachdenkt. Die vollständige Web-MCP-Anleitung behandelt dieses Setup von Anfang bis Ende.

Der Crawling API-Weg ist ein direkter HTTP-Aufruf. Sie senden eine URL und ein Token, Sie erhalten die Daten zurück, jedes Mal, ohne Modell im Kreislauf. Er ist vorhersehbar, günstig und das richtige Standard-Vorgehen für einen fokussierten Job wie das Herausziehen derselben Felder von Produktseiten. Das ist der Weg, den wir unten aufbauen, weil Produktrecherche eine klar definierte Aufgabe ist, bei der ein eingebauter Scraper genau das tut, was Sie brauchen.

Schritt 1: Einen neuen Workflow in n8n erstellen

Melden Sie sich bei n8n an und klicken Sie auf Create Workflow. Geben Sie ihm einen klaren Namen wie "Amazon Product Data Collector", damit Sie ihn später finden, wenn mehrere Workflows laufen. Sie beginnen mit einer leeren Arbeitsfläche; alles von hier an ist das Ziehen von Knoten darauf und deren Verbindung.

Schritt 2: Die Produktliste aus Google Sheets lesen

Fügen Sie einen Google Sheets-Knoten hinzu und wählen Sie den Trigger On row added or updated. Dieser löst den Workflow automatisch aus, wenn Sie eine neue ASIN in Ihr Sheet einfügen, sodass die Recherche sofort beginnt, wenn Sie etwas Nachzuschlagendes einfügen.

Authentifizieren Sie sich mit Ihrem Google-Konto und wählen Sie dann die Tabelle und das Arbeitsblatt mit Ihrer ASIN-Liste aus. Klicken Sie auf Fetch Test Event, um zu bestätigen, dass die Verbindung eine Zeile abruft. Sobald das funktioniert, weiß n8n genau, wo Ihre Produkte gelesen werden sollen, und jede Zeile, die durchläuft, trägt einen ASIN-Wert, den der nächste Schritt verwenden kann.

Schritt 3: Produktdaten mit der Crawling API abrufen

n8n wird nicht mit einem dedizierten Crawlbase-Knoten ausgeliefert, also verwenden Sie den eingebauten HTTP Request-Knoten, um die Crawling API direkt aufzurufen. Fügen Sie ihn nach dem Google-Sheets-Knoten hinzu und konfigurieren Sie die Parameter:

• Method: GET
• URL: https://api.crawlbase.com
• Authentication: None
• Send Query Parameters: einschalten

Fügen Sie dann drei Query-Parameter hinzu. Der url-Wert wird dynamisch aus der ASIN aufgebaut, die über den Trigger kam, sodass jede Zeile ihr eigenes Produkt abruft:

token     your_crawlbase_js_token
url       https://www.amazon.com/dp/{{ $json.ASIN }}/ref=nosim
scraper   amazon-product-details

Drei Werte erledigen die Arbeit. token ist Ihr JavaScript-Token vom Dashboard. url verwendet den n8n-Ausdruck {{ $json.ASIN }}, um die ASIN der aktuellen Zeile in die Amazon-Produkt-URL einzufügen, sodass derselbe Knoten jedes Produkt ohne Bearbeitung verarbeitet. scraper weist Crawlbase an, seinen eingebauten amazon-product-details-Parser auszuführen, der die Seite bereits als JSON strukturiert zurückgibt statt als rohes HTML, das Sie selbst parsen müssten.

Klicken Sie auf Execute Node und Sie sollten eine JSON-Antwort im Ausgabebereich mit Feldern wie name, price, rating und reviewCount sehen. Die Form sieht so aus:

{
  "body": {
    "name": "Wireless Noise Cancelling Headphones",
    "price": "$248.00",
    "rating": "4.6",
    "reviewCount": 31482,
    "inStock": true
  }
}

Da der eingebaute Scraper die Seite bereits geparst hat, lesen Sie diese Felder im nächsten Knoten per Name. Keine CSS-Selektoren, kein XPath, nichts, das bricht, wenn Amazon ein Redesign ausliefert.

Schritt 4: Die Ergebnisse zurück in Google Sheets schreiben

Speichern Sie nun, was Sie gesammelt haben. Öffnen Sie Ihr Sheet und fügen Sie Spalten für die gewünschten Felder hinzu, zum Beispiel ASIN, Title, Price, Rating und URL. Sie können jederzeit weitere hinzufügen, wenn Sie entscheiden, was für Ihre Recherche wichtig ist.

Fügen Sie in n8n nach der HTTP-Anfrage einen zweiten Google Sheets-Knoten hinzu und wählen Sie die Aktion Append or update row in sheet. Setzen Sie Column to match on auf ASIN, damit jedes Produkt seine eigene Zeile aktualisiert statt bei jedem Lauf Duplikate zu erstellen. Dann ordnen Sie die Felder aus der Crawling-API-Antwort Ihren Spalten zu:

ASIN     {{ $('Google Sheets Trigger').item.json.ASIN }}
Title    {{ $json.body.name }}
Price    {{ $json.body.price }}
Rating   {{ $json.body.rating }}
URL      {{ $json.url }}

Die ASIN kommt vom ursprünglichen Trigger, damit sie immer der richtigen Zeile entspricht, während die Produktfelder aus dem body der Crawling-API-Antwort kommen. Führen Sie den Workflow einmal aus und beobachten Sie, wie das Sheet mit Titeln, Preisen und Bewertungen gefüllt wird, alle ordentlich ihren ASINs zugeordnet.

Schritt 5: Aktivieren und planen

Schalten Sie den Workflow oben rechts auf Active. Von nun an löst das Hinzufügen einer ASIN zu Ihrem Sheet einen frischen Crawl aus und schreibt die Details innerhalb von Sekunden zurück. Das allein entfernt die manuelle Nachschlage-Schleife.

Für laufende Recherche möchten Sie, dass die Daten sich von selbst aktualisieren, nicht nur wenn Sie Zeilen hinzufügen. Fügen Sie einen Schedule Trigger-Knoten hinzu, der den Workflow täglich oder alle paar Stunden ausführt und Ihre bestehende ASIN-Liste erneut durch die Crawling API schickt. Jetzt verfolgt Ihr Sheet Preis- und Lagerbestandsänderungen im Zeitverlauf, ohne dass Sie einen Finger rühren müssen, was der eigentliche Punkt der Automatisierung der Recherche statt der bloßen Beschleunigung ist.

Den Workflow nützlicher machen

Sobald die Grundlagen laufen, verwandeln ein paar kleine Ergänzungen einen Datensammler in ein echtes Recherche-Tool. Keines davon erfordert einen Neuaufbau.

Mehr Felder erfassen

Der eingebaute Scraper gibt mehr als Titel und Preis zurück. Ordnen Sie rating, reviewCount, Verkäufername oder Verfügbarkeit zu, um ein vollständigeres Bild davon zu erhalten, wie ein Produkt abschneidet und wie es sich im Zeitverlauf verändert. Reichhaltigere Daten machen Trendanalysen erst lohnenswert.

Andere Scraper einsetzen

Crawlbase hat eingebaute Scraper für viele Websites, nicht nur Amazon. Um eine andere Plattform zu recherchieren, ändern Sie den scraper-Query-Parameter und die Ziel-URL; der Rest des Workflows bleibt gleich. Der KI-Agent-Workflow-Ansatz geht einen Schritt weiter und lässt einen Agent pro Ziel das richtige Tool wählen, was praktisch ist, wenn Ihre Quellen variieren.

Gecrawlte Seiten für später speichern

Wenn Sie eine Sicherungskopie von allem, was Sie abrufen, möchten, fügen Sie store=true zur Crawling-API-Anfrage hinzu und Crawlbase bewahrt eine Kopie jedes Crawls in Ihrem Konto. Das ermöglicht es Ihnen, alte Snapshots erneut zu besuchen oder Änderungen zu vergleichen, ohne erneut zu crawlen, was für Audits und historische Analysen nützlich ist.

Die Daten überallhin weiterleiten

Google Sheets ist das einfachste Ziel, aber n8n verbindet sich mit Hunderten von Diensten. Senden Sie Benachrichtigungen an Slack, wenn ein Mitbewerber einen Preis senkt, hängen Sie Zeilen an eine Datenbank an oder speisen Sie ein Dashboard. Der Crawl-Schritt ändert sich nicht; Sie fügen nur einen Knoten danach hinzu.

Im großen Maßstab entsperrt bleiben

Der Grund, warum dieser Workflow weiterläuft, wo ein hausgemachter Scraper stagnieren würde, ist, dass die Crawling API Rendering und IP-Rotation für Sie erledigt. Sie führt jede Anfrage hinter einem echten Browser und rotierenden Wohn-IPs aus, sodass Amazon normalen Traffic statt eines offensichtlichen Bots sieht. Wenn Sie Ihre eigenen Anfragen lieber durch einen rotierenden Pool leiten möchten, gibt Ihnen der Smart AI Proxy dieselbe Wohnrotation als Drop-in-Endpunkt. Die breiteren Taktiken finden sich in wie man Websites ohne Blockierung scraped.

Häufig gestellte Fragen

Muss ich programmieren können, um das zu bauen?

Nein. Der gesamte Workflow wird visuell in n8n aufgebaut, indem Knoten gezogen und Felder ausgefüllt werden. Sie schreiben nie ein Skript. Die einzigen technisch aussehenden Teile sind die n8n-Ausdrücke wie {{ $json.ASIN }}, die nur Platzhalter sind, die einen Wert aus dem vorherigen Schritt ziehen, und die Sie direkt aus dieser Anleitung kopieren.

Soll ich den Web MCP oder die Crawling API verwenden?

Verwenden Sie die Crawling API für einen fokussierten, wiederholbaren Job wie das Herausziehen derselben Felder von Produktseiten, weil es ein direkter Aufruf mit vorhersehbaren Kosten und Ausgaben ist. Greifen Sie zum Web MCP, wenn Sie einen KI-Agent in n8n möchten, der entscheidet, welches Crawl-Tool er über verschiedene oder sich ändernde Ziele hinweg verwendet. Beide laufen auf derselben Crawlbase-Crawling-Engine, sodass Sie mit einem beginnen und später wechseln können.

Warum Crawlbase statt einer einfachen HTTP-Anfrage an Amazon verwenden?

Amazon rendert Produktdetails mit JavaScript und blockiert automatisierten Traffic aggressiv, sodass eine einfache Anfrage in der Regel ein leeres Gerüst oder eine Blockseite zurückgibt. Crawlbase rendert die Seite in einem echten Browser hinter rotierenden Wohn-IPs und gibt dann saubere strukturierte Daten zurück, was der Teil ist, der verhindert, dass der Workflow bricht, wenn Sie skalieren.

Wie recherchiere ich Produkte auf anderen Websites als Amazon?

Ändern Sie den scraper-Query-Parameter auf den, der Ihrer Zielwebsite entspricht, und aktualisieren Sie die URL, die der Workflow aufbaut. Crawlbase hat eingebaute Scraper für viele Plattformen, und der Rest des n8n-Workflows, der Trigger und das Google-Sheets-Rückschreiben, bleibt exakt gleich.

Werde ich dabei blockiert?

Die Crawling API rotiert Wohn-IPs und rendert Seiten serverseitig, was das meiste Blockieren für Sie erledigt. Um im Volumen sicher zu bleiben, takten Sie Ihre Anfragen mit dem Schedule Trigger statt eine Website zu bombardieren, variieren Sie Ihre Ziele und beobachten Sie die Antwort-Statuscodes, damit Sie zurückfahren können, wenn eine Website beginnt, Traffic herauszufordern.

Kann ich eine Historie der gesammelten Daten aufbewahren?

Ja. Fügen Sie store=true zur Crawling-API-Anfrage hinzu und Crawlbase speichert eine Kopie jedes Crawls in Ihrem Konto, sodass Sie alte Snapshots erneut besuchen oder Änderungen vergleichen können, ohne erneut abzurufen. Auf der n8n-Seite baut das Planen regelmäßiger Läufe gegen dieselbe ASIN-Liste eine laufende Aufzeichnung davon auf, wie sich Preise und Lagerbestand im Zeitverlauf entwickeln.

IK

Ian Kalvin

Technical Support Engineer · Crawlbase

Technical Support Engineer bei Crawlbase, der von der Front darüber schreibt, was beim Scraping und bei Proxy-Setups im Produktivbetrieb tatsächlich kaputtgeht.

NZ

Neil Zamora

Senior Architect · Crawlbase

Senior Architect bei Crawlbase mit Fokus auf den Systemen hinter großflächigem Crawling: Proxy-Rotation, Anti-Bot-Resilienz und den APIs, die diese Komplexität verbergen.