So bauen Sie einen Wayfair-Preis-TrackerMöbelpreise im Zeitverlauf überwachen

Wayfair arbeitet mit dynamischer Preisgestaltung. Dasselbe Sofa kann morgens einen Preis tragen, am Abend einen anderen und am nächsten Tag wieder einen anderen, alles getrieben von Nachfrage, Lagerbestand und dem eigenen algorithmischen Preismodell der Plattform. Für eine Käuferin, die auf ein Angebot wartet, oder eine Analystin, die eine Möbelkategorie untersucht, ist nicht der Preis im Moment das Nützliche, sondern wie er sich im Laufe der Zeit bewegt. Um das zu sehen, müssen Sie den Preis nach einem festen Zeitplan erfassen und eine Historie führen.

Diese Anleitung zeigt Ihnen, wie Sie einen Wayfair-Preis-Tracker in JavaScript mit Node.js und cheerio bauen. Sie rufen eine öffentliche Wayfair-Produkt- oder Kategorieseite über die Crawling API ab, extrahieren den Titel und Preis jedes Produkts, hängen eine mit Zeitstempel versehene Zeile an eine Historiendatei an und lassen das Ganze nach einem Zeitplan laufen, sodass die Datei zu einem Preisprotokoll heranwächst, das Sie in einem Diagramm darstellen können. Der Durchgang bleibt auf öffentliche Listendaten beschränkt, und der Abschnitt zur Rechtslage gegen Ende ist echt, kein Standardtext, lesen Sie ihn also, bevor Sie das auf echtes Volumen ausrichten.

Was Sie bauen werden

Ein Node.js-Tracker, der eine öffentliche Wayfair-Listing-URL entgegennimmt, das gerenderte HTML über die Crawling API abruft, jede Produktkarte parst und einen mit Zeitstempel versehenen Schnappschuss auf die Festplatte schreibt. Führen Sie ihn einmal aus, und Sie erhalten die aktuellen Preise; führen Sie ihn nach einem Zeitplan aus, und die Historiendatei wird zu einer Zeitreihe, die Sie analysieren können. Jeder Datensatz enthält diese Felder:

• Zeitstempel eine ISO-Zeitzeichenkette, die festhält, wann der Schnappschuss aufgenommen wurde, die Spalte, die Zeilen in eine Zeitreihe verwandelt.
• Titel der Produktname, ausgelesen aus der Listing-Karte, zum Beispiel "Mahwah 98'' Chenille Square Arm Sofa".
• Preis der Preis, wie er auf der Karte angezeigt wird, etwa "$689.99".
• URL die Quell-Listing-Seite, aus der der Schnappschuss stammt, sodass Sie die Historie pro Seite gruppieren können.

Warum eine einfache Anfrage bei Wayfair scheitert

Wenn Sie eine Wayfair-Listing-URL mit einem nackten HTTP-Client anfragen, erhalten Sie selten das Produktraster zurück. Zwei Dinge arbeiten gegen Sie. Erstens rendert Wayfair seine Listing-Karten im Browser mit JavaScript, sodass das anfängliche HTML eine nahezu leere Hülle ist, bis die Skripte der Seite laufen, und die Preise, die Sie wollen, leben in genau diesem gerenderten Markup. Zweitens markiert Wayfair automatisierten Traffic: Anfragen von Rechenzentrums-IPs und Muster, die nicht wie ein echter Browser aussehen, werden mit einer Challenge konfrontiert, gedrosselt oder blockiert, bevor sie die gerenderten Produktdaten erreichen.

Ein funktionierender Wayfair-Tracker braucht also zwei Dinge in einer Anfrage: einen Browser, der die Seite tatsächlich rendert, und eine IP, die die Plattform als echten Besucher liest. Sie können sich das selbst zusammenbauen mit einem Headless-Browser plus einem Pool rotierender Residential-Proxys, aber das alles zusammenzustricken und gesund zu halten ist der Großteil der Arbeit, und es passt schlecht zu etwas, das Sie unbeaufsichtigt nach einem Timer laufen lassen wollen. Die Crawling API faltet beides in einen einzigen Aufruf: Sie senden ihr die URL, sie rendert die Seite hinter einer vertrauenswürdigen IP, und sie gibt fertiges HTML zurück, das Sie mit cheerio parsen können.

Voraussetzungen

Sie brauchen ein paar Dinge an Ort und Stelle, bevor Sie irgendeinen Code schreiben. Keines davon dauert lange.

Grundlegendes JavaScript und Node.js. Sie sollten damit vertraut sein, ein Node-Skript zu schreiben und auszuführen, Pakete mit npm zu installieren und mit Variablen, Funktionen und Schleifen zu arbeiten. Wenn Sie neu bei Node sind, bringen Sie die offizielle Dokumentation und jeder Einsteigerkurs auf das Niveau, das dieses Tutorial voraussetzt.

Node.js 16 oder neuer. Bestätigen Sie Ihre Version mit node --version. Node führt das JavaScript lokal aus, was geplantes, unbeaufsichtigtes Tracking erst möglich macht. Falls Sie es nicht haben, installieren Sie es von der Node.js-Website oder über einen Versionsmanager wie nvm.

Ein Crawlbase-Konto und ein Token. Melden Sie sich an, öffnen Sie Ihr Dashboard und kopieren Sie Ihr Token von der Konto-Dokumentationsseite. Die kostenlose Stufe gibt Ihnen bis zu 20.000 Anfragen ohne Karte, was reichlich genug ist, um einen Tracker zu bauen und zu testen. Behandeln Sie das Token wie ein Passwort: Es authentifiziert Ihre Anfragen, halten Sie es also aus der Versionskontrolle heraus.

Das Projekt einrichten

Erstellen Sie einen Projektordner, initialisieren Sie ihn und installieren Sie die Bibliotheken, die der Tracker braucht.

node --version

mkdir wayfair-price-tracker && cd wayfair-price-tracker
npm init -y

npm install crawlbase cheerio

Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Node-Client für die Crawling API, und cheerio parst das zurückgegebene HTML mit einer API im jQuery-Stil, sodass Sie einzelne Felder per CSS-Selektor herausziehen können. Das eingebaute fs-Modul von Node übernimmt das Schreiben der Historiendatei, sodass dafür nichts zusätzlich zu installieren ist. Erstellen Sie in diesem Ordner eine Datei namens tracker.js und fügen Sie den Code aus den folgenden Schritten hinzu.

Schritt 1: Die gerenderte Wayfair-Seite abrufen

Beginnen Sie damit, die fertige Seite zu holen. Importieren Sie die Klasse CrawlingAPI, initialisieren Sie sie mit Ihrem Token und fragen Sie die Listing-URL an. Wir verwenden die Sofas-Kategorieseite als durchgehendes Beispiel. Den Statuscode zu prüfen, bevor Sie parsen, sorgt dafür, dass Fehler laut statt stillschweigend bleiben.

const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

const wayfairPageURL =
  'https://www.wayfair.com/furniture/sb0/sofas-c413892.html';

api
  .get(wayfairPageURL)
  .then((response) => {
    if (response.statusCode === 200) {
      console.log(response.body.slice(0, 500));
    }
  })
  .catch((error) => console.error('API request error:', error));

Führen Sie das Skript mit node tracker.js aus, und Sie sollten echtes Wayfair-Listing-Markup oben im Body sehen, keine abgespeckte Hülle. Das bestätigt, dass das Rendering funktioniert, bevor Sie auch nur einen einzigen Selektor schreiben. Wayfairs Möbelseiten sind stark JavaScript-gerendert, also ist genau dieser Render-Schritt es, der die Preise überhaupt erst im zurückgegebenen HTML erscheinen lässt.

Schritt 2: Titel und Preis mit cheerio extrahieren

Mit gerendertem HTML in der Hand laden Sie es in cheerio und gehen die Produktkarten durch. Wayfair legt jedes Produkt in einem sich wiederholenden Container ab, der mit data-hb-id="Card" markiert ist, also wählen Sie jede Karte aus und lesen dann den Titel und den Preis aus ihrem Inneren. Um diese selbst auf einer Live-Seite zu finden, klicken Sie mit der rechten Maustaste auf ein Produkt und wählen "Untersuchen", suchen Sie dann nach dem Kartenelement und den Attributen, die den Namen und den Preis kennzeichnen. Die Felder unten sind jene, die Wayfair über data-test-id-Attribute offenlegt.

const cheerio = require('cheerio');

function parseProducts(html) {
  const $ = cheerio.load(html);
  const products = [];

  // Each listing sits in a card container
  $('div[data-hb-id="Card"]').each((index, element) => {
    const card = $(element);

    let productName = card
      .find('p[data-test-id="ListingCard-ListingCardName-Text"]')
      .text()
      .trim();
    const productPrice = card
      .find('span[data-test-id="PriceDisplay"]')
      .text()
      .trim();

    // Fall back to a label when the name is missing
    if (productName === '') {
      productName = 'Name is not available';
    }

    if (productPrice) {
      products.push({ title: productName, price: productPrice });
    }
  });

  return products;
}

Ein paar Details halten dies der Seite treu. Der Produktname stammt aus dem Element p[data-test-id="ListingCard-ListingCardName-Text"], und der Preis stammt aus dem Element span[data-test-id="PriceDisplay"]. Die Methode .text() greift den inneren Text ab und .trim() entfernt den umgebenden Leerraum, sodass Sie einen sauberen Wert wie "$689.99" erhalten. Wenn eine Karte keinen lesbaren Namen hat, ersetzt der Parser "Name is not available", anstatt die Zeile zu verwerfen, was dazu passt, wie Wayfair gelegentlich Werbe- oder gesponserte Slots ohne Standardtitel rendert.

Schritt 3: Preise über die Zeit in JSON protokollieren

Das ist der Schritt, der einen einmaligen Scrape in einen Tracker verwandelt. Statt eine Datei bei jedem Lauf zu überschreiben, lesen Sie die bestehende Historie, hängen den neuen Schnappschuss mit einem Zeitstempel an und schreiben den kombinierten Datensatz zurück. Jeder Lauf fügt eine Charge von Zeilen hinzu, gestempelt mit dem Moment, in dem er lief, sodass die Datei eine Preishistorie ansammelt, die Sie später in einem Diagramm darstellen oder vergleichen können.

const fs = require('fs');

const HISTORY_FILE = 'price-history.json';

function loadHistory() {
  if (!fs.existsSync(HISTORY_FILE)) return [];
  return JSON.parse(fs.readFileSync(HISTORY_FILE, 'utf-8'));
}

function appendSnapshot(products, pageUrl) {
  const timestamp = new Date().toISOString();
  const rows = products.map((p) => ({
    timestamp,
    title: p.title,
    price: p.price,
    url: pageUrl,
  }));

  const history = loadHistory();
  history.push(...rows);
  fs.writeFileSync(HISTORY_FILE, JSON.stringify(history, null, 2));
  console.log(`Logged ${rows.length} prices at ${timestamp}`);
}

Der Helfer loadHistory gibt beim ersten Lauf, wenn die Datei noch nicht existiert, ein leeres Array zurück, sodass anderswo keine Sonderbehandlung nötig ist. appendSnapshot stempelt jede Zeile in einem einzelnen Lauf mit demselben ISO-Zeitstempel, was es trivial macht, einen Lauf später zu gruppieren oder den Preis eines Produkts über zwei Zeitstempel hinweg zu vergleichen. Da jede Zeile ihre Quell-url trägt, können Sie mehrere Wayfair-Seiten in dieselbe Datei verfolgen und sie bei der Analyse dennoch auseinanderhalten.

Schritt 4: Den vollständigen Tracker zusammensetzen

Nun verdrahten Sie den Abruf, das Parsen und das Protokollieren zu einem lauffähigen Skript. Das ist der vollständige Tracker: Führen Sie ihn aus, und er erfasst einen Schnappschuss.

const fs = require('fs');
const { CrawlingAPI } = require('crawlbase');
const cheerio = require('cheerio');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });
const HISTORY_FILE = 'price-history.json';
const wayfairPageURL =
  'https://www.wayfair.com/furniture/sb0/sofas-c413892.html';

async function crawl(pageUrl) {
  const response = await api.get(pageUrl);
  if (response.statusCode === 200) return response.body;
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

function parseProducts(html) {
  const $ = cheerio.load(html);
  const products = [];
  $('div[data-hb-id="Card"]').each((index, element) => {
    const card = $(element);
    let productName = card
      .find('p[data-test-id="ListingCard-ListingCardName-Text"]')
      .text()
      .trim();
    const productPrice = card
      .find('span[data-test-id="PriceDisplay"]')
      .text()
      .trim();
    if (productName === '') productName = 'Name is not available';
    if (productPrice) products.push({ title: productName, price: productPrice });
  });
  return products;
}

function loadHistory() {
  if (!fs.existsSync(HISTORY_FILE)) return [];
  return JSON.parse(fs.readFileSync(HISTORY_FILE, 'utf-8'));
}

function appendSnapshot(products, pageUrl) {
  const timestamp = new Date().toISOString();
  const rows = products.map((p) => ({ timestamp, title: p.title, price: p.price, url: pageUrl }));
  const history = loadHistory();
  history.push(...rows);
  fs.writeFileSync(HISTORY_FILE, JSON.stringify(history, null, 2));
  console.log(`Logged ${rows.length} prices at ${timestamp}`);
}

async function track() {
  const html = await crawl(wayfairPageURL);
  if (!html) return;
  const products = parseProducts(html);
  appendSnapshot(products, wayfairPageURL);
}

track();

Führen Sie ihn mit node tracker.js aus. Der erste Lauf erstellt price-history.json und protokolliert die aktuellen Sofa-Preise; jeder spätere Lauf hängt eine weitere mit Zeitstempel versehene Charge an dieselbe Datei an. Die Abruf-, Parse- und Protokollstufen sind jeweils klein und unabhängig, was das Skript leicht erweiterbar macht, zum Beispiel um eine andere Kategorie zu verfolgen, indem man eine URL ändert.

Wie die Ausgabe aussieht

Die Historiendatei enthält ein Objekt pro Produkt pro Lauf, jedes trägt den Zeitstempel, Titel, Preis und die Quell-URL. Nach zwei Läufen, ein paar Stunden auseinander, erscheint ein einzelnes Produkt zweimal mit demselben Titel und möglicherweise einem anderen Preis, was genau das Signal ist, das ein Tracker zu erfassen existiert.

[
  {
    "timestamp": "2024-03-18T09:00:00.000Z",
    "title": "Mahwah 98'' Chenille Square Arm Sofa",
    "price": "$689.99",
    "url": "https://www.wayfair.com/furniture/sb0/sofas-c413892.html"
  },
  {
    "timestamp": "2024-03-18T09:00:00.000Z",
    "title": "Adelmina 88.6'' Upholstered Sofa",
    "price": "$444.99",
    "url": "https://www.wayfair.com/furniture/sb0/sofas-c413892.html"
  },
  {
    "timestamp": "2024-03-18T21:00:00.000Z",
    "title": "Mahwah 98'' Chenille Square Arm Sofa",
    "price": "$649.99",
    "url": "https://www.wayfair.com/furniture/sb0/sofas-c413892.html"
  }
]

Die Historie nach CSV exportieren

JSON ist praktisch für das laufende Protokoll, aber eine CSV öffnet sich direkt in Excel oder Google Sheets, wo das Darstellen einer Preislinie über die Zeit nur ein paar Klicks kostet. Dieser Helfer liest die JSON-Historie und schreibt eine flache price-history.csv mit einer Zeile pro Schnappschuss. Er spiegelt den bisherigen Ansatz, Spalten für Name und Preis zu schreiben, ergänzt um den Zeitstempel, sodass die Historie darstellbar ist.

const fs = require('fs');

function exportCsv() {
  const history = JSON.parse(fs.readFileSync('price-history.json', 'utf-8'));
  const headers = ['timestamp', 'title', 'price', 'url'];
  const escape = (value) => `"${String(value).replace(/"/g, '""')}"`;

  const lines = [headers.join(',')];
  for (const row of history) {
    lines.push(headers.map((h) => escape(row[h])).join(','));
  }

  fs.writeFileSync('price-history.csv', lines.join('\n'));
  console.log(`Exported ${history.length} rows to price-history.csv`);
}

exportCsv();

Der Helfer escape umschließt jedes Feld mit Anführungszeichen und verdoppelt jegliche eingebetteten Anführungszeichen, was wichtig ist, weil Wayfair-Produkttitel lang sind und oft Kommata, Zollzeichen und andere Zeichensetzung enthalten. Das Ergebnis ist eine saubere Zeitreihe: eine Spalte für wann, eine für welches Produkt, eine für den Preis, bereit, nach Titel zu pivotieren und die Preislinie pro Artikel darzustellen. Das ist dasselbe Muster, das Sie für jeden Price-Intelligence-Workflow verwenden würden.

Nach einem Zeitplan ausführen

Ein Tracker ist nur nützlich, wenn er von selbst läuft. Sie haben zwei unkomplizierte Optionen. Die einfachste ist der Scheduler des Betriebssystems: Unter macOS oder Linux führt ein cron-Eintrag das Skript in einem festen Intervall aus, wobei jeder Lauf einen Schnappschuss anhängt.

# Open your crontab
crontab -e

# Run the tracker every day at 9am and 9pm
0 9,21 * * * cd /path/to/wayfair-price-tracker && node tracker.js

Wenn Sie den Zeitplan lieber innerhalb von Node behalten, sodass er mit dem Projekt reist und überall läuft, wo Node läuft, installieren Sie node-cron und hüllen Sie die bestehende Funktion track in einen Zeitplan.

// npm install node-cron
const cron = require('node-cron');

// At minute 0 of hours 9 and 21, every day
cron.schedule('0 9,21 * * *', () => {
  console.log('Running scheduled price check...');
  track();
});

Halten Sie das Abfrageintervall vernünftig. Zweimal am Tag reicht, um den Großteil von Wayfairs Preisbewegung einzufangen, ohne unnötige Last auf die Seite zu legen, und eine ruhige Anfragerate ist auch der einzelne größte Faktor dafür, unblockiert zu bleiben. Über ein paar Wochen des Laufens wird die Historiendatei zu einer echten Aufzeichnung davon, wie sich der Preis jedes Sofas bewegt hat, was der ganze Sinn des Trackings statt des Stichprobenprüfens ist. Dieselbe aufgezeichnete Reihe fließt natürlich in ein Preisvergleichstool ein, wenn Sie anfangen, konkurrierende Listings neben denen von Wayfair zu verfolgen.

Unblockiert bleiben

Selbst wenn das Rendering erledigt ist, achtet Wayfair auf scraper-förmigen Traffic, und ein Tracker, der ewig läuft, ist stärker exponiert als ein einmaliger Lauf. Ein paar Gewohnheiten halten ihn gesund.

• Drosseln Sie Ihre Anfragen. Ein Tracker muss nicht oft abfragen. Ein Lauf alle paar Stunden fängt den Preistrend ein und hält Sie weit unter jedem Rate-Limit. Widerstehen Sie dem Drang, in einer engen Schleife zu scrapen.
• Setzen Sie auf Rotation. Ein Pool von Residential-IPs verteilt Anfragen über viele Adressen echter Nutzer, sodass keine einzelne ein Limit oder eine Challenge auslöst. Die Crawling API übernimmt das für Sie; wenn Sie Ihren eigenen Stack rollen, ist das der Teil, den es richtig zu machen gilt.
• Lesen Sie die Statuscodes. Ein geplanter Job, der anfängt, Nicht-200-Antworten zurückzugeben, sagt Ihnen, dass die aktuelle Rate oder IP-Stufe nicht mehr ausreicht. Protokollieren Sie diese Antworten und ziehen Sie sich zurück, statt ein stilles Versagen Ihre Historie mit Lücken vergiften zu lassen.

Für das umfassendere Playbook, einen langlaufenden Job am Leben zu halten, sehen Sie, wie man Websites scrapt, ohne blockiert zu werden. Wenn Sie denselben Ansatz auf einen anderen Marktplatz ausweiten möchten, durchläuft die Anleitung dazu, wie man Walmart-Preise einfach scrapt, dasselbe Abruf-dann-Parse-Muster für einen anderen Shop.

Ist es legal, Wayfair zu scrapen?

Einen Wayfair-Preis-Tracker zu verwenden ist im Allgemeinen vertretbar, wenn er nur öffentlich verfügbare Listing-Informationen überwacht, aber "im Allgemeinen" leistet in diesem Satz echte Arbeit. Ob Ihre konkrete Nutzung erlaubt ist, hängt von Wayfairs Nutzungsbedingungen, Ihrer Gerichtsbarkeit und davon ab, was Sie mit den Daten tun. Wayfairs Bedingungen schränken automatisierten Zugriff ein, sodass Scraping diesen Bedingungen zuwiderlaufen kann, ganz gleich, wie sorgfältig Ihr Werkzeug ist. Nichts vom Code hier ändert das; er lässt nur den technischen Teil funktionieren. Lesen Sie Wayfairs Nutzungsbedingungen und seine robots.txt und behandeln Sie beide als die Grenze dafür, was Sie sammeln.

Ein paar Leitlinien, an die es sich zu halten lohnt. Sammeln Sie nur öffentliche Produktdaten: den Titel und Preis, den jeder ohne Konto auf einer Listing-Seite sehen kann. Beschränken Sie den Tracker auf persönliche oder Forschungsnutzung, drosseln Sie ihn sanft und halten Sie Ihr Anfragevolumen niedrig genug, dass Sie Wayfairs Server nicht belasten. Vermeiden Sie personenbezogene Daten, einschließlich allem, was mit identifizierbaren Rezensenten verknüpft ist, über den öffentlichen Rezensionstext und die auf der Seite gezeigten Bewertungen hinaus. Verbreiten Sie Wayfairs urheberrechtlich geschützte Medien, etwa Produktfotografie, nicht weiter, als wären sie Ihre eigenen. Wenn Sie planen, die Daten kommerziell weiterzuverwenden, holen Sie eine Erlaubnis oder eine offizielle Vereinbarung ein, statt anzunehmen, dass Schweigen Zustimmung ist.

Diese Anleitung ist bewusst auf öffentliche Listing-Preise beschränkt, weil das die Linie ist, die die Arbeit vertretbar hält. Sie deckt nichts ab, was hinter einem Login liegt, Kunden- oder Verkäufer-Kontodaten, Bestellhistorie oder irgendeinen Versuch, Authentifizierung oder eine Challenge zu umgehen, die zu bestehen Sie nicht vorgesehen waren. Wenn Ihr Projekt mehr als öffentliche Listings braucht, ist eine genehmigte Datenvereinbarung mit Wayfair der richtige Weg, nicht ein aggressiverer Scraper. Wenn Sie bei einer kommerziellen Nutzung im Zweifel sind, ziehen Sie Rechtsberatung hinzu, bevor Sie hochskalieren.

Häufig gestellte Fragen

Was ist ein Wayfair-Preis-Tracker?

Ein Wayfair-Preis-Tracker ist ein kleines Programm, das die Preise von auf Wayfair gelisteten Produkten nach einem Zeitplan aufzeichnet und eine Historie führt. Statt einen Preis von Hand zu prüfen, ruft es die Listing-Seite ab, liest den Titel und Preis jedes Produkts und hängt eine mit Zeitstempel versehene Zeile an eine Datei an. Mit der Zeit wird diese Datei zu einem Preisprotokoll, das Sie in einem Diagramm darstellen können, sodass Sie Schwankungen sehen, Rabatte erkennen und einen Kauf um einen Preisrückgang herum timen können.

Warum gibt eine einfache Anfrage unvollständige Daten von Wayfair zurück?

Weil Wayfair seine Produktkarten clientseitig mit JavaScript rendert und automatisierten Traffic mit einer Challenge konfrontiert. Eine rohe HTTP-Anfrage von einer Rechenzentrums-IP gibt üblicherweise eine nahezu leere Hülle oder eine Blockseite zurück statt der Listing-Karten, sodass die Preise nicht in dem HTML sind, das Sie zurückbekommen. Um eine vollständige Seite zu erhalten, müssen Sie sie hinter einer vertrauenswürdigen IP rendern, was die Crawling API für Sie übernimmt.

Wie funktioniert die Preisgestaltung bei Wayfair?

Wayfair nutzt ein dynamisches Preismodell, beeinflusst von Nachfrage, Verfügbarkeit, Wettbewerb und seinem eigenen algorithmischen Preissystem, das Daten in Echtzeit sammelt und analysiert. Verkäufer setzen ihre eigenen Preise, und Wayfair passt sich an, um wettbewerbsfähig zu bleiben, sodass dasselbe Produkt unterschiedliche Preise über Standorte hinweg und sogar innerhalb eines einzigen Tages zeigen kann. Genau diese Volatilität ist der Grund, warum das Aufzeichnen von Preisen nach einem Zeitplan nützlicher ist als das einmalige Prüfen.

Wie verfolge ich Preisrückgänge bei Wayfair?

Lassen Sie den Tracker nach einem Zeitplan laufen, sodass er jedes Mal einen mit Zeitstempel versehenen Schnappschuss anhängt, vergleichen Sie dann den Preis eines Produkts über zwei Zeitstempel hinweg in der Historiendatei. Wenn ein späterer Preis niedriger ist als ein früherer für denselben Titel, ist das ein Rückgang. Das Darstellen der CSV in einer Tabellenkalkulation macht Rückgänge als Senken in der Preislinie offensichtlich, und Sie können einen Alarm auf dieselben Daten aufsetzen, sobald die Historie vorhanden ist.

Meine Selektoren geben leere Werte zurück. Was hat sich geändert?

Mit ziemlicher Sicherheit Wayfairs Markup. Die data-hb-id- und data-test-id-Hooks, auf die sich der Parser verlässt, sind an Wayfairs Frontend-Build gebunden und können sich ohne Vorankündigung ändern, sodass Selektoren, die letzten Monat funktionierten, brechen können. Untersuchen Sie eine Live-Listing-Seite erneut in den Entwicklertools Ihres Browsers und aktualisieren Sie die Selektoren. Periodische Selektorpflege ist für jeden produktiven Tracker normal.

Wie vermeide ich es, blockiert zu werden, während ich Wayfair-Preise verfolge?

Halten Sie das Abfrageintervall maßvoll, ein paar Mal am Tag reicht für Preistrends, und leiten Sie Anfragen durch rotierende Residential-IPs, sodass keine einzelne Adresse ein Rate-Limit oder eine Challenge auslöst. Die Crawling API verwaltet Rotation, einen vertrauenswürdigen IP-Pool und das Bewältigen von Challenges für Sie; wenn Sie Ihren eigenen Stack bauen, ist das der Teil, in den es zu investieren gilt. Beobachten Sie die Statuscodes aus Ihren geplanten Läufen und ziehen Sie sich zurück, wenn Sie anfangen, Nicht-200-Antworten zu sehen.

HI

Hamza Ikhlaq

Softwareentwickler · Crawlbase

Softwareentwickler bei Crawlbase, der praxisnahe Anleitungen zum Scraping von Zielseiten, zu Proxys und zur Crawling API schreibt.