Quora scrapenöffentliche Fragen und Antworten

Quora ist eine der größeren öffentlichen Frage-und-Antwort-Seiten im Web, und die dort veröffentlichten öffentlichen Fragen und Antworten sind ein nützliches Signal für Inhalts- und Themenrecherche. Die Formulierung einer echten Frage, wie viele Antworten sie angezogen hat und welche Antworten die meisten Upvotes erhalten haben, zeigen zusammen, was Menschen tatsächlich zu einem Thema fragen und welche Rahmungen Anklang finden. Das macht öffentliche Quora-Threads zu einem praktischen Input für SEO-Planung, Content-Ideenfindung und Zielgruppenforschung.

Diese Anleitung zeigt Ihnen, wie Sie Quora scrapen mit JavaScript und Node.js unter Verwendung von cheerio. Sie bauen einen kleinen, lauffähigen Scraper, der eine öffentliche Quora-Frageseite über die Crawling API mit aktiviertem Rendering abruft, den Fragentext, die Antworttexte sowie die Antwort- und Upvote-Zahlen parst und das Ergebnis dann in JSON und CSV exportiert. Die gesamte Anleitung bleibt auf öffentliche Fragen und Antworten beschränkt. Wir behandeln Autorennamen als persönliche Daten und aggregieren, anstatt Profile zu erstellen. Der Rechtsabschnitt am Ende ist kein Standardtext, also lesen Sie ihn, bevor Sie diesen Scraper auf echtes Volumen anwenden.

Was Sie bauen werden

Ein Node.js-Skript, das eine öffentliche Quora-Frage-URL entgegennimmt, das gerenderte HTML über die Crawling API abruft und einen strukturierten Datensatz für die Frage und ihre sichtbaren Antworten extrahiert. Wir extrahieren diese Felder aus dem ursprünglichen Quora-Scraper:

• Question text die eigentliche Frage, zum Beispiel "How do I start playing video games?".
• Question link die kanonische URL der Frageseite.
• Answer count die Gesamtzahl der Antworten, die die Frage meldet, plus wie viele auf der von Ihnen gescrapten Seite vorhanden waren.
• Answer text der Text jeder sichtbaren Antwort, erfasst für aggregate Themenanalyse statt zur Weiterveröffentlichung.
• Upvote count die für jede Antwort angezeigte Upvote-Gesamtzahl, Ihr wichtigstes Popularitätssignal.
• Answer position die Reihenfolge, in der die Antwort erschienen ist, damit Sie nach Rang gewichten können.

Autorennamen erscheinen im Markup, und der ursprüngliche Scraper hat sie erfasst. Wir bauen absichtlich kein Pro-Autor-Profil aus ihnen. Der Datenschutzabschnitt erklärt, wie Namen aggregiert werden, und warum das hier wichtig ist.

Warum eine einfache Anfrage bei Quora fehlschlägt

Wenn Sie eine Quora-Frage-URL mit einem einfachen HTTP-Client anfordern, erhalten Sie statt des Threads eine dünne Hülle zurück. Quora rendert die Frage, die Antworten und die Antwortzähler im Browser mit JavaScript, so dass die initiale HTML-Seite weitgehend leer ist, bis die Skripte der Seite ausgeführt werden. Zudem fordert Quora automatisierten Traffic heraus: Datacenter-IPs und Anfragemuster, die nicht wie ein echter Browser aussehen, werden auf ein Login oder eine Content-Wall umgeleitet, bevor sie jemals die Antworten erreichen.

Ein funktionierender Quora-Scraper benötigt daher zwei Dinge in einer Anfrage: einen Browser, der den Thread tatsächlich rendert, und eine IP, die die Plattform als echten Besucher liest. Sie können das selbst mit einem Headless-Browser plus einem Pool rotierender Residential-Proxies aufbauen, aber deren Zusammenstellung und Wartung ist der Großteil der Arbeit. Die Crawling API vereint beides in einem einzigen Aufruf: Sie senden die URL mit einem JavaScript-Token, sie rendert die Seite hinter einer vertrauenswürdigen IP und gibt fertiges HTML zurück, das Sie mit cheerio parsen können.

Voraussetzungen

Sie benötigen einige Dinge, bevor Sie Code schreiben. Keines davon nimmt viel Zeit in Anspruch.

Grundlegende JavaScript- und Node.js-Kenntnisse. Sie sollten sich damit auskennen, ein Node-Skript zu schreiben und auszuführen, Pakete mit npm zu installieren und mit Promises und async-Funktionen zu arbeiten. Wenn Selektoren und das DOM neu für Sie sind, deckt jede JavaScript-Einführungsressource den Stoff ab, den dieses Tutorial voraussetzt. Für eine ausführlichere Beschreibung des Workflows lesen Sie unsere Anleitung zur Frage, wie man einen Web-Scraper mit Node.js baut.

Node.js 16 oder höher. Bestätigen Sie Ihre Version mit node --version. Falls nicht vorhanden, installieren Sie es von der Node.js-Website oder über einen Versionsmanager wie nvm.

Ein Crawlbase-Konto und JS-Token. Registrieren Sie sich, öffnen Sie Ihr Dashboard und kopieren Sie Ihr JavaScript (JS) Token von der Kontodokumentationsseite. Crawlbase gibt Ihnen bis zu 20.000 kostenlose Anfragen zum Start, und Sie zahlen nur für erfolgreiche Anfragen. Behandeln Sie das Token wie ein Passwort: Es authentifiziert Ihre Anfragen, also halten Sie es aus der Versionskontrolle heraus.

Projekt einrichten

Erstellen Sie einen Projektordner, initialisieren Sie ihn und installieren Sie die beiden Bibliotheken, die der Scraper benötigt.

node --version

mkdir quora-scraper && cd quora-scraper
npm init -y

npm install crawlbase cheerio

Zwei Abhängigkeiten erledigen die Arbeit: crawlbase ist der offizielle Node-Client für die Crawling API, und cheerio parst das zurückgegebene HTML mit einer jQuery-ähnlichen API, sodass Sie einzelne Felder per CSS-Selektor extrahieren können. Wenn Selektoren neu für Sie sind, ist die Einführung zum Thema JavaScript-Websites crawlen ein guter Begleiter für rendering-lastige Ziele wie dieses.

Schritt 1: Die gerenderte Frageseite abrufen

Beginnen Sie damit, die fertige Seite zu erhalten. Importieren Sie die CrawlingAPI-Klasse, initialisieren Sie sie mit Ihrem JS-Token und fordern Sie die Frage-URL an. Durch die Überprüfung des Statuscodes vor dem Parsen bleiben Fehler sichtbar statt still.

const { CrawlingAPI } = require('crawlbase');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

async function crawl(pageUrl) {
  const options = { ajax_wait: 'true', page_wait: 6000 };
  const response = await api.get(pageUrl, options);
  if (response.statusCode === 200) {
    return response.body;
  }
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

const quoraUrl = 'https://www.quora.com/How-do-I-start-playing-video-games';
crawl(quoraUrl).then((html) => {
  console.log(html ? html.slice(0, 500) : 'No HTML returned');
});

Die zwei Wait-Optionen sind für ein clientseitig gerendertes Ziel wie dieses wichtig. ajax_wait weist die API an, auf den Abschluss asynchroner Inhalte zu warten, und page_wait hält für eine feste Anzahl von Millisekunden nach dem Laden an, damit spät gerenderte Antworten erscheinen, bevor die Seite erfasst wird. Sechs Sekunden sind ein vernünftiger Ausgangspunkt; erhöhen Sie es, wenn die Antwortliste kurz zurückkommt. Führen Sie das Skript mit node scraper.js aus, und Sie sollten echtes Fragetext-Markup sehen, keine abgespeckte Hülle. Das bestätigt, dass das Rendering funktioniert, bevor Sie einen einzigen Selektor schreiben.

Schritt 2: Frage und Antworten mit cheerio parsen

Mit fertigem HTML in der Hand laden Sie es in cheerio und lesen die Felder. Der Fragentext und der Link befinden sich oben auf der Seite; jede Antwort ist ein sich wiederholender Block weiter unten. Quora legt Antworten in div.q-box-Containern an, also wählen Sie die Antwortblöcke aus und lesen Sie dann den Haupttext und die Upvote-Anzahl aus jedem heraus. Das defensive Lesen jedes Feldes verhindert, dass ein fehlender Wert den Lauf abbricht.

const cheerio = require('cheerio');

function parseQuestion(html, pageUrl) {
  const $ = cheerio.load(html);

  const questionText = $('div.puppeteer_test_question_title')
    .first()
    .text()
    .trim() || $('title').text().trim();

  const answers = [];
  $('div.q-box.qu-borderAll').each((i, el) => {
    const block = $(el);
    const answerText = block.find('.q-text').first().text().trim();
    if (!answerText) return;

    const upvoteRaw = block
      .find('.q-click-wrapper')
      .first()
      .text()
      .trim();

    answers.push({
      answerText,
      answerUpvoteCount: upvoteRaw || null,
      answerPosition: i + 1,
    });
  });

  return {
    question: {
      text: questionText,
      link: pageUrl,
      answerCountScraped: answers.length,
      answers,
    },
  };
}

Die Feldnamen hier sind direkt aus der ursprünglichen Quora-Scraper-Ausgabe übernommen: question.text, question.link, answerCountScraped, answers, answerText, answerUpvoteCount und answerPosition. Wir lesen den Antworttext aus .q-text und die Upvote-Gesamtzahl aus dem Abstimmungssteuerelement, dann indizieren wir jede Antwort nach Position, damit Sie beliebte Antworten später gewichten können. Wir erfassen absichtlich den Autorennamen oder den Profillink nicht im Datensatz; der nächste Abschnitt erklärt diese Wahl.

Wenn Sie die Selektor-Wartung vollständig überspringen möchten, liefert die Crawling API auch einen vorgefertigten quora-question-Datenscraper. Übergeben Sie { scraper: 'quora-question' } im Optionsobjekt, und die API gibt geparsten JSON in response.json.body statt rohem HTML zurück, sodass Sie cheerio gar nicht schreiben. Der manuelle cheerio-Weg oben ist es wert, ihn zu lernen, weil er Ihnen genaue Kontrolle darüber gibt, welche Felder Sie behalten, worum es bei der folgenden Datenschutzanleitung geht.

Schritt 3: Alles zusammenfügen

Verbinden Sie jetzt den Abruf und das Parsen in einem lauffähigen Skript. Rufen Sie das gerenderte HTML ab, übergeben Sie es an den Parser und geben Sie den strukturierten Datensatz aus.

const { CrawlingAPI } = require('crawlbase');
const cheerio = require('cheerio');

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_TOKEN' });

async function crawl(pageUrl) {
  const options = { ajax_wait: 'true', page_wait: 6000 };
  const response = await api.get(pageUrl, options);
  if (response.statusCode === 200) return response.body;
  console.error(`Request failed: ${response.statusCode}`);
  return null;
}

function parseQuestion(html, pageUrl) {
  const $ = cheerio.load(html);
  const questionText = $('div.puppeteer_test_question_title')
    .first().text().trim() || $('title').text().trim();

  const answers = [];
  $('div.q-box.qu-borderAll').each((i, el) => {
    const block = $(el);
    const answerText = block.find('.q-text').first().text().trim();
    if (!answerText) return;
    const upvoteRaw = block.find('.q-click-wrapper').first().text().trim();
    answers.push({
      answerText,
      answerUpvoteCount: upvoteRaw || null,
      answerPosition: i + 1,
    });
  });

  return {
    question: {
      text: questionText,
      link: pageUrl,
      answerCountScraped: answers.length,
      answers,
    },
  };
}

async function main() {
  const quoraUrl = 'https://www.quora.com/How-do-I-start-playing-video-games';
  const html = await crawl(quoraUrl);
  if (!html) return;
  const data = parseQuestion(html, quoraUrl);
  console.log(JSON.stringify(data, null, 2));
}

main();

Wie die Ausgabe aussieht

Führen Sie das vollständige Skript mit node scraper.js aus, und Sie erhalten einen strukturierten Datensatz für die Frage und ihre sichtbaren Antworten, bereit zum Schreiben in JSON oder CSV.

{
  "question": {
    "text": "How do I start playing video games?",
    "link": "https://www.quora.com/How-do-I-start-playing-video-games",
    "answerCountScraped": 3,
    "answers": [
      {
        "answerText": "Playing video games is simple, the game will give you some rules, and you play by them.",
        "answerUpvoteCount": "7",
        "answerPosition": 1
      },
      {
        "answerText": "Start with a genre you already enjoy, then pick a beginner-friendly title and learn the controls slowly.",
        "answerUpvoteCount": "3.7K",
        "answerPosition": 2
      }
    ]
  }
}

Beachten Sie, dass der Datensatz keine Autorennamen oder Profillinks enthält. Die Upvote-Anzahl bleibt als String, weil Quora große Zahlen abkürzt ("3.7K"), und das Beibehalten des Rohformats vermeidet eine verlustbehaftete Konvertierung. Für Themenrecherche ist der Fragentext plus das Upvote-Ranking normalerweise alles, was Sie brauchen.

Nach JSON und CSV exportieren

Für Content-Recherche möchten Sie die Daten meist auf der Festplatte haben, nicht nur in der Konsole. Node's eingebautes fs-Modul schreibt JSON in einer Zeile, und ein kleiner Helfer flacht die Antworten in CSV-Zeilen ab, damit Sie sie in einer Tabellenkalkulation öffnen und nach Upvotes sortieren können. Jede CSV-Zeile ist eine Antwort, mit dem Fragentext als Kontext wiederholt.

const fs = require('fs');

function saveJson(data, file) {
  fs.writeFileSync(file, JSON.stringify(data, null, 2));
}

function csvCell(value) {
  const text = (value == null ? '' : String(value)).replace(/"/g, '""');
  return `"${text}"`;
}

function saveCsv(data, file) {
  const header = ['question', 'answerText', 'answerUpvoteCount', 'answerPosition'];
  const rows = data.question.answers.map((a) =>
    [data.question.text, a.answerText, a.answerUpvoteCount, a.answerPosition]
      .map(csvCell)
      .join(','),
  );
  fs.writeFileSync(file, [header.join(','), ...rows].join('\n'));
}

// In main(), after building `data`:
saveJson(data, 'quora_scraped.json');
saveCsv(data, 'quora_scraped.csv');

Die CSV-Spalten sind die Frage, der Antworttext, die Upvote-Anzahl und die Position, genau die Felder, die eine Inhalts- oder Themenanalyse benötigt. Die Autorenidentität fehlt absichtlich in beiden Exporten.

Auf viele Fragen skalieren

Eine Frage ist eine Demo; Themenrecherche bedeutet normalerweise eine Liste von Fragen zu einem Thema. Sammeln Sie die Frage-URLs, die Sie interessieren (aus einer Quora-Suche, einer Sitemap oder Ihrer eigenen Liste), schleifen Sie dann über sie, rufen Sie jede über die Crawling API ab, parsen Sie mit derselben Funktion und verketten Sie die Datensätze. Da jede Frageseite dieselbe Struktur teilt, funktioniert der Parser, den Sie bereits geschrieben haben, ohne Änderungen über alle hinweg.

async function scrapeMany(urls) {
  const all = [];
  for (const url of urls) {
    const html = await crawl(url);
    if (html) all.push(parseQuestion(html, url).question);
  }
  return all;
}

const questions = [
  'https://www.quora.com/How-do-I-start-playing-video-games',
  'https://www.quora.com/What-is-Quora',
];

scrapeMany(questions).then((rows) => {
  console.log(`Collected ${rows.length} questions`);
});

Drosseln Sie die Schleife und halten Sie Ihr Volumen gering. Quora überwacht Traffic, der nach Scrapern aussieht, also bedeutet das Verteilen von Anfragen und ihre Weiterleitung durch rotierende Residential-IPs, was die Crawling API für Sie übernimmt, einen gesunden Lauf. Für das umfassendere Playbook lesen Sie, wie man Websites ohne Blockierung scrapt. Wenn Sie die Upvote-Rankings in eine Schlüsselwort- oder Themenkarte umwandeln, passt der Workflow in wie man Google SEO-Daten extrahiert und analysiert gut zu dieser Ausgabe.

Ist es legal, Quora zu scrapen?

Ob das Scrapen von Quora erlaubt ist, hängt von Quoras Nutzungsbedingungen, Ihrer Gerichtsbarkeit und dem ab, was Sie mit den Daten tun. Quoras Bedingungen schränken automatisierten Zugang und Massenerfassung ein, sodass Scraping gegen diese Bedingungen verstoßen kann, unabhängig davon, wie sorgfältig Ihre Werkzeuge sind. Lesen Sie Quoras Nutzungsbedingungen und seine robots.txt, respektieren Sie die darin implizierten Ratenlimits und behandeln Sie beides als Grenze für das, was Sie sammeln. Keiner der hier gezeigten Codes ändert das; er bringt nur den technischen Teil zum Laufen, und zwar nur auf öffentlichen Frageseiten, die jeder ohne Konto lesen kann.

Das größere Problem auf einer Plattform wie Quora sind persönliche Daten. Autorennamen, Profillinks und die Zeugnisse, die Menschen ihren Antworten beifügen, sind persönliche Daten, und die geschriebene Antwort eines Benutzers ist sein Inhalt. Deshalb behält der Scraper in dieser Anleitung nur den Fragentext, die Antworttexte für aggregate Analyse, die Upvote-Anzahl und die Antwortposition, und lässt Autorennamen und Profillinks bewusst weg. Verwenden Sie die Ausgabe für Trends, Themenhäufigkeit und welche Rahmungen Engagement erzeugen. Erstellen Sie keine Profile identifizierbarer Personen, veröffentlichen Sie nicht die Antwort einer Person verknüpft mit ihrem Namen, und stellen Sie keinen Datensatz zusammen, der jemanden herausgreift. Wenn Sie sich in der EU oder Kalifornien befinden, gilt die DSGVO und der CCPA, sobald persönliche Daten involviert sind: Sie benötigen eine Rechtsgrundlage für deren Verarbeitung und müssen Löschanfragen ehren, was ein starker Grund ist, Namen zu aggregieren und zu verwerfen, anstatt sie zu speichern.

Für sanktionierten, strukturierten Zugang bevorzugen Sie einen offiziellen Weg. Diese Anleitung beschränkt sich absichtlich auf öffentliche Fragen- und Antwortseiten, weil das die Grenze ist, die die Arbeit vertretbar hält. Sie deckt nichts hinter einem Login ab, keine privaten oder anonym-Autoren-Details, keine Direktnachrichten und keinen Versuch, eine Authentifizierung oder eine Content-Wall zu umgehen. Wenn Ihr Projekt identifizierbare Nutzerdaten oder ein Volumen über leichte öffentliche Recherche hinaus benötigt, ist der richtige Weg ein formelles Datenabkommen oder eine Partnerschaft mit der Plattform, kein ausgefeilterer Scraper.

Häufig gestellte Fragen

Warum gibt ein einfacher Abruf eine leere Seite von Quora zurück?

Weil Quora die Frage und jede Antwort clientseitig mit JavaScript rendert. Die initiale HTML-Seite ist fast leer, bis die Skripte der Seite in einem Browser ausgeführt werden, und nicht authentifizierte automatisierte Anfragen werden oft auf ein Login oder eine Content-Wall umgeleitet. Um einen vollständigen Thread zu erhalten, müssen Sie ihn hinter einer vertrauenswürdigen IP rendern, was das JS-Token der Crawling API für Sie übernimmt.

Brauche ich das normale Token oder das JS-Token für Quora?

Verwenden Sie das JS-Token. Das normale Token ruft statisches HTML ab, das bei Quora als leerer Rahmen ohne Antworten zurückkommt. Das JS-Token rendert die Seite in einem echten Browser, bevor es das HTML zurückgibt, sodass der Fragentext, die Antworten und die Upvote-Anzahl vorhanden sind, wenn cheerio sie parst.

Kann ich den vorgefertigten Quora-Datenscraper statt cheerio verwenden?

Ja. Die Crawling API bietet einen quora-question-Datenscraper an. Übergeben Sie { scraper: 'quora-question' } im Optionsobjekt, und die API gibt geparsten JSON in response.json.body statt rohem HTML zurück, sodass Sie cheerio vollständig überspringen. Einen eigenen Parser zu schreiben lohnt sich dennoch, wenn Sie genaue Kontrolle darüber haben möchten, welche Felder Sie behalten, was wichtig ist, um persönliche Autordaten aus Ihrem Datensatz herauszuhalten.

Meine Selektoren geben leere Werte zurück. Was hat sich geändert?

Höchstwahrscheinlich Quoras Markup. Seine Klassennamen sind verschleiert (q-box, q-text, die puppeteer_test_-Marker) und ändern sich ohne Vorankündigung, sodass Selektoren, die letzten Monat funktionierten, jetzt brechen können. Überprüfen Sie eine Live-Frageseite in den Entwicklerwerkzeugen Ihres Browsers und aktualisieren Sie die Selektoren. Periodische Selektor-Wartung ist für jeden Produktions-Scraper normal.

Ist es in Ordnung, die Autorennamen zu speichern, die ich in Antworten sehe?

Behandeln Sie Autorennamen, Profillinks und Zeugnisse als persönliche Daten und vermeiden Sie deren Speicherung. Der Scraper in dieser Anleitung lässt sie absichtlich weg und behält nur die Frage, den Antworttext für aggregate Analyse und die Upvote-Anzahl. Wenn Sie persönliche Daten berühren müssen, gilt die DSGVO und der CCPA: Sie benötigen eine Rechtsgrundlage und müssen Löschanfragen ehren, also ist Aggregieren und Verwerfen von Identitäten der sicherere Standard.

Wie vermeide ich Blockierungen beim Scrapen von Quora?

Halten Sie Ihre Anfragerate niedrig, verteilen Sie Anfragen anstatt in voller Geschwindigkeit zu schleifen, und leiten Sie durch rotierende Residential-IPs weiter, damit keine einzelne Adresse ein Ratenlimit auslöst. Die Crawling API verwaltet Rotation und einen vertrauenswürdigen IP-Pool für Sie; wenn Sie Ihren eigenen Stack aufbauen, ist das der Teil, in den Sie investieren sollten. Beobachten Sie die Statuscodes und schalten Sie zurück, wenn Sie beginnen, Weiterleitungen oder Herausforderungen zu sehen.

MA

Muhammad Atif

Senior Full Stack Developer · Crawlbase

Senior Full Stack Developer bei Crawlbase, der die Plattform aufbaut und über Scraping-Architektur, Proxys und Datenpipelines schreibt.

IK

Ian Kalvin

Technical Support Engineer · Crawlbase

Technical Support Engineer bei Crawlbase, der von der Front darüber schreibt, was beim Scraping und bei Proxy-Setups im Produktivbetrieb tatsächlich kaputtgeht.