How do I scrape Duolingo?

Send the Duolingo URL to the Crawlbase Crawling API with your token. Crawlbase rotates a residential proxy, renders the page in a real browser, clears bot checks, and returns the fully rendered HTML. Add scraper=generic-extractor to get structured JSON instead.

Can I get Duolingo data as JSON?

Yes. By default the Crawling API returns rendered HTML; add the generic extractor (scraper=generic-extractor) to receive title, meta, content, images and links as JSON, or parse the HTML yourself.

Does it render Duolingo's JavaScript app?

Yes. Duolingo is a single-page app, so a real browser executes it and the course trees, lessons, leaderboards and profile data that load through internal APIs are captured, not just the initial shell.

How do I avoid getting blocked scraping Duolingo?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when Duolingo changes its setup.

Can I scrape Duolingo courses in different languages?

Yes. Pass any course URL (the from and to languages live in the path) and geotarget the request, so you can collect course content and localized strings across language pairs.

Which Duolingo pages can I crawl?

Any public URL: course and unit pages, the course catalog, leaderboards, language landing pages and public profiles. The same API works on any other site too.

How much does it cost?

Start free with up to 20,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Crawling API / Duolingo

Duolingo Scraper.
Jede Seite, vollständig gerendert.

Senden Sie eine beliebige Duolingo-URL und erhalten Sie das vollständig gerenderte HTML zurück, über Residential Proxies mit integriertem Anti-Bot-Handling.
Verwandeln Sie es mit dem generic extractor in JSON.

Kostenlos starten Live ansehen

99% Erfolgsrate140M Residential-IPs30 Regionen

Live-Crawl-Feed · Duolingo1.24M req/minStreaming

404duolingo.com/course/fr/en/Learn-FrenchAU82ms

200duolingo.com/course/de/en/Learn-GermanFR208ms

200duolingo.com/course/it/en/Learn-ItalianUS51ms

200duolingo.com/profile/kenji88IN190ms

200duolingo.com/leaderboardsDE147ms

301duolingo.com/course/pt/en/Learn-PortugueseES193ms

200duolingo.com/course/fr/en/Learn-FrenchBR188ms

200duolingo.com/profile/kenji88CA178ms

200duolingo.com/course/ko/en/Learn-KoreanBR74ms

200duolingo.com/course/de/en/Learn-GermanNL199ms

200duolingo.com/course/es/en/Learn-SpanishDE209ms

200duolingo.com/course/pt/en/Learn-PortugueseGB98ms

301duolingo.com/profile/kenji88JP85ms

200duolingo.com/profile/luca_devAU46ms

301duolingo.com/course/it/en/Learn-ItalianGB178ms

200duolingo.com/profile/kenji88IN219ms

200duolingo.com/course/en/es/Aprende-inglesCA148ms

200duolingo.com/profile/maria_langCA195ms

200duolingo.com/course/ko/en/Learn-KoreanDE175ms

200duolingo.com/coursesJP93ms

200duolingo.com/course/it/en/Learn-ItalianUS88ms

200duolingo.com/course/it/en/Learn-ItalianFR116ms

200duolingo.com/course/fr/en/Learn-FrenchCA133ms

200duolingo.com/course/zh/en/Learn-ChineseES98ms

404duolingo.com/course/ko/en/Learn-KoreanNL150ms

301duolingo.com/profile/kenji88GB136ms

404duolingo.com/course/fr/en/Learn-FrenchAU82ms

200duolingo.com/course/de/en/Learn-GermanFR208ms

200duolingo.com/course/it/en/Learn-ItalianUS51ms

200duolingo.com/profile/kenji88IN190ms

200duolingo.com/leaderboardsDE147ms

301duolingo.com/course/pt/en/Learn-PortugueseES193ms

200duolingo.com/course/fr/en/Learn-FrenchBR188ms

200duolingo.com/profile/kenji88CA178ms

200duolingo.com/course/ko/en/Learn-KoreanBR74ms

200duolingo.com/course/de/en/Learn-GermanNL199ms

200duolingo.com/course/es/en/Learn-SpanishDE209ms

200duolingo.com/course/pt/en/Learn-PortugueseGB98ms

301duolingo.com/profile/kenji88JP85ms

200duolingo.com/profile/luca_devAU46ms

301duolingo.com/course/it/en/Learn-ItalianGB178ms

200duolingo.com/profile/kenji88IN219ms

200duolingo.com/course/en/es/Aprende-inglesCA148ms

200duolingo.com/profile/maria_langCA195ms

200duolingo.com/course/ko/en/Learn-KoreanDE175ms

200duolingo.com/coursesJP93ms

200duolingo.com/course/it/en/Learn-ItalianUS88ms

200duolingo.com/course/it/en/Learn-ItalianFR116ms

200duolingo.com/course/fr/en/Learn-FrenchCA133ms

200duolingo.com/course/zh/en/Learn-ChineseES98ms

404duolingo.com/course/ko/en/Learn-KoreanNL150ms

301duolingo.com/profile/kenji88GB136ms

01 Live-Demo

Jede Duolingo-URL rein. HTML oder JSON raus.

Die Crawling API, live getippt. Erhalten Sie das gerenderte HTML oder wechseln Sie zum generic extractor für JSON. Fahren Sie mit der Maus darüber, um anzuhalten und mitzulesen.

bereit

Tasten 1-2 wechseln · klicken zum Pausiereneigene URL ausführen

Führen Sie Ihren ersten Request in Minuten aus. Bis zu 20,000 kostenlose Requests, keine Kreditkarte.Kostenlos starten

02 Funktionen

Eine API für alles, was Duolingo Ihnen entgegenwirft.

Duolingo ist eine JavaScript-Single-Page-App, in der Kursbäume, Bestenlisten und Profile über interne APIs gerendert werden, mit Bot-Erkennung auf den App- und Profilseiten. Die Crawling API rendert sie in einem echten Browser, erreicht sie über Residential-IPs und liefert Ihnen sauberes HTML oder JSON.

render

Vollständiges JavaScript-Rendering

Ein echter Browser führt die Single-Page-App aus, sodass Kurseinheiten, Lektionen, Bestenlisten und Profildaten, die über interne APIs geladen werden, alle erfasst werden, nicht nur die anfängliche Shell.

proxies

140M Residential-IPs

Jeder Request rotiert eine Residential-IP über 30 Regionen, sodass Sie Duolingo wie ein echter lokaler Lernender erreichen.

anti-bot

Blockaden für Sie erledigt

CAPTCHAs, Bot-Walls und Rate Limits werden automatisch beseitigt. Nichts zu lösen, nichts zu warten.

format

HTML oder JSON

Erhalten Sie das vollständig gerenderte HTML oder fügen Sie scraper=generic-extractor hinzu, um Titel, Inhalt, Bilder und Links als strukturiertes JSON zurückzugeben.

extras

Screenshots und asynchron

Derselbe Call kann einen ganzseitigen Screenshot erfassen oder asynchron mit Webhooks und Cloud Storage laufen.

one token

Eine API für jede Website

Die Crawling API funktioniert mit jeder URL, sodass derselbe Token Duolingo und alles andere abdeckt, was Sie crawlen. Zur Live-Demo.

03 Output

Gerendertes HTML oder sauberes JSON.

Standardmäßig erhalten Sie das gerenderte HTML. Fügen Sie den generic-extractor hinzu und dieselbe Seite kommt als typisiertes JSON zurück.

{ "title": "Learn Spanish | Duolingo", "favicon": "https://d35aaqx5ub95lt.cloudfront.net/favicon.ico", "meta": { "description": "Learn a language for free with Duolingo.", "keywords": "..." }, "content": "Course units, lessons, leaderboards and profile data...", "canonical": "https://www.duolingo.com/course/es/en/Learn-Spanish", "images": [ "..." ], "og_images": [ "..." ], "links": [ "..." ] }

Page

title · string canonical · string favicon · string

Content

content · string

Media

images · array og_images · array

Links

links · array

04 So funktioniert es

Von der URL zu Daten in einem Call.

Jeder Duolingo-Request nimmt denselben Pfad. Sie senden eine URL, wir betreiben alles dazwischen.

URL senden

Übergeben Sie eine beliebige öffentliche Duolingo-URL mit Ihrem Token: einen Kurs, den Katalog, eine Bestenliste oder ein öffentliches Profil.

Proxy rotieren

Eine Residential-IP und Region, die Duolingo sauber erreichen, aus 140M IPs über 30 Regionen.

Seite rendern

Ein echter Browser lädt die Single-Page-App, sodass Kurseinheiten, Bestenlisten und Profildaten vor der Erfassung rendern.

Anti-Bot beseitigen

Die Bot-Prüfungen von Duolingo auf den App- und Profilseiten werden automatisch gehandhabt. Nichts zu lösen, nichts zu warten.

HTML oder JSON zurückgeben

Das vollständig gerenderte HTML kommt zurück oder typisiertes JSON, wenn Sie den generic extractor hinzufügen.

05 Anwendungsfälle

Was Teams auf Duolingo-Daten aufbauen.

USE / 01Kurse

Kurs- & Inhaltsüberwachung

Verfolgen Sie Kurseinheiten, Lektionen und Katalogänderungen über Sprachpaare hinweg, während Duolingo sie aktualisiert.

USE / 02Sprache

Sprachlern-Daten

Sammeln Sie Kursinhalte, Übungsaufgaben und lokalisierte Strings, um zu untersuchen, wie Lektionen strukturiert sind.

USE / 03Vergleich

Wettbewerbsanalyse

Vergleichen Sie Kursabdeckung, Funktionen und Bestenlisten mit anderen Sprachlern-Apps.

USE / 04Lokalisierung

Lokalisierungsforschung

Vergleichen Sie denselben Kurs über Ausgangs- und Zielsprachen hinweg, um Übersetzungs- und Lokalisierungsarbeit zu unterstützen.

USE / 05Training

Trainingsdaten & RAG

Speisen Sie sauberen Duolingo-Text über eine API in Modelle, RAG-Pipelines und Agenten ein.

USE / 06Abdeckung

Jede URL, eine API

Crawlen Sie Kurse, den Katalog, Bestenlisten und Profile, sowie jede andere Website, die Sie brauchen.

06 Hinweise

Gut zu wissen beim Scrapen von Duolingo.

Gerendert wie ein echter Browser

Duolingo ist eine Single-Page-App; die Crawling API führt einen echten Browser aus, sodass Kursbäume, Bestenlisten und Profildaten über ihre internen APIs vor der Erfassung laden.

HTML standardmäßig, JSON auf Anfrage

Sie erhalten das vollständig gerenderte HTML. Fügen Sie scraper=generic-extractor für geparsten Titel, Inhalt, Bilder und Links hinzu, oder parsen Sie das HTML selbst.

Sprachpaare liegen im Pfad

Eine Kurs-URL trägt die Ausgangs- und Zielsprache, sodass Sie ein bestimmtes Paar targetieren und den Request für lokalisierte Inhalte geotargeten können.

Duolingo von überall erreichen

Geotargeting über 30 Regionen und 140M Residential-IPs bedeutet konsistenten Zugriff, ohne Proxys zu verwalten.

07 Warum Crawlbase

Gebaut, um Duolingo im großen Maßstab zu crawlen.

Die Crawling API läuft auf demselben Netzwerk, das 46,000+ zahlende Kunden und 70,000+ Entwickler bedient. Keine Proxys zu kaufen, keine Browser zu betreiben, nichts zu patchen, wenn Duolingo sich ändert.

99%

Durchschnittliche Erfolgsrate der Requests

140M

Residential-IPs, plus 98M Datacenter

Regionen für genaue lokale Ergebnisse

20/s

Requests pro Sekunde standardmäßig, mehr auf Anfrage

Ein Token, offizielle SDKs für Python, Node und Ruby, und ein Netzwerk mit 99.99% Verfügbarkeit darunter.

08 FAQ

Fragen zum Duolingo-Scraping.

Senden Sie die Duolingo-URL mit Ihrem Token an die Crawlbase Crawling API. Crawlbase rotiert einen Residential Proxy, rendert die Seite in einem echten Browser, beseitigt Bot-Prüfungen und liefert das vollständig gerenderte HTML zurück. Fügen Sie scraper=generic-extractor hinzu, um stattdessen strukturiertes JSON zu erhalten.

Ja. Standardmäßig liefert die Crawling API gerendertes HTML; fügen Sie den generic extractor (scraper=generic-extractor) hinzu, um Titel, Meta, Inhalt, Bilder und Links als JSON zu erhalten, oder parsen Sie das HTML selbst.

Ja. Duolingo ist eine Single-Page-App, sodass ein echter Browser sie ausführt und die Kursbäume, Lektionen, Bestenlisten und Profildaten, die über interne APIs laden, erfasst werden, nicht nur die anfängliche Shell.

Crawlbase leitet jeden Request über rotierende Residential-IPs über 30 Regionen und beseitigt Bot-Prüfungen automatisch. Sie verwalten keine Proxys und lösen keine CAPTCHAs, und es gibt nichts zu warten, wenn Duolingo sein Setup ändert.

Ja. Übergeben Sie eine beliebige Kurs-URL (die Ausgangs- und Zielsprache liegen im Pfad) und geotargeten Sie den Request, sodass Sie Kursinhalte und lokalisierte Strings über Sprachpaare hinweg sammeln können.

Jede öffentliche URL: Kurs- und Einheitsseiten, den Kurskatalog, Bestenlisten, Sprach-Landingpages und öffentliche Profile. Dieselbe API funktioniert auch mit jeder anderen Website.

Starten Sie kostenlos mit bis zu 20,000 Requests und ohne Kreditkarte. Kostenpflichtige Pläne skalieren mit der Nutzung, und derselbe Token funktioniert über die Crawling API und jeden Crawlbase-Scraper hinweg.

Beginnen Sie, Duolingo zu scrapen.
Sparen Sie sich die Proxys und Blockaden.

Kostenloser Start mit bis zu 20,000 Requests. Ein Token für die Crawling API und jeden Scraper.

Kostenlos starten Dokumentation lesen