Kostenlose Proxy-Listen für Web ScrapingWas 640,600 gemessene Proxys offenbaren

Wenn Sie nach einer kostenlosen Proxy-Liste gesucht haben, finden Sie in den nächsten dreißig Sekunden eine. Dutzende Seiten veröffentlichen Zehntausende IP-und-Port-Paare, minütlich aktualisiert, nach Land und Anonymitätsstufe filterbar, als Textdatei herunterladbar. Das Angebot ist real und es ist tatsächlich kostenlos.

Die schwierigere Frage ist, was passiert, nachdem Sie diese IPs in einen Scraper eingesetzt haben. Genau dieser Teil wurde tatsächlich gemessen, zweimal, in großem Maßstab, von Forschenden, die ihre Methodik veröffentlicht haben. Eine Studie verfolgte mehr als 107,000 gelistete offene Proxys über 13 Millionen Anfragen hinweg. Eine andere begleitete 640,600 von ihnen über 30 Monate. Ihre Ergebnisse sind deutlich nützlicher als noch eine weitere Rangliste.

Dieser Beitrag behandelt beide Hälften: die kostenlosen Proxy-Listen, die es gibt, und was jede davon tatsächlich liefert, danach das, was die Messungen über Zuverlässigkeit, Traffic-Integrität und die realen Kosten eines Betriebs auf ihnen aussagen. Er endet mit dem Teil, den die meisten Artikel zu diesem Suchbegriff auslassen: dass "kostenloser Proxy" zwei völlig verschiedene Produkte bezeichnet und nur eines davon in die Nähe von Produktion gehört.

Zwei verschiedene Dinge werden kostenloser Proxy genannt

Die erste Kategorie ist die Aggregator-Liste offener Proxys. Ein Herausgeber durchsucht das Internet nach Hosts, die Traffic für jeden weiterleiten, prüft, ob sie antworten, und veröffentlicht diejenigen, die es tun. Der Herausgeber besitzt diese Maschinen nicht und hat keine Beziehung zu denen, die sie besitzen. Sie leihen sich den Server eines Fremden, und weder Sie noch der Herausgeber wissen, warum dieser Fremde Sie gewähren lässt.

Die zweite Kategorie ist das kostenlose Kontingent oder der Testzugang eines kommerziellen Anbieters. Ein Unternehmen, das ein Proxy-Netzwerk betreibt, überlässt Ihnen einen limitierten Teil davon kostenlos: eine feste Zahl von Anfragen, ein Bandbreitenlimit oder einen zeitlich befristeten Test. Die IPs stammen aus einer Infrastruktur, die das Unternehmen beschafft, dokumentiert und für die es zur Verantwortung gezogen werden kann.

Beide werden "kostenlose Proxys" genannt, und sie verhalten sich völlig unterschiedlich. Jede Messung weiter unten beschreibt die erste Kategorie. Diese Unterscheidung zu verstehen macht den größten Teil dessen aus, was einen funktionierenden Scraper von einem trennt, der still und leise Müll sammelt.

Die kostenlosen Proxy-Listen, namentlich

Dies sind die Aggregatoren, die bei dieser Suche am häufigsten auftauchen, samt dem, was jeder von ihnen tatsächlich bietet. Die Pool-Zahlen sind die eigenen Angaben der Herausgeber zum Zeitpunkt der Erstellung und sie verändern sich ständig, was selbst Teil der Geschichte ist.

Lesen Sie das Kleingedruckte auf diesen Seiten, und etwas wird deutlich: Die meisten sagen Ihnen genau, worum es sich handelt. ProxyScrape erklärt, "die Proxys, die wir bereitstellen, sind öffentliche Proxys, das heißt, der Proxy kann infiziert sein." Geonode warnt, dass kostenlose öffentliche Proxys "Traffic mitschneiden, Werbung einspeisen oder Honeypots sein können", und ergänzt: "Senden Sie niemals sensible Daten über kostenlose Proxys." free-proxy-list.net beschreibt den eigenen Bestand als "instabil und meist langsam, aber sehr günstig" und weist darauf hin, dass die Proxys gegen große Websites nicht funktionieren.

Die Herausgeber sind hier nicht das Problem, und es lohnt sich, dabei präzise zu sein. Sie indexieren Maschinen; sie betreiben sie nicht. Alles, was unten gemessen wird, ist eine Eigenschaft der anonymen Betreiber, deren Server auf diesen Listen landen.

Was die Messungen zeigen: Fast keiner von ihnen antwortet

Die Schlagzeilen-Zahl auf einer Proxy-Liste ist keine Zahl funktionierender Proxys. Sie ist eine Zahl von Einträgen.

In An Extensive Evaluation of the Internet's Open Proxies (Mani, Vaidya, Dworken und Sherr, ACSAC 2018) zogen Forschende mehr als 107,000 gelistete offene Proxys von Aggregator-Seiten und schickten über 50 Tage 13 Millionen Anfragen durch sie. Ihr Befund: Mehr als 92% der offenen Proxys, die auf Aggregator-Seiten erscheinen, antworten nicht.

Free Proxies Unmasked (Mehanna, Rudametkin, Laperdrix und Vastel, MADWeb 2024) ging länger und breiter vor und begleitete 640,600 Proxys von 11 Anbietern über 30 Monate. Ihre Verfügbarkeitszahl: Nur 34.5% waren überhaupt einmal aktiv, im gesamten Beobachtungsfenster.

Diese zwei Studien rahmen die Antwort ein. Irgendwo zwischen einem Drittel und einem Zwölftel einer veröffentlichten Liste antwortet überhaupt, und einmal zu antworten ist nicht dasselbe wie nutzbar zu sein. Der Praxistest von Proxyway mit 35 Adressen aus einer populären Liste fand 15 anfangs funktionierend und 11, die eine halbe Stunde später noch funktionierten.

Deshalb wirken kostenlose Pools in einem Fünf-Minuten-Test brauchbar und zerfallen in einem geplanten Job. Eine Handvoll lebender Proxys genügt, um eine Seite von Hand abzurufen. Ein Aktualisierungszyklus, der dauerhaften Durchsatz braucht, verbringt die meiste Zeit mit Timeouts gegen Adressen, die nach dem Download der Liste aufgehört haben zu antworten.

Was die Messungen zeigen: Manche von ihnen verändern Ihren Traffic

Verfügbarkeit ist der langweilige Fehlerfall. Der interessante ist, dass ein messbarer Anteil dieser Hosts verändert, was durch sie hindurchgeht.

Die MADWeb-2024-Studie fand 16,923 Proxys, die Inhalte manipulieren, unter den 640,600, die sie verfolgte. Sie scannte außerdem die Proxy-IPs selbst und katalogisierte 4,452 unterschiedliche Schwachstellen, davon 1,755, die das Ausführen von Code aus der Ferne erlauben, und 2,036, die eine Rechteausweitung erlauben. Am aufschlussreichsten für die Frage, wer diese Dinge betreibt: 42,206 von ihnen liefen offenbar auf MikroTik-Routern, also auf Netzwerktechnik für Privathaushalte und Kleinbetriebe statt auf irgendetwas, das einem Proxy-Dienst gleicht.

Die ACSAC-2018-Studie dokumentierte die konkreten Verhaltensweisen. Die Forschenden beobachteten TLS-Man-in-the-Middle-Angriffe, umgeschriebenes HTML zum Einspeisen von Code für Kryptowährungs-Mining und Binärdateien, die unterwegs verändert wurden, um Fernzugriffs-Trojaner zu transportieren. Als Kontrolle vermaß dasselbe Team Tor-Exit-Relays und fand keinen einzigen Fall von TLS-Abfangen oder Inhaltsmanipulation, was eine nützliche Erinnerung daran ist, dass das Problem speziell in der Anreizstruktur anonymer offener Proxys liegt und nicht in weitergeleitetem Traffic im Allgemeinen.

Warum sie kostenlos sind

Das Wort "kostenlos" bedeutet, dass jemand Kosten trägt. Bei Aggregator-Proxys decken vier Erklärungen nahezu alles davon ab, und nur die erste ist harmlos.

• Fehlkonfiguration. Der Host war nie als offener Proxy gedacht. Voreinstellungen auf einem Router oder einem Caching-Server ließen ihn Traffic für das gesamte Internet weiterleiten. Die 42,206 MikroTik-Geräte in den MADWeb-Daten sind genau dieser Fall, in großem Maßstab, und die Besitzer haben mit hoher Wahrscheinlichkeit keine Ahnung davon.
• Abschöpfen. Einen Proxy zu betreiben ist ein günstiger Weg, einen Strom fremder Anfragen zu sammeln: Hostnamen, Header, Cookies, Session-Token und alles, was unverschlüsselt gesendet wird. Der Traffic ist das Produkt.
• Injektion. Wenn Inhalte unverschlüsselt hindurchgehen, können sie bearbeitet werden. Zu den veröffentlichten Befunden gehören Werbung, Affiliate-Umschreibungen und Mining-Skripte, die Ihre Bandbreite und die CPU Ihrer Nutzer monetarisieren.
• Beobachtung. Manche offenen Proxys sind Honeypots, betrieben von Forschenden, Sicherheitsanbietern oder Netzbetreibern, die sehen wollen, was durch sie fließt. In der Absicht harmlos, dennoch ein Publikum für Ihren Traffic.

Keiner dieser Fälle setzt einen raffinierten Angreifer voraus. Sie setzen eine Maschine voraus, die Pakete weiterleitet, und eine Liste, die sie bewirbt.

Die Rechnung eines kostenlosen Pools

Das Argument für eine kostenlose Liste ist, dass sie nichts kostet. Das gilt nur, wenn Ihre Zeit nichts wert ist und fehlgeschlagene Anfragen kostenlos sind, und jenseits eines Prototyps trifft keines von beidem zu.

Rechnen Sie das Modell mit Ihren eigenen Zahlen durch. Wenn ein Job S erfolgreiche Abrufe braucht und der Pool mit der Rate p konvertiert, stellen Sie etwa S / p Versuche. Bei den oben gemessenen Überlebensraten ist ein p zwischen 0.3 und 0.4 optimistisch für eine Liste, die Sie vor einer Stunde heruntergeladen haben; ein Job über 50,000 Seiten wird damit zu 125,000 bis 165,000 Versuchen, von denen die meisten Timeouts statt schneller Ablehnungen sind. Timeouts sind die teure Art des Fehlschlags, weil jeder einzelne einen Worker für Sekunden blockiert.

Rechnen Sie dann die Teile hinzu, die in keinem Anfragezähler auftauchen:

• Das erneute Herunterladen und erneute Validieren der Liste, weil Einträge verfallen, während Sie sie benutzen.
• Das Bauen und Pflegen von Health-Checks, Retry-Logik und dem Aussortieren toter Proxys. Das ist ein kleines verteiltes System, und es gehört jetzt Ihnen.
• Das Neuausführen von Batches, die mit stillen Lücken durchgelaufen sind, der Fehlerfall, der am meisten kostet, weil Sie ihn erst später in den Daten entdecken.
• Das Prüfen, dass im gesammelten Korpus nichts unterwegs verändert wurde.

Ein Entwickler, der dafür zwei Tage im Monat aufwendet, hat mehr ausgegeben als ein bezahlter Plan kostet, und dabei kein Produkt hervorgebracht. Unser Bewertungsrahmen für Proxy-Anbieter geht denselben Abgleich ausführlicher durch.

Wann eine kostenlose Proxy-Liste das richtige Werkzeug ist

Hier gibt es eine echte Antwort, und etwas anderes zu behaupten wäre unaufrichtig. Aggregator-Listen sind wirklich nützlich, wenn nichts auf dem Spiel steht.

• Die Mechanik lernen. Einen Proxy in curl, in requests oder im HTTP-Client Ihrer Sprache zu konfigurieren und zu beobachten, wie sich Ihre scheinbare IP ändert, ist eine lohnende Übung, und kostenlose Proxys sind dafür in Ordnung.
• Ein Wegwerf-Abruf einer öffentlichen Seite. Keine Zugangsdaten, keine Session, nichts, woran Ihnen liegt.
• Prüfen, ob öffentliche Inhalte je nach Land variieren, als grobes Signal, bevor Sie sich auf echtes Geotargeting festlegen.
• Testen, ob Ihre eigenen Codepfade mit Proxy-Ausfällen umgehen, wofür ein unzuverlässiger Pool wohl die ideale Testumgebung ist.

Die Grenze, die es zu halten gilt: Senden Sie nie etwas durch einen unbekannten Proxy, dessen Aufbewahrung durch einen Fremden Sie stören würde. Das heißt: keine Logins, keine API-Schlüssel, keine Cookies, keine personenbezogenen Daten und nichts, dessen Integrität Sie später vertrauen wollen. Unser Beitrag dazu, ob Proxys sicher sind, behandelt die Fragen zur Herkunft, die Sie jedem Anbieter stellen sollten, und die Landschaft rotierender Residential-Proxys zeigt, wo kostenlose Pools im Verhältnis zu bezahlten stehen.

Das kostenlose Kontingent, das tatsächlich funktioniert

Zurück zu der Unterscheidung, mit der dieser Beitrag begann. Wenn Sie scrapen wollen, ohne schon zu zahlen, ist die Antwort keine Liste fremder Router, sondern ein limitierter Teil einer Infrastruktur, die einen Eigentümer hat. Mehrere existieren. Webshare gibt 10 statische Datacenter-IPs und 1 GB pro Monat. Oxylabs bietet ein auf die USA beschränktes kostenloses Kontingent mit einer monatlichen Obergrenze von 5 GB.

Der Crawlbase Smart AI Proxy gibt Ihnen 5,000 Credits ohne Kreditkarte, gegen einen Pool von 140M Residential-IPs mit Geotargeting in 45+ Ländern, einer durchschnittlichen Erfolgsrate von 99% und unbegrenzter Bandbreite. Blockaden und CAPTCHAs werden im Endpoint behandelt statt in Ihrer Retry-Schleife.

Der betriebliche Unterschied wiegt mehr als die Pool-Größe. Es gibt einen Hostnamen und einen Port. Keine Liste zum Herunterladen, Validieren, Rotieren oder Aussortieren, denn die Rotation passiert vorgeschaltet und jede Anfrage kommt von einer frischen IP.

curl -x 'https://YOUR_TOKEN:@smartproxy.crawlbase.com:8013' \
     -k 'https://httpbin.org/ip'

Ihr Token ist der Benutzername und das Passwort bleibt leer. Port 8013 ist der HTTPS-Proxy und der empfohlene; 8012 spricht einfaches HTTP zum Proxy, für Clients, die das benötigen. Beide verarbeiten HTTP- und HTTPS-Ziele. Der Dictionary-Schlüssel benennt das Ziel-Schema, und jeder Eintrag nutzt das Schema, das sein Port erwartet: Der HTTP-Proxy antwortet auf 8012, der HTTPS-Proxy auf 8013. Dasselbe aus Python:

import requests

proxies = {
    'http':  'http://YOUR_TOKEN:@smartproxy.crawlbase.com:8012',
    'https': 'https://YOUR_TOKEN:@smartproxy.crawlbase.com:8013',
}

res = requests.get('https://httpbin.org/ip', proxies=proxies, verify=False)
print(res.text)

Geotargeting pro Anfrage, Gerätetyp und Sticky Sessions werden über Request-Header gesetzt statt durch das Austauschen von Endpoints, und wenn Sie die Rotation ohne die KI-Schicht wollen, ist das eine Konfigurationsfrage, behandelt in Standard-Rotation gegenüber der KI-Schicht.

Die Wahl zwischen den Optionen

Wenn Sie noch entscheiden, welche Art IP ein Job braucht, bevor Sie einen Anbieter wählen, sind Datacenter gegenüber Residential und der Proxy-Typ passend zum Ziel die beiden nächsten Lektüren. Für die Mechanik der Rotation selbst enthält pro Anfrage gegenüber Sticky Sessions den Code.

Die Kurzfassung

Kostenlose Proxy-Listen sind real, reichlich vorhanden und größtenteils tot. Zwei begutachtete Studien beziffern die Verfügbarkeit auf 8% bis 34.5%, und die Herausgeber selbst beschreiben den Bestand als öffentliche Maschinen, die infiziert sein können. Bei Tausenden dieser Hosts wurde beobachtet, dass sie Traffic verändern, Zehntausende von ihnen sind der fehlkonfigurierte Router von irgendjemandem, und die Arbeit, einen Pool davon am Leben zu halten, kostet mehr als ein Plan.

Wenn die Anforderung wirklich "noch kein Budget" lautet, nehmen Sie ein limitiertes kostenloses Kontingent von einem Betreiber, der mit Namen dafür steht. Sie erhalten bei der ersten Anfrage eine funktionierende IP statt einer Warteschlange von Timeouts, und niemand liest Ihren Traffic als Eintrittspreis.

Häufig gestellte Fragen

Sind kostenlose Proxys für Web Scraping sicher?

Nicht für irgendetwas, woran Ihnen liegt. Eine begutachtete Messung von 640,600 kostenlosen Proxys fand 16,923, die den durch sie laufenden Inhalt verändern, und eine frühere Studie mit 107,000 dokumentierte TLS-Abfangen, eingespeiste Kryptowährungs-Miner und Binärdateien, die unterwegs umgeschrieben wurden, um Fernzugriffs-Trojaner zu transportieren. Mehrere Listen-Herausgeber sagen das selbst; die eigene Seite von ProxyScrape weist darauf hin, dass ihre Proxys "infiziert sein können." Nutzen Sie sie zum Lernen und für Wegwerf-Abrufe öffentlicher Seiten, nie für Logins, API-Schlüssel, Cookies, personenbezogene Daten oder ein Korpus, dessen Integrität Sie vertrauen wollen.

Warum sind kostenlose Proxys kostenlos?

Vier Gründe decken die meisten davon ab. Viele sind einfach fehlkonfiguriert: Eine Studie fand 42,206, die offenbar auf MikroTik-Routern liefen, deren Besitzer mit hoher Wahrscheinlichkeit keinen öffentlichen Proxy betreiben wollten. Andere existieren, um den durch sie fließenden Traffic abzuschöpfen, um Werbung oder Mining-Code in unverschlüsselte Seiten einzuspeisen oder um Traffic als Honeypots zu beobachten. Irgendjemand zahlt für die Bandbreite, und der Traffic ist meist die Bezahlung.

Wie viele Proxys aus einer kostenlosen Liste funktionieren wirklich?

Weit weniger als die Schlagzeilen-Zahl. Die ACSAC-2018-Studie fand mehr als 92% der bei Aggregatoren gelisteten offenen Proxys ohne Antwort. Die MADWeb-2024-Studie fand nur 34.5% von 640,600 Proxys über 30 Monate überhaupt einmal aktiv. Der Schwund geht auch während Ihrer Arbeit weiter: Ein unabhängiger Praxistest mit 35 Adressen aus einer Liste fand 15 anfangs am Leben und 11 noch 30 Minuten später am Leben. Ein veröffentlichter Pool von 20,000 ist eine Tabelle mit 20,000 Zeilen, nicht 20,000 nutzbare IPs.

Was ist der Unterschied zwischen einer kostenlosen Proxy-Liste und einem kostenlosen Proxy-Test?

Verantwortlichkeit. Eine Liste indexiert Maschinen, die von Fremden betrieben werden, die keine Vereinbarung mit Ihnen oder mit dem Herausgeber haben. Ein Test oder kostenloses Kontingent ist ein limitiertes Stück eines Netzwerks, das ein Unternehmen betreibt, dokumentiert und für das es verantwortlich gemacht werden kann. Die Wörter sind ähnlich und die Produkte sind nicht vergleichbar; jeder Befund zu Zuverlässigkeit und Integrität in diesem Beitrag betrifft die erste Art.

Kann ich eine kostenlose Proxy-Liste für einen Produktions-Scraper nutzen?

Sie können, und die Kosten tauchen an anderer Stelle auf. Bei einer Überlebensrate um ein Drittel brauchen je 50,000 erfolgreiche Abrufe etwa 150,000 Versuche, meist langsame Timeouts, dazu erneute Listenvalidierung, Health-Checks, das Aussortieren toter IPs und Wiederholungsläufe für Batches, die mit stillen Lücken endeten. Das ist ein unbezahltes Projekt für verteilte Systeme, das unter Ihrer eigentlichen Arbeit liegt, und es kostet in Entwicklungszeit meist mehr als ein Plan an Geld.

Macht die Nutzung von HTTPS einen kostenlosen Proxy sicher?

Es hilft und es genügt nicht. Verschlüsselung verhindert, dass ein passiver Proxy den Seiteninhalt liest oder bearbeitet, was den größten Teil des von Forschenden dokumentierten Injektionsverhaltens neutralisiert. Der Betreiber erfährt weiterhin jeden Hostnamen, den Sie anfragen, und wann, kann Verbindungen selektiv verzögern oder abbrechen und kann jedem Client, der die Prüfung überspringt, sein eigenes Zertifikat anbieten. HTTPS verringert den Schadensradius; es macht aus einem anonymen Host keinen vertrauenswürdigen.

VP

Viktor Petrov

Data-Science-Architekt · Crawlbase

Data-Science-Architekt bei Crawlbase. Arbeitet an den Modellen, die groß angelegtes Crawling auch gegen moderne Bot-Abwehr zuverlässig halten.