Jede Anfrage, die Ihr Rechner an das Internet sendet, trägt Ihre IP-Adresse. Ein Proxy-Server sitzt dazwischen und stellt die Anfrage für Sie, sodass das Ziel die Adresse des Proxys sieht und nicht Ihre eigene. Diese eine Indirektionsebene ist die gesamte Idee. Alles andere, Rotation, Anonymitätsstufen, die zwölf Produktnamen, sind Variationen davon.
Dieser Beitrag erklärt, was tatsächlich passiert, wenn Sie Traffic durch einen Proxy leiten, die wenigen Typen, die es zu verstehen gilt, und wie man für einen realen Workload den richtigen auswählt. Wir werden die sechzehn "Typen", die man anderswo findet, nach den Entscheidungen ordnen, die sie tatsächlich darstellen, denn die meisten beschreiben dieselben zwei oder drei Auswahlmöglichkeiten unter verschiedenen Namen.
Was ein Proxy-Server ist
Ein Proxy-Server ist eine Maschine, die Netzwerkanfragen im Auftrag einer anderen Maschine stellt. Ihr Client spricht mit dem Proxy, der Proxy spricht mit dem Ziel, und die Antwort kommt denselben Weg zurück. Für das Ziel sieht der Traffic so aus, als käme er vom Proxy.
Diese Indirektion bringt Ihnen mehrere Dinge gleichzeitig: Der Origin sieht eine andere IP, Sie können diese IP in einem anderen Netzwerk oder Land platzieren, und der Hop in der Mitte kann Traffic beim Durchlaufen prüfen, cachen, filtern oder umschreiben. Welches davon Sie interessiert, bestimmt, nach welcher Art von Proxy Sie greifen.
Wie ein Proxy tatsächlich funktioniert
Wenn Sie einen HTTP-Proxy verwenden, öffnet Ihr Client eine Verbindung zum Proxy statt zur Zielsite und legt die vollständige Ziel-URL in die Anforderungszeile. Der Proxy liest das, öffnet seine eigene Verbindung zum Origin, leitet Ihre Anfrage weiter und streamt die Antwort zurück. Da er den Klartext der Anfrage sehen kann, kann er beim Durchlaufen Header hinzufügen, entfernen oder umschreiben. So fügt ein Proxy eine saubere IP hinzu, setzt eine Geolokalisierung oder erzwingt eine Header-Richtlinie.
HTTPS ist anders. Ihr Client kann den Proxy keine verschlüsselte Verbindung lesen lassen, also sendet er eine CONNECT-Anfrage, die den Proxy bittet, einen Raw-Tunnel zum Origin zu öffnen, und führt dann seinen TLS-Handshake direkt durch diesen Tunnel aus. Der Proxy bewegt Bytes hin und her, ohne sie zu lesen.
# Client asks the proxy to tunnel to the origin CONNECT example.com:443 HTTP/1.1 Host: example.com:443 # Proxy confirms, then relays the encrypted bytes blindly HTTP/1.1 200 Connection Established
Deshalb kann ein HTTP-Proxy Inhalte filtern oder modifizieren, während ein HTTPS-Tunnel meist nur weiterleitet. Die "transparente" Inspektion von HTTPS erfordert die Installation eines Zertifikats auf dem Client, damit der Proxy TLS selbst terminieren kann, was Sie bei jedem Netzwerk, das Sie nicht kontrollieren, kritisch sehen sollten.
Die Proxy-Taxonomie: vier Entscheidungen, keine sechzehn Typen
Die meisten "Proxy-Typen"-Listen vermischen vier unzusammenhängende Fragen in einem flachen Menü. Trennen Sie sie, und das Bild wird einfach. Ein gegebener Proxy ist ein Punkt in vier Dimensionen: woher seine IP stammt, in welche Richtung er zeigt, welches Protokoll er spricht und wie viel er über Sie preisgibt.
Nach Herkunft: Datacenter, Residential, Mobile
Das ist die Dimension, die beim Scraping am meisten zählt und für die man tatsächlich zahlt.
Datacenter-Proxys sind IPs, die bei Cloud- oder Hosting-Anbietern untergebracht sind. Sie sind schnell und günstig und kommen in großen zusammenhängenden Blöcken, was sie auch am leichtesten für eine Site erkennbar und sperrbar macht. Verwenden Sie sie, wenn das Ziel die IP-Reputation nicht genau prüft.
Residential-Proxys leiten über echte Verbraucher-ISP-Verbindungen, sodass ihre IPs wie gewöhnliche Heimnutzer aussehen. Sie sind langsamer und teurer, aber weitaus schwerer zu sperren. Unter Datacenter vs Residential Proxys finden Sie den vollständigen Kompromiss und unter ISP vs Residential Proxys die statisch-residenzielle Mittelweg-Option.
Mobile-Proxys leiten über Mobilfunknetze (4G und 5G). Da Netzbetreiber über Carrier-Grade-NAT einen kleinen IP-Pool unter vielen Abonnenten teilen, riskiert das Sperren einer mobilen IP das Sperren von Tausenden echter Nutzer, weshalb Sites diese am meisten tolerieren. Sie sind auch die teuersten.
Sparen Sie sich die Rotationslogik. Smart AI Proxy wählt pro Anfrage eine Residential-, Datacenter- oder Mobile-IP, übernimmt Wiederholungsversuche und liegt hinter einem einzigen Endpunkt, sodass Sie keine Pools selbst verwalten müssen.
Nach Richtung: Forward vs. Reverse
Ein Forward-Proxy sitzt vor Clients und zeigt nach außen ins Internet. Das ist es, was Menschen normalerweise mit "Proxy" meinen: Sie senden Ihren Traffic dadurch. Ein Reverse-Proxy sitzt vor Servern und zeigt in deren Richtung, nimmt Anfragen aus dem öffentlichen Bereich entgegen und verteilt sie für Load Balancing, Caching oder TLS-Terminierung an Backends. Nginx vor einer App ist ein Reverse-Proxy. Die Mechanik überschneidet sich, aber der Zweck ist entgegengesetzt. Einen detaillierten Vergleich finden Sie unter Forward vs Reverse Proxy.
Nach Protokoll: HTTP(S) vs. SOCKS5
Ein HTTP-Proxy versteht HTTP, was ihm erlaubt, auf Anfragen auf der Anwendungsschicht zu agieren (das oben beschriebene Header-Umschreiben). Ein SSL/HTTPS-Proxy ist nur ein HTTP-Proxy, der auch den CONNECT-Tunnel für verschlüsselten Traffic handhabt; siehe HTTP vs HTTPS Proxys.
Ein SOCKS5-Proxy arbeitet eine Schicht tiefer. Er leitet rohe TCP- und UDP-Verbindungen weiter, ohne das darüber liegende Protokoll zu verstehen, trägt also alles (HTTP, E-Mail, Torrents, Spiel-Traffic), kann aber keine Header umschreiben, da er sie nie liest. Greifen Sie zu SOCKS5, wenn Sie protokollagnostische Weiterleitung benötigen; zu HTTP, wenn Sie Kontrolle auf Anforderungsebene wollen. Details unter Was ist ein SOCKS5-Proxy.
Nach Anonymität: Transparent, Anonym, Elite
Proxys unterscheiden sich darin, wie viel sie preisgeben. Ein transparenter Proxy leitet Ihre echte IP in Headern wie X-Forwarded-For weiter und kündigt sich selbst an; er wird für Caching und Content-Filterung verwendet, nicht für Anonymität. Ein anonymer Proxy verbirgt Ihre IP, identifiziert sich aber noch als Proxy. Ein Elite- oder Hochanonymitäts-Proxy verbirgt beides und präsentiert sich als normaler Client. Ein verfälschender Proxy geht noch weiter und meldet eine gefälschte IP. Beim Scraping wollen Sie generell Elite-Verhalten, bei dem das Ziel nicht erkennen kann, dass ein Proxy involviert ist.
Spezialisierte und Datenschutz-Proxys
Die übrigen Namen, die Sie sehen werden, sind engere Werkzeuge und keine separaten Kategorien:
- Web-Proxy: Ein Proxy, den Sie von einer Browser-Seite aus steuern, ohne Client-Konfiguration. Praktisch, eingeschränkt, oft protokolliert.
- CGI-Proxy: Dieselbe Idee, als serverseitiges Skript implementiert, das Seiten für Sie abruft.
- Suffix-Proxy: Hängt seinen Namen an die Ziel-URL an; trivial zu verwenden, leicht zu sperren, verbreitet zum Umgehen einfacher Filter.
- DNS-Proxy: Leitet DNS-Abfragen statt HTTP weiter, wird für Filterung und geografisches Routing auf der Namensauflösungsebene verwendet.
- Tor (Onion) und I2P: Anonymitätsnetzwerke, keine kommerziellen Proxys. Sie leiten durch mehrere Freiwilligen-Relays für starke Anonymität bei hohem Geschwindigkeitsverlust. Nützlich für Datenschutz, ungeeignet für Scraping mit hohem Durchsatz.
Wofür man einen Proxy tatsächlich verwendet
Schneidet man die Feature-Listen durch, verdienen Proxys ihren Platz in vier Aufgaben:
Daten in großem Maßstab sammeln. Der dominante reale Anwendungsfall. Rotierende IPs ermöglichen es, öffentliche Daten (Preise, Listings, Suchergebnisse) zu sammeln, ohne dass eine einzelne Adresse rate-limitiert oder gesperrt wird. Deshalb ist Scraping-Infrastruktur größtenteils Proxy-Infrastruktur.
Kontrollieren, wo man erscheint. Ein Proxy in einem anderen Land lässt Sie länderspezifische Preise, Inhalte und Suchergebnisse sehen und ermöglicht es Ihnen zu testen, wie Ihre eigene Website von woanders aus wirkt.
Performance durch Caching. Ein Forward- oder Reverse-Proxy, der Antworten cached, bedient Wiederholungsanfragen lokal, reduziert Latenz und Origin-Last. Das ist der ursprüngliche Grund, warum Unternehmensnetzwerke Proxys betrieben.
Sicherheit, Filterung und Überwachung. Als Nadelöhr für Traffic kann ein Proxy Kategorien von Sites blockieren, Anfragen auf Richtlinienverstöße prüfen und Nutzung protokollieren. Das ist Content-Filterung und Traffic-Überwachung, und es ist der Grund, warum Proxys in verwalteten Netzwerken verbreitet sind.
Die Risiken, ehrlich betrachtet
Ein Proxy ist eine Maschine, durch die Sie Ihren Traffic leiten, was bedeutet, dass Sie dem vertrauen müssen, der sie betreibt.
Ein einfacher HTTP-Proxy kann alles lesen, was Sie über unverschlüsselte Verbindungen senden, und ein bösartiger Betreiber kann Zugangsdaten protokollieren oder Inhalte einschleusen. Kostenlose öffentliche Proxy-Listen sind die schlimmsten Täter: Sie haben keine Ahnung, wer sie betreibt oder was aufgezeichnet wird. Wenn ein Proxy kostenlos und anonym ist und Sie ihn nicht selbst eingerichtet haben, gehen Sie davon aus, dass er protokolliert.
Zwei spezifische Risiken sind es wert, benannt zu werden. Erstens: keine Verschlüsselung auf dem Proxy-Hop: Bei einem einfachen HTTP-Proxy ist die Verbindung zwischen Ihnen und dem Proxy nicht verschlüsselt, es sei denn, das Ziel selbst verwendet HTTPS. Zweitens: unautorisierte Datenspeicherung: Jeder Proxy kann die durch ihn laufenden Anfragen aufzeichnen, daher ist die Protokollierungsrichtlinie genauso wichtig wie die IP-Qualität. Für Produktionsarbeit verwenden Sie einen Anbieter mit klarer Richtlinie statt gecrawlter kostenloser Listen.
Wie man Traffic durch einen Proxy leitet
Im einfachsten Fall ist ein Proxy ein Host, ein Port und optionale Zugangsdaten. Die meisten Tools akzeptieren ihn direkt. Hier ist eine einzelne Anfrage durch einen HTTP-Proxy mit curl:
# Send the request through a proxy and check the exit IP curl -x "http://user:[email protected]:8080" "https://httpbin.org/ip" # Response shows the proxy's IP, not yours { "origin": "203.0.113.42" }
Für eine gesamte Shell-Sitzung können Sie die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY setzen, die die meisten Kommandozeilen-Tools respektieren. Browser und Betriebssysteme stellen dieselben Host/Port-Einstellungen in ihren Netzwerkpräferenzen bereit. Die Mechanik ist überall identisch; nur das Konfigurationsfeld ändert sich.
Crawlbase Smart AI Proxy verwenden
Pools, Rotation und Retries selbst zu verwalten ist der teure Teil. Ein verwalteter Endpunkt verbirgt das: Sie richten Ihren Client auf einen Host aus, und er wählt eine IP, rotiert bei Fehlern und gibt die Antwort zurück. Bei einem verwalteten Anbieter funktioniert derselbe curl-Aufruf, ohne den Teil, bei dem Sie den Pool pflegen müssen. Das ist das Modell, das Crawlbase Smart AI Proxy verwendet, und Sie können es mit den API-Dokumentationen einrichten.
Wie man die Proxy-IP findet und verifiziert
Um die IP zu sehen, die ein Proxy präsentiert, fordern Sie über ihn einen Echo-Dienst wie httpbin.org/ip oder ifconfig.me an und lesen Sie die Adresse zurück, genau wie im curl-Beispiel oben. Wenn er die IP des Proxys statt Ihrer eigenen anzeigt, funktioniert das Routing.
Und ja, eine IP kann in dem Sinne gefälscht werden, dass Header wie X-Forwarded-For trivial gefälscht sind, weshalb Server ihnen für Sicherheitsentscheidungen nie vertrauen. Die TCP-Quelladresse selbst kann für eine normale Zwei-Wege-Verbindung nicht gefälscht werden, da der Handshake das Zurückempfangen von Paketen erfordert. Ein Proxy fälscht Ihre IP nicht so sehr, wie er die Verbindung legitim von seiner eigenen aus aufbaut.
Wichtigste Erkenntnisse
- Ein Proxy ist eine Indirektionsebene. Er stellt die Anfrage für Sie, sodass der Origin seine IP sieht, nicht Ihre.
- HTTP-Proxys sehen Ihre Anfragen; HTTPS-Tunnel nicht. Diese eine Tatsache erklärt, was jeder kann und was nicht.
- Wählen Sie entlang vier Achsen, nicht sechzehn Typen: Herkunft, Richtung, Protokoll, Anonymität. Die meisten benannten "Typen" sind nur eine dieser Auswahlmöglichkeiten.
- Beim Scraping zahlen Sie für die Herkunft. Datacenter für Geschwindigkeit, Residential und Mobile zum Umgehen von Sperren.
- Sie vertrauen dem Betreiber des Proxys. Kostenlose anonyme Proxys sind ein Protokollierungsrisiko; verwenden Sie einen Anbieter mit klarer Richtlinie.
Häufig gestellte Fragen
Wie unterscheidet sich ein Proxy-Server von einer Paketfilter-Firewall?
Ein Proxy arbeitet auf der Anwendungsschicht und stellt Anfragen in Ihrem Auftrag, sodass er den Traffic, den er trägt, verstehen und umschreiben kann. Eine Paketfilter-Firewall arbeitet auf einer niedrigeren Ebene und erlaubt oder verwirft Pakete anhand von Adressen und Ports, ohne als Endpunkt zu agieren. Eine Firewall entscheidet, ob Traffic passieren darf; ein Proxy nimmt daran teil.
Was ist eine Proxy-Server-Adresse?
Es ist der Host und Port, mit dem sich Ihr Client verbindet, zum Beispiel proxy.example.com:8080, manchmal mit einem Benutzernamen und Passwort. Dieses Paar ist alles, was ein Tool benötigt, um Traffic durch den Proxy zu leiten.
Wie findet man eine Proxy-Server-Adresse?
Bei einem Proxy, den Sie kontrollieren oder abonniert haben, gibt Ihnen der Anbieter Host, Port und Zugangsdaten. In einem verwalteten Netzwerk kann die Adresse in Ihren Betriebssystem- oder Browser-Netzwerkeinstellungen festgelegt oder automatisch von einem Administrator übertragen sein. Um die IP zu sehen, die ein Proxy präsentiert, fordern Sie über ihn einen Echo-Dienst an.
Was ist eine häufige Funktion eines Proxy-Servers?
Der häufigste produktive Einsatz ist das Sammeln öffentlicher Webdaten in großem Maßstab durch rotierende IPs, um Rate-Limits und Sperren zu vermeiden. In Unternehmensnetzwerken ist die häufigste Funktion Caching und Content-Filterung an einem einzigen kontrollierten Nadelöhr.
Crawlen Sie jede Website im großen Maßstab, ohne gegen die Infrastruktur zu kämpfen.
Crawlbase übernimmt Proxys, Fingerprints und CAPTCHAs, damit Ihr Team Datenpipelines ausliefert, statt Crawl-Infrastruktur zu pflegen. 1.000 Anfragen kostenlos, keine Karte erforderlich.