Die Verwendung eines Proxys mit cURL ist eine großartige Möglichkeit, Webanforderungen zu verwalten, Ihre IP zu verbergen und Netzwerkeinschränkungen zu umgehen. Egal, ob Sie Web Scraping betreiben, APIs testen oder Ihren Internetverkehr sichern, Proxys helfen, indem sie Ihre echte IP verbergen und Anforderungen über einen anderen Server weiterleiten.

Aber zunächst: was ist cURL?

cURL (kurz für Client URL) ist ein Befehlszeilentool zum Senden und Empfangen von Daten über verschiedene Netzwerkprotokolle wie HTTP, HTTPS, FTP und mehr. Es ist ein kleines, aber leistungsstarkes Tool, das von Entwicklern zum Testen und Automatisieren von Webanforderungen und zum Abrufen von Daten von Endpunkten verwendet wird.

Hier erfahren Sie alles, was Sie über die Verwendung von cURL mit Proxys wissen müssen. Installieren von cURL auf verschiedenen Plattformen, Einrichten von HTTP-, HTTPS- und SOCKS-Proxys, Umgebungsvariablen, persistenten Proxy-Einstellungen und wie Sie Proxys umgehen. Los geht‘s!

Inhaltsverzeichnis

  1. Warum cURL mit einem Proxy verwenden?
  2. Installieren von cURL auf verschiedenen Plattformen
  • Für Windows
  • Für macOS
  • Für Linux
  1. Verwenden von cURL mit HTTP/HTTPS-Proxy
  • Grundlegende Syntax für HTTP-Proxy
  • Beispiel für einen HTTPS-Proxy
  • Authentifizierung hinzufügen
  • Behandeln von SSL-Zertifikatsfehlern
  1. Verwenden von cURL mit SOCKS-Proxy
  • Grundlegende Syntax für SOCKS-Proxy
  • Authentifizierung mit SOCKS-Proxy
  • Verwenden der Option „–socks“
  1. Festlegen eines Proxys mithilfe von Umgebungsvariablen
  • Für HTTP und HTTPS
  • So deaktivieren Sie Proxy-Variablen
  1. Konfigurieren von cURL, um immer einen Proxy zu verwenden
  • Für Linux und macOS
  • Für Windows
  1. Proxy für bestimmte Anfragen ignorieren
  2. Schnelle Tipps zur Proxy-Verwaltung
  3. Abschließende Überlegungen
  4. Häufig gestellte Fragen

Warum cURL mit einem Proxy verwenden?

Die Verwendung eines Proxys mit cURL ist ideal für alle, die mit Webanforderungen arbeiten. Ein Proxy ist eine Zwischenschicht zwischen Ihrem Computer und dem Internet und sendet Ihre Anforderungen über seinen Server. Aus diesem Grund sind Proxys mit cURL so cool:

Warum cURL mit einem Proxy verwenden?
  1. Verbesserte Privatsphäre
    Proxys verbergen Ihre echte IP-Adresse und ersetzen sie durch ihre eigene. So bleiben Sie beim Senden von Anfragen anonym und online sicher.
  2. Zugriff auf eingeschränkte Inhalte
    Mithilfe von Proxys können Sie geografische Beschränkungen oder Firewalls umgehen und so auf Websites und Daten zugreifen, die andernfalls blockiert wären.
  3. Vermeiden Sie Ratenbegrenzungen und IP-Sperren
    Beim Scraping oder API-Testen ermöglichen Ihnen Proxys die Rotation von IPs, sodass Websites Ihre Anfragen nicht blockieren.
  4. Netzwerkeffizienz
    Einige Proxyserver verwenden Caching, wodurch die zum Abschließen von Anfragen benötigte Zeit minimiert wird und die Gesamtleistung besser ist.

Egal, ob Sie APIs testen, Webdaten scrapen oder sicher auf das Internet zugreifen, die Verwendung von cURL mit einem Proxy ist eine einfache Lösung für Ihre Anforderungen. In den nächsten Abschnitten zeigen wir Ihnen, wie Sie cURL mit verschiedenen Proxytypen einrichten und verwenden.

Installieren von cURL auf verschiedenen Plattformen

Bevor Sie cURL mit einem Proxy verwenden können, müssen Sie sicherstellen, dass cURL auf Ihrem System installiert ist. So installieren Sie cURL unter Windows, macOS und Linux.

Für Windows

  1. Gehen Sie zur cURL-Downloadseite: curl.se/windows.
  2. Laden Sie die richtige Version für Ihr System herunter (32-Bit oder 64-Bit).
  3. Entpacken Sie die ZIP-Datei.
  4. Fügen Sie curl.exe zum PATH Ihres Systems hinzu, damit Sie es von der Eingabeaufforderung aus verwenden können.

Um die Installation zu testen, führen Sie Folgendes aus:

1
curl --version

Für macOS

cURL ist in den meisten macOS-Systemen enthalten. Um zu überprüfen, ob es installiert ist, öffnen Sie das Terminal und geben Sie Folgendes ein:

1
curl --version

Wenn es nicht installiert ist oder Sie die neueste Version möchten, verwenden Sie Homebrew:

  1. Installieren Sie Homebrew, falls es noch nicht installiert ist:
1
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  1. Installieren Sie cURL:
1
brew installieren curl

Für Linux

Viele Linux-Distributionen enthalten standardmäßig cURL. Um dies zu überprüfen, öffnen Sie das Terminal und führen Sie Folgendes aus:

1
curl --version

Falls es nicht installiert ist, können Sie es je nach Ihrer Distribution problemlos installieren:

  • Ubuntu / Debian:
1
2
sudo apt-Update
sudo passend installieren Sie Wellung
  • CentOS/Fedora:
1
sudo Yum installieren Curl

Führen Sie nach der Installation die Überprüfung durch, indem Sie Folgendes ausführen:

1
curl --version

Nachdem Sie cURL nun installiert haben, können wir mit der Verwendung von cURL mit HTTP- und HTTPS-Proxys fortfahren.

Verwenden von cURL mit HTTP/HTTPS-Proxy

Proxys werden verwendet, um die Privatsphäre zu schützen, Netzwerkeinschränkungen zu umgehen und Scraping-Aufgaben durchzuführen. cURL erleichtert die Arbeit mit HTTP- und HTTPS-Proxys, indem Sie Ihre Anfragen über einen Proxyserver weiterleiten können.

Grundlegende Syntax für HTTP-Proxy

Um einen HTTP-Proxy mit cURL zu verwenden, benötigen Sie den -x or --proxy Option. Hier ist die grundlegende Syntax:

1
curl -x "http://Proxy-Adresse:Port" „http://example.com“
  • Ersetzen proxy_address mit der Adresse des Proxyservers.
  • Ersetzen port mit der Portnummer des Proxys.
  • Ersetzen http://example.com durch die URL, auf die Sie zugreifen möchten.

Beispiel:

Wenn Ihre Proxy-Adresse 127.0.0.1 und der Hafen ist 8080, der Befehl würde so aussehen:

1
curl -x "http://127.0.0.1:8080" „http://example.com“

Beispiel für einen HTTPS-Proxy

Bei der Verwendung von HTTPS-Proxys ist der Vorgang ähnlich. Sie müssen das HTTPS-Protokoll in der Proxy-Adresse angeben:

1
curl --proxy "https://Proxy-Adresse:Port" "https://beispiel.com"

Beispiel:

Angenommen, Ihre HTTPS-Proxy-Adresse lautet proxy.example.com, und der Hafen ist 443Der Befehl wäre:

1
curl --proxy „https://proxy.example.com:443“ „https://secure-site.com“

Authentifizierung hinzufügen

Wenn Ihr Proxy einen Benutzernamen und ein Passwort erfordert, können Sie diese in den Befehl einschließen:

1
curl -x "http://Benutzername:Passwort@Proxy-Adresse:Port" „http://example.com“

Beispiel:

Für eine Proxy bei 127.0.0.1:8080 mit dem Benutzernamen user und ein Passwort von pass, der Befehl wäre:

1
curl -x "http://Benutzer:[E-Mail geschützt] :8080" „http://example.com“

Behandeln von SSL-Zertifikatsfehlern

Bei der Verwendung von HTTPS-Proxys können SSL-Zertifikatsfehler auftreten. Um diese zu umgehen (wenn Sie dem Proxyserver vertrauen), verwenden Sie die -k Option:

1
curl --proxy „https://proxy.example.com:443“ „https://secure-site.com“ -k

Die Verwendung von cURL mit HTTP- und HTTPS-Proxys verbirgt Ihre IP-Adresse und ermöglicht Ihnen den Zugriff auf eingeschränkte Websites. Als Nächstes verwenden wir cURL mit SOCKS-Proxys.

Verwenden von cURL mit SOCKS-Proxy

Ein SOCKS-Proxy ist ein Proxy niedrigerer Ebene als HTTP- und HTTPS-Proxys. Er funktioniert mit mehr Datenverkehrsarten, einschließlich FTP und anderen. cURL unterstützt SOCKS-Proxys und eignet sich daher hervorragend für Web Scraping oder die Umgehung von Geobeschränkungen.

Grundlegende Syntax für SOCKS-Proxy

Um einen SOCKS-Proxy mit cURL zu verwenden, können Sie den -x or --proxy Option genau wie bei HTTP/HTTPS-Proxys. Der einzige Unterschied besteht in der Angabe des SOCKS-Protokolls (SOCKS4 oder SOCKS5). Die grundlegende Syntax lautet:

1
curl -x "socks5://Proxy-Adresse:Port" „http://example.com“
  • Ersetzen proxy_address mit der SOCKS-Proxyserveradresse.
  • Ersetzen port mit der Proxy-Portnummer.
  • Ersetzen http://example.com mit der URL, die Sie besuchen möchten.

Beispiel:

Wenn Sie einen SOCKS5-Proxy verwenden unter 127.0.0.1 und der Hafen ist 1080, lautet der Befehl:

1
curl -x "Socken5://127.0.0.1:1080" „http://example.com“

Authentifizierung mit SOCKS-Proxy

Einige SOCKS-Proxys erfordern eine Authentifizierung, genau wie HTTP/HTTPS-Proxys. Um einen Benutzernamen und ein Passwort zur Authentifizierung hinzuzufügen, können Sie diese in die Proxy-URL aufnehmen:

1
curl -x "socks5://Benutzername:Passwort@Proxy-Adresse:Port" „http://example.com“

Beispiel:

Für einen SOCKS5-Proxy unter 127.0.0.1 am Hafen 1080 mit dem Benutzernamen „user“ und dem Passwort „pass“ lautet der Befehl:

1
curl -x "socks5://Benutzer:[E-Mail geschützt] :1080" „http://example.com“

Die richtigen --socks Option

Zusätzlich zur Option -x können Sie --socks5 (oder --socks4 für SOCKS4), um das Proxy-Protokoll explizit anzugeben. Hier ist die Syntax für SOCKS5:

1
curl --socks5 "127.0.0.1: 1080" „http://example.com“

Dieser Ansatz ist besonders nützlich, wenn Sie Verwirrung bei der Arbeit mit mehreren Proxy-Typen vermeiden möchten.

Die Verwendung von SOCKS-Proxys mit cURL ist ideal, wenn Sie mehr Flexibilität benötigen und verschiedene Arten von Datenverkehr weiterleiten möchten, darunter FTP und andere. Im nächsten Abschnitt erfahren Sie, wie Sie Proxy-Einstellungen mithilfe von Umgebungsvariablen einrichten.

Festlegen eines Proxys mithilfe von Umgebungsvariablen

Sie können mithilfe von Umgebungsvariablen einen Proxy für cURL festlegen. Dies ist nützlich, um denselben Proxy auf mehrere cURL-Befehle anzuwenden.

Für HTTP und HTTPS

Um den Proxy für HTTP- und HTTPS-Anfragen einzurichten, verwenden Sie diese Befehle in Ihrem Terminal:

1
2
exportieren http_proxy="http://Benutzer:Passwort@Proxy-Adresse:Port"
exportieren https_proxy="http://Benutzer:Passwort@Proxy-Adresse:Port"
  • Ersetzen user:password mit Ihren Proxy-Anmeldeinformationen.
  • Ersetzen proxy_address mit der IP oder Domäne des Proxyservers.
  • Ersetzen port mit der Portnummer des Proxys.

Beispiel:

1
2
exportieren http_proxy="http://Benutzer:[E-Mail geschützt] :1080"
exportieren https_proxy="http://Benutzer:[E-Mail geschützt] :1080"

So deaktivieren Sie Proxy-Variablen

Um die Verwendung des Proxys zu beenden, führen Sie diese Befehle aus:

1
2
ungesetzt HTTP-Proxy
ungesetzt https_proxy

Dadurch werden die Proxy-Einstellungen für die aktuelle Sitzung entfernt.

Im nächsten Abschnitt erläutern wir, wie Sie cURL so konfigurieren, dass immer ein Proxy verwendet wird.

Konfigurieren von cURL, um immer einen Proxy zu verwenden

Wenn Sie möchten, dass cURL immer einen Proxy verwendet, ohne ihn jedes Mal neu festlegen zu müssen, können Sie dies durch Bearbeiten einer Konfigurationsdatei konfigurieren.

Für Linux und macOS

  1. Öffnen Sie das Terminal und gehen Sie zu Ihrem Home-Verzeichnis:
1
cd ~
  1. Überprüfen Sie, ob Sie eine .curlrc Datei. Wenn nicht, erstellen Sie eine:
1
nano .curlrc
  1. Fügen Sie Ihre Proxy-Einstellungen in dieser Datei hinzu:
1
Proxy="http://Benutzer:Passwort@Proxy-Adresse:Port"
  1. Speichern Sie die Datei und beenden Sie sie. Jetzt verwendet cURL die Proxy-Einstellungen automatisch für jede Anfrage.

Für Windows

Unter Windows heißt die Konfigurationsdatei _curlrc und befindet sich in der %APPDATA% Verzeichnis.

  1. Öffnen Sie die Eingabeaufforderung und führen Sie diesen Befehl aus, um den Pfad zu finden:
1
Echo % APPDATA%

  1. Gehen Sie zum angezeigten Verzeichnispfad und erstellen Sie eine Datei mit dem Namen _curlrc.

  2. Fügen Sie in dieser Datei Ihre Proxy-Einstellungen hinzu:

1
Proxy="http://Benutzer:Passwort@Proxy-Adresse:Port"
  1. Speichern Sie die Datei und cURL verwendet den Proxy für alle zukünftigen Anfragen.

Mit dieser Methode können Sie Ihre cURL-Nutzung optimieren und sicherstellen, dass Ihr Proxy immer eingerichtet ist. Im nächsten Abschnitt besprechen wir, wie Sie den Proxy für bestimmte Anfragen ignorieren können.

Proxy für bestimmte Anfragen ignorieren

Es kann vorkommen, dass Sie bei der Verwendung von cURL den Proxy für bestimmte Anfragen umgehen möchten. Glücklicherweise bietet cURL hierfür eine einfache Möglichkeit.

So ignorieren Sie den Proxy

Um den Proxy für eine bestimmte Anfrage zu umgehen, verwenden Sie den --noproxy Option. Dadurch wird cURL angewiesen, den Proxy für die angegebene URL nicht zu verwenden. So funktioniert es:

1
curl --noproxy "*" „http://example.com“

In diesem Beispiel * Wildcard stellt sicher, dass kein Proxy verwendet wird für http://example.comDies ist nützlich, wenn Sie direkte Verbindungen zu bestimmten Websites herstellen möchten, während die Proxy-Einstellungen für andere aktiv bleiben.

Proxy für bestimmte Domänen ignorieren

Sie können den Proxy auch für bestimmte Domänen oder IP-Adressen ignorieren. Wenn Sie beispielsweise die Verwendung des Proxys für Domänen vermeiden möchten, example.comkönnen Sie die --noproxy Option wie folgt:

1
curl --noproxy "beispiel.com" „http://example.com“

Dadurch wird der Proxy nicht für die Domäne verwendet. example.com wird aber den Proxy für andere Anfragen verwenden.

Verwendung der --noproxy Mit diesem Flag können Sie steuern, wann der Proxy verwendet wird und wann eine direkte Verbindung zu einer Website hergestellt werden soll. Dies ist wichtig für die Verwaltung Ihrer Netzwerkverbindungen.

Im nächsten Abschnitt gehen wir einige kurze Tipps für Proxys durch.

Schnelle Tipps zur Proxy-Verwaltung

Die Verwaltung von Proxys kann Ihnen Zeit und Mühe sparen, wenn Sie häufig zwischen Proxy-Konfigurationen wechseln. Hier sind einige schnelle Tipps, die Ihnen bei der Verwaltung von Proxys mit cURL helfen

1. Proxy schnell ein- und ausschalten

Wenn Sie häufig zwischen der Verwendung eines Proxys und der Nichtverwendung eines Proxys wechseln, können Sie Aliase in Ihrer Shell-Konfigurationsdatei erstellen. Auf diese Weise können Sie den Proxy mit einem einzigen Befehl ein- und ausschalten. Sie können beispielsweise die folgenden Aliase zu Ihrer .bashrc or .zshrc Datei:

1
2
alias ProxyEin="export http_proxy='http://Benutzer:[E-Mail geschützt] :1234'; export https_proxy='http://Benutzer:[E-Mail geschützt] :1234'"
alias Proxy aus =„http_proxy aufheben; https_proxy aufheben“

Führen Sie nach dem Speichern der Datei Folgendes aus:

1
Quelle ~ / .bashrc  # oder Quelle ~/.zshrc

Jetzt können Sie den Proxy schnell einschalten, indem Sie „proxyon“ eingeben, und ihn ausschalten, indem Sie „proxyoff“ eingeben. So können Sie die Proxy-Einstellungen ganz einfach nach Bedarf ändern.

2. Verwenden Sie einen Proxy nur für bestimmte URLs

Wenn Sie den Proxy nur für bestimmte URLs verwenden möchten, legen Sie die Umgebungsvariablen vorübergehend für diese bestimmte Sitzung fest.

1
2
exportieren http_proxy="http://Benutzer:[E-Mail geschützt] :1234"
curl „http://example.com“

Dieser Befehl stellt sicher, dass der Proxy nur für Domänen verwendet wird example.comWenn Sie den Proxy nicht mehr benötigen, löschen Sie einfach die Variablen:

1
2
ungesetzt HTTP-Proxy
ungesetzt https_proxy

3. Proxy-Verbindung testen

Es ist wichtig, dass Sie Ihre Proxy-Einstellungen testen, bevor Sie sie in der Produktion verwenden. Sie können dies tun, indem Sie einen einfachen cURL-Befehl ausführen, um die IP-Adresse zu überprüfen:

1
curl „https://httpbin.org/ip“

Wenn alles richtig eingerichtet ist, sollten Sie statt Ihrer eigenen die IP-Adresse des Proxyservers sehen.

Abschließende Überlegungen

Die Verwendung eines Proxys mit cURL ist eine leistungsstarke Möglichkeit, Ihre Privatsphäre zu schützen, den Datenverkehr zu verwalten und Einschränkungen zu umgehen. Unabhängig davon, ob Sie mit HTTP-, HTTPS- oder SOCKS-Proxys arbeiten, können Sie mit cURL Ihre Anfragen ganz einfach über verschiedene Server leiten. Mit der Möglichkeit, Proxys mithilfe von Befehlszeilenoptionen, Umgebungsvariablen oder Konfigurationsdateien festzulegen, haben Sie die volle Kontrolle darüber, wie Ihre Anfragen behandelt werden.

Folgen Sie dieser Anleitung und Sie können cURL mit Proxys in kürzester Zeit in Ihrem Workflow verwenden, perfekt für Web Scraping, Automatisierung oder sogar nur einfache API-Anfragen. Proxys helfen dabei, Ihre IP zu verbergen und geografische Beschränkungen zu umgehen. Sie sind daher für viele Benutzer, die sicher und anonym surfen müssen, unverzichtbar. Wenn Sie nach einem Proxy-Anbieter suchen, können Sie Crawlbases wählen. Smart Proxy Service, einer der besten auf dem Markt.

Unabhängig davon, ob Sie Linux, macOS oder Windows verwenden, ist der Vorgang derselbe und mit der richtigen Konfiguration können Sie Ihre Proxys verwalten. Testen Sie Ihre Konfiguration immer regelmäßig, um sicherzustellen, dass alles reibungslos funktioniert. Viel Spaß beim Programmieren!

Häufig gestellte Fragen

F: Was ist ein Proxy in cURL?

Ein Proxy in cURL ist ein Zwischenserver, der zwischen Ihrem Computer und dem Internet sitzt. Mithilfe eines Proxys leitet cURL Ihre Anfragen über den Proxyserver, anstatt direkt an die Website zu gehen. Dadurch wird Ihre echte IP-Adresse verborgen, die Privatsphäre verbessert und geografische Beschränkungen umgangen.

F: Kann ich cURL mit einem SOCKS-Proxy verwenden?

Ja, Sie können cURL mit SOCKS-Proxys wie SOCKS4 oder SOCKS5 verwenden. Fügen Sie Ihrem cURL-Befehl einfach das richtige Protokoll hinzu, wie socks5:// für SOCKS5-Proxys. Dies ist hilfreich, wenn Sie mit Netzwerkkonfigurationen arbeiten, die SOCKS benötigen oder die Anonymität wahren möchten.

F: Wie lege ich einen Standardproxy für cURL fest?

Sie können einen Standardproxy für cURL mithilfe einer Konfigurationsdatei festlegen. Für Linux und macOS erstellen Sie eine .curlrc Datei in Ihrem Home-Verzeichnis, in der Sie Ihre Proxy-Details ablegen können. Für Windows ist es _curlrc begann %APPDATA% Verzeichnis. Auf diese Weise verwendet cURL immer den Proxy, ohne dass Sie ihn in jedem Befehl angeben müssen.