cURL wurde ursprünglich zur Datenübertragung entwickelt. In Verbindung mit einem Proxy verwandelt es sich in ein leistungsstarkes Tool für das Data Mining.
In diesem Leitfaden wird cURL vorgestellt und es werden verschiedene Möglichkeiten erläutert, wie Sie es nahtlos mit Proxys nutzen können.
Was ist ein Proxy?
Ein Proxy ist ein Computer, der sich zwischen Ihrem eigenen Computer und dem Internet befindet und Ihren gesamten Netzwerkverkehr weiterleitet. Sie können ihn für verschiedene Zwecke nutzen, beispielsweise zum Zwischenspeichern von Webseiten oder zur Anonymisierung der Verbindung.
Ein Residential-Proxy verbindet Sie über einen anderen echten Server (in der Regel an einem anderen Standort) mit dem Internet, sodass es so aussieht, als würden Sie von diesem Ort aus surfen und nicht von zu Hause aus.
Was ist cURL?
Falls Sie noch nie von cURL gehört haben, kennen Sie es vielleicht unter älteren Bezeichnungen – wie httpget oder urlget. Es gibt es bereits seit einiger Zeit, nämlich seit 1996. Es handelt sich um ein praktisches Tool, mit dem Sie Daten von Remote-Servern übertragen können. Sie können cURL in Verbindung mit Proxys nutzen, um Webseiten abzurufen, Dateien von Remote-Servern herunterzuladen und viele weitere Aufgaben unauffällig auszuführen.
Wie lautet die URL?
„Uniform Resource Locator“ ist die korrekte Bezeichnung für eine Webadresse wie beispielsweise https://example.com. (Was? Das ist doch ein gutes Beispiel!)
Der erste Teil der URL (HTTPS) ist die Protokollbezeichnung. Manchmal lautet das Protokoll HTTP, manchmal HTTPS. Der Unterschied besteht darin, dass das eine (HTTPS) ein sicheres Protokoll mit Verschlüsselung verwendet, während das andere (HTTP) unverschlüsselt ist. Es gibt noch viele weitere Protokolle, doch ich werde mich hauptsächlich auf diese beiden konzentrieren.
Welche Option sollten Sie wählen? Das hängt von Ihrer Risikobereitschaft ab. Weitere Informationen zu Verschlüsselung und Risiken finden Sie hier.
Der zweite Teil der URL (example.com) ist die Ressource.
Und das kleine „c“ vor der URL?
Es steht für „Kunde“. (Das sind Sie.)
Kombiniert man beides, erhält man cURL. Sie und die URL – gemeinsam Ressourcen verbinden und lokalisieren. (Das ist ja spannend!)
Was macht cURL?
cURL läuft unter den Betriebssystemen Linux, Windows und Mac sowie unter Android und iOS. Es bietet zudem Möglichkeiten zur individuellen Anpassung seiner Funktionen, was es zu einem sehr beliebten Werkzeug in der Webmaster-Community macht.
Zudem unterstützt es Authentifizierungsmethoden wie „Basic“ und „Digest“ und kann HTTP-Proxy-Konfigurationen auf Benutzerebene außerordentlich gut verarbeiten.
cURL verfügt über zahlreiche Konfigurationsoptionen, mit denen Sie festlegen können, wie das Programm bei bestimmten Bedingungen – beispielsweise bei einem HTTP-Fehlercode – reagieren soll.
Fazit: Er kann fast alles, was ein Browser kann, allerdings in einem winzigen schwarzen Fenster ohne Bilder und all die anderen netten Extras.
Kurzanleitung zur Installation von cURL:
Wenn Sie Mac OS X oder ein Apple-Gerät (iOS) verwenden, ist curl bereits vorinstalliert; überspringen Sie diesen Abschnitt daher einfach.
Unter Windows, auf dem Cygwin bereits installiert ist, wird curl als interner Befehl erkannt, sodass Sie es nicht herunterladen müssen. Wenn Sie Windows nutzen und Cygwin nicht installiert haben, befindet sich cURL höchstwahrscheinlich nicht in Ihrem Verzeichnis „c:\windows\system32“.
Wenn Sie beispielsweise Ubuntu verwenden, ist cURL in den Standard-Repositories verfügbar. Geben Sie daher einfach folgenden Befehl ein: `sudo apt-get install curl`.
Die wesentlichen Bestandteile einer cURL-Befehlszeile
Falls Sie kein Computerastrophysiker sind, möchte ich Ihnen gerne die Struktur einer Befehlszeile näher erläutern.
- Protokoll – bezeichnet Netzwerkkommunikationsschemata wie HTTP, HTTPS, SOCKS usw.
- Proxy-Server – die Adresse des Proxy-Servers oder Proxy-Hosts, den Sie verwenden möchten
- Portnummer – der Port, über den Sie den Zugriff herstellen werden
- Ressourcenadresse – die Webseite, auf die Sie verweisen möchten
- Benutzername und Passwort – falls für die Proxy-Adresse eine Authentifizierung erforderlich ist
- Tags – sind die Befehlszeilenoptionen, mit denen die einzelnen Befehle aktiviert und deaktiviert werden
- Befehlszeilenargumente – ermöglichen es Ihnen, Informationen zu den Befehlszeilenoptionen (Tags) zu übergeben
Wenn man all das zusammenfasst, ergibt sich in etwa Folgendes:
Wie führt man cURL mit Proxys aus?
Sie können cURL mit verschiedenen Arten von Proxys einrichten, darunter Residential-Proxys, private Proxys, gemeinsam genutzte Proxys und Rechenzentrums-Proxys.
Die gängigste Methode, cURL mit Proxys einzurichten, ist die Verwendung eines Proxy-Befehls.
Verwendung von Proxy-Befehlen
Ein Proxy-Befehl ist eine Befehlszeilenoption oder ein Tag, das die Proxy-Zeichenkette (Proxy-Details + Port + Benutzername + Passwort) beeinflusst. In den meisten Fällen dient dies lediglich dazu, den Proxy ein- oder auszuschalten.
Jedes Tag gibt es in einer kurzen (-) und einer langen (–) Version. So ähnlich wie die „Dits“ und „Dahs“ im Morsecode.
-x ist die kurze Variante.
ist die Long-Option.
Beide erfüllen denselben Zweck, mit dem Unterschied, dass die Variante mit -x effizienter (und vielleicht auch ästhetisch ansprechender) ist.
Um cURL ordnungsgemäß mit einem Proxy zu verbinden, verwenden Sie den Parameter -x oder –proxy, gefolgt vom Protokoll, dem Proxy-Server, der Portnummer und der gewünschten Ressource.
Hier ist ein sehr einfaches Beispiel dafür, wie die Befehlszeile aussehen könnte:
-x, --proxy [protocol]://[proxyhost]:[port][resource address]Und etwas ausführlicher:
-x, --proxy http://residential.ipb.server:7777 https://google.comEs gibt noch einige weitere Möglichkeiten, einen Proxy mit cURL zu verwenden.
In den folgenden Abschnitten werden das grundlegende Authentifizierungsschema, die Verwendung von Umgebungsvariablen, ein Alias, die Konfigurationsdatei „reconfig“, verschiedene Protokolle sowie die Deaktivierung von Proxys behandelt.
cURL mit Benutzername und Passwort
Das Flag zur Verwendung eines Proxy-Authentifizierungsschemas lautet -u oder –proxy-user. Fügen Sie das Flag, den Benutzernamen und das Passwort direkt zwischen der Proxy-Zeichenkette und der Ressource ein.
$ curl -x http://residential.ipb.server:7777 [-u username:password] http://google.comVerwendung eines Alias
Ein Alias für einen Befehl oder einen Proxy klingt nach streng geheimen Taktiken à la Dreifachagent.
Das ist eigentlich ganz einfach.
Sie setzen den `curl`-Befehl einfach gleich dem `curl`-Befehl plus den Proxy-Angaben.
Wenn Sie also Folgendes eingeben:
$ curl https//google.comDas bedeutet eigentlich:
$ curl -x [all your proxy details] https://google.comWie funktioniert dieser Zauber? Ganz einfach (wie ich bereits sagte):
$ alias curl=curl -x [enter all the proxy details here]Verwendung von Umgebungsvariablen
Was ist eine Umgebungsvariable? Wenn Sie dabei an etwas wie rutschige Straßenverhältnisse aufgrund von Regen denken – fast richtig, aber nicht ganz.
In diesem Fall handelt es sich um eine Abkürzung.
Anstatt die Proxy-Zeichenfolge jedes Mal neu einzugeben, können Sie den Proxy dauerhaft festlegen.
Umgebungsvariablen funktionieren bei jeder Art von Protokoll. Sie müssen lediglich die Funktion aktivieren, indem Sie die Variable PROTOCOL_PROXY setzen.
http_proxy, HTTPS_PROXY, FTP_PROXY…und so weiter, unabhängig davon, für welche Kombination aus Protokoll und Proxy Sie sich entscheiden. Beachten Sie, dass „HTTP“ als einziges in Kleinbuchstaben geschrieben ist. Das ist beabsichtigt. Es ist das einzige, das in Kleinbuchstaben geschrieben werden muss, doch auf den technischen Grund dafür werde ich hier nicht näher eingehen.
Sie können auch Folgendes verwenden:
ALL_PROXYsofern Ihre Aufgaben nicht protokollspezifisch sind.
Nehmen wir zum Beispiel einmal an, wir würden eine Proxy-Zeichenkette nach folgendem Muster erstellen:
$ curl -x [proxy server]:[port] [username:password] [resource](sich etwas ausdenken)
$ curl -x http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.comWenn Sie die Befehlsoption „proxy“ verwenden, müssten Sie dies jedes Mal neu eingeben. Legen Sie die Variable stattdessen mit „export“ wie folgt fest:
export http_proxy=http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.com
or
export WHATEVER OTHER PROTOCOL YOU WANT_PROXY:// [proxy server]:[port] [username:password]Nun müssen Sie in der Befehlszeile lediglich Folgendes eingeben:
$ curl https//nimblejack.comUnd schon können Sie loslegen!
Hinweis: Wenn Sie nach dem Festlegen einer Umgebungsvariable einen anderen Proxy verwenden möchten, werden diese Einstellungen durch die Option -x überschrieben.
Ändern Sie die rc-Datei
Hier nutzen Sie die Eigenschaft von cURL, die Standardeinstellungen zu verwenden. Beim Start des Programms wird im Verzeichnis %APPDATA% oder %USERPROFILE%\Application Data nach der Konfigurationsdatei gesucht.
Auf Mac und Linux heißt die Datei „rc.file“, unter Windows hingegen „_curlrc“.
Sie müssen also lediglich diese Datei öffnen und die Proxy-Einstellungen ändern:
proxy=http://[proxy details]cURL mit einem SOCKS-Proxy
cURL unterstützt die SOCKS-Versionen SOCKS4 und SOCKS5.
Falls die Proxy-Server SOCKS-Protokolle verwenden, bleibt die Syntax unverändert: -socks4://, socks4a:// oder socks5://.
Hier finden Sie die Befehlszeilenoptionen für die einzelnen SOCKS-Versionen:
SOCKS4:
$ curl -x socks4://180.1.0.0.1222:8080 http://ipburger.comSOCKS4A:
$ curl -x socks4a://180.1.0.0.1222:8080 http://ipburger.com/bestresidentialproxiesSOCKS5:
$ curl -x socks5://180.1.0.0.1222:8080 http://ipburger.com/betterthanoxylabsandbrightdataSOCKS5H:
$ curl -x socks5h://180.1.0.0.1222:8080 http://ipburger.com/decentreadingmaterialtooIhnen ist vielleicht aufgefallen, dass ich hinter der IP-Adresse keine Portnummer angegeben habe.
(Vielleicht waren Sie abgelenkt …)
Bei Verwendung des SOCKS-Protokolls müssen Sie in der URL keine Portnummer angeben, da dies nicht erforderlich ist.
Nur damit Sie Bescheid wissen.
Proxys deaktivieren
Wir wissen nun, dass cURL mit einem Proxy auf vielfältige Weise konfiguriert werden kann. Dies erleichtert die Verwendung von cURL und spart Zeit beim Tippen. In manchen Situationen kann es jedoch erforderlich sein, Ihre aktuellen Proxy-Einstellungen zurückzusetzen und eine direkte Verbindung herzustellen.
Mit der Option –noproxy können Sie die aktuelle Proxy-Konfiguration deaktivieren.
$ curl --noproxy http://ipburger.comIP-Burger-cURL-Proxys
Sie können die Eingabe über die Befehlszeile einfach überspringen. Das kann zweifellos mühsam sein. Es ist also völlig in Ordnung, wenn Sie es vorziehen, dass diese für Sie zusammengestellt werden. Ich kann Ihnen das sogar nur empfehlen.
Nicht nur, weil IPBurger Ihnen innerhalb von Sekunden brandaktuelle Curl-Proxys für Privathaushalte direkt vom Server liefert, sondern auch, weil Sie wahrscheinlich gerade etwas Tolles machen. Und ich würde es vorziehen, wenn Sie Ihre Zeit damit verbringen, anstatt mit booleschen Bits zu spielen.
Sie können einfach eine Liste mit Proxys herunterladen, in der die Befehlszeilenargumente, Befehlszeilenparameter, Protokolle, Hosts, Ports, Benutzernamen und Passwörter bereits eingetragen sind.
Sie alle stellen eine Verbindung zu Residential-Proxys her, die sich hervorragend für Web-Scraping oder andere interessante Anwendungen eignen, die Sie nutzen.
Häufig gestellte Fragen
Warum verwendet cURL nicht immer denselben Proxy?
Es gibt keine Möglichkeit, einen einzelnen oder bestimmten Pool von privaten IP-Adressen aus der Liste zu nutzen. Die beste Vorgehensweise besteht darin, mehrere cURL-Befehle gleichzeitig in separaten Terminalfenstern auszuführen, wobei jeder Befehl über einen anderen privaten Proxy läuft. Dadurch wird sichergestellt, dass jede Anfrage einen eigenen Pool privater IP-Adressen erhält.
Kann ich die Protokolle HTTP und HTTPS miteinander kombinieren?
Sie können Ihre Anfragen problemlos mischen, solange sie sowohl transparente als auch anonyme Anmeldedaten enthalten. Wenn Sie vorhaben, Dateien über HTTPS herunterzuladen, wählt cURL immer automatisch HTTPS aus.
Wie kann ich cURL so konfigurieren, dass mehrere Proxys gleichzeitig verwendet werden?
cURL verfügt über keine Option für einen Proxy-Pool. Es unterstützt jeweils nur einen Proxy. Um cURL mit mehreren Proxys zu verwenden, sollten Sie diese als cURL-Optionen festlegen und als Argument übergeben. Mit anderen Worten:
curl -x http://addr1:port1 -u username -p password URL_SCHEME://addr2:port2Wenn Sie möchten, dass cURL über Umgebungsvariablen mit zwei oder mehr Proxys arbeitet, fügen Sie die Proxy-Einstellungen einfach in Ihre .bashrc-Datei ein. Anschließend können Sie auf jeden beliebigen Proxy zugreifen, indem Sie cURL über diesen bestimmten Proxy-Server nutzen. Geben Sie dazu nach dem Exportieren Ihres Shell-Profils den Befehl ohne Argumente im Terminal ein.
Müssen cURL-Proxys statisch sein?
Nein. cURL-Proxys sind private IP-Adressen und ändern sich häufig. Mit anderen Worten: Sie können dynamisch sein. Dynamische private IP-Adressen funktionieren mit cURL einwandfrei, sofern sie schnell genug sind, damit die Anfragen reibungslos über sie abgewickelt werden können.
Wozu wird curl verwendet?
Sie können es ganz nach Belieben einsetzen. In der Regel handelt es sich um ein Befehlszeilenprogramm, das Sie zum Web-Scraping oder zum Herunterladen von Dateien verwenden können.
Welche Art von Proxys benötige ich?
Sie benötigen Residential-Proxys von hoher Qualität, da diese CAPTCHAs automatisch umgehen können, ohne Alarm auszulösen. Sie sollten den Einsatz dieser universell einsetzbaren Proxys in Betracht ziehen, bei denen Nutzer verschiedene Optionen wie Geschwindigkeit, Anonymitätsgrad und Land auswählen können.
Wenn Sie weitere Hilfe zu diesen Optionen benötigen, geben Sie im Terminal „man curl“ oder „curl -h“ ein. Daraufhin wird die Man-Seite angezeigt. (Es ist nicht das, was Sie denken.)
