cURL a été créé pour transférer des données. Associé à un proxy, il se transforme en un puissant outil d'exploration de données.
Ce guide présente cURL et explique les différentes façons de l'utiliser de manière transparente avec les proxys.
Qu'est-ce qu'une procuration ?
Un proxy est un ordinateur qui s'intercale entre votre propre ordinateur et l'internet, et qui achemine tout votre trafic réseau. Vous pouvez l'utiliser à diverses fins, comme la mise en cache de pages web ou l'anonymisation de la connexion.
Unproxy résidentiel vous connecte à l'internet par l'intermédiaire d'un autre serveur réel (généralement situé dans un autre endroit), ce qui donne l'impression que vous naviguez à partir de cet endroit et non de votre domicile.
Qu'est-ce que cURL ?
Si vous n'avez jamais entendu parler de cURL, vous le connaissez peut-être sous d'autres noms - httpget ou urlget. Il existe depuis un certain temps, depuis 1996. C'est un outil pratique qui vous permet de transférer des données à partir de serveurs distants. Vous pouvez utiliser cURL avec des proxys pour récupérer des pages web, télécharger des fichiers distants et faire bien d'autres choses sans être détecté.
Quel est l'URL ?
Uniform Resource Locator (localisateur de ressources uniformes) est le terme approprié pour désigner une adresse web telle que https://example.com, par exemple. (Quoi ? C'est un bon exemple !)
La première partie de l'URL (HTTPS) est l'identifiant du protocole. Le protocole est parfois HTTP, parfois HTTPS. La différence est que l'un (HTTPS) utilise un protocole sécurisé avec cryptage, tandis que l'autre (HTTP) n'est pas crypté. Il existe bien d'autres protocoles, mais je me concentrerai principalement sur ces deux-là.
Which should you use? It depends on your risk tolerance. You can read more about encryption and risk here.
La deuxième partie de l'URL (exemple.com) est la ressource.
Et le petit "c" devant l'URL ?
C'est l'abréviation de " client". (C'est-à-dire vous)
Combinez-les et vous obtiendrez cURL. Vous et l'URL, connectant et localisant les ressources ensemble. (Des choses à toucher !)
Que fait cURL ?
cURL fonctionne sur les systèmes d'exploitation Linux, Windows et Mac, ainsi que sur Android et iOS. Il offre également des options de personnalisation de ses fonctionnalités, ce qui en fait un outil très prisé par la communauté des webmasters.
It also supports authentication methods such as Basic and Digest and can handle user-level HTTP proxy configurations exceptionally well.
cURL dispose de nombreuses options de configuration qui vous permettent de décider ce qu'il doit faire lorsqu'il rencontre certaines conditions, telles qu'un code d'erreur HTTP.
En résumé : il fait la plupart des choses qu'un navigateur fait, mais dans une minuscule fenêtre noire sans images et autres trucs amusants.
Guide d'installation rapide de cURL :
Si vous utilisez Mac OSX ou un appareil Apple (IOS), curl est préinstallé, il suffit donc de sauter cette partie.
For Windows with Cygwin already installed, curl will be recognized as an internal command, so there’s no need to download it. If you’re a Windows user and don’t have Cygwin installed, cURL is most likely not in your c:windowssystem32 directory
Par exemple, si vous utilisez Ubuntu, cURL sera disponible dans les dépôts par défaut, il suffit donc de lancer cette commande : Sudo apt-get install curl.
Les éléments essentiels d'une ligne de commande cURL
Si vous n'êtes pas astrophysicien, permettez-moi de vous éclairer sur la structure d'une ligne de commande.
- Protocole - se réfère à des schémas de communication réseau tels que HTTP, HTTPS, SOCKS, etc.
- Proxy server – the address of the proxy server or proxy host you plan to use
- Numéro de port - le port par lequel vous accéderez à l'information
- Adresse de la ressource - la page web que vous souhaitez cibler
- Nom d'utilisateur et mot de passe - si l'adresse du proxy nécessite une authentification
- Tags - sont les options de la ligne de commande qui activent et désactivent chaque commande.
- Arguments de ligne de commande - permettent de transmettre des informations concernant l'option de ligne de commande (tag)
Mettez-les tous ensemble et vous obtiendrez quelque chose comme ceci :
Comment faire fonctionner cURL avec des proxies ?
You can set up cURL with various kinds of proxies like residential proxies, private proxies, shared proxies, and datacenter proxies.
La façon la plus courante de configurer cURL avec des serveurs proxies est d'utiliser une commande de serveur mandataire.
Utilisation des commandes proxy
Une commande de proxy est une option de ligne de commande, ou balise, qui influence la chaîne de proxy (détails du proxy + port + utilisateur + mot de passe). L'influence consiste principalement à activer ou désactiver le proxy.
Chaque balise a une version courte (-) et une version longue (-). Un peu comme les dits et les dahs du code morse.
-x est l'option courte.
est l'option longue.
Les deux font la même chose, mais -x est plus efficace (et peut-être plus esthétique).
Pour connecter correctement cURL à un proxy, utilisez la balise -x ou -proxy suivie du protocole, du serveur proxy, du numéro de port et de la ressource recherchée.
Voici un exemple concret de ce à quoi la ligne de commande pourrait ressembler :
-x, --proxy [protocol]://[proxyhost]:[port][resource address]Et un peu plus étoffé :
-x, --proxy http://residential.ipb.server:7777 https://google.comIl existe d'autres façons d'utiliser un proxy avec cURL.
Les sections suivantes abordent le schéma d'authentification de base, l'utilisation de variables d'environnement, un alias, le fichier reconfig, les différents protocoles et la désactivation des proxies.
cURL avec un nom d'utilisateur et un mot de passe
La balise permettant d'utiliser un système d'authentification par proxy est -u ou -proxy-user. Entre la chaîne proxy et la ressource, ajoutez la balise, le nom d'utilisateur et le mot de passe.
$ curl -x http://residential.ipb.server:7777 [-u username:password] http://google.comUtilisation d'un alias
Un alias pour une commande, pour un proxy, cela ressemble à une tactique top secrète de type triple agent.
C'est en fait assez simple.
Vous rendez la commande curl égale à la commande curl + les détails du proxy.
Ainsi, lorsque vous entrez :
$ curl https//google.comCela signifie en fait :
$ curl -x [all your proxy details] https://google.comComment s'y prend-on pour réaliser cette prouesse ? C'est simple (comme je l'ai dit) :
$ alias curl=curl -x [enter all the proxy details here]Utilisation des variables d'environnement
Qu'est-ce qu'une variable d'environnement ? Si vous pensez à quelque chose comme des routes glissantes à cause de la pluie, vous y êtes presque, mais pas tout à fait.
Dans ce cas, il s'agit d'un raccourci.
Au lieu de saisir la chaîne de proxy en permanence, vous pouvez définir le proxy de manière permanente.
Les variables d'environnement fonctionnent pour tous les types de protocoles. Il suffit de l'activer en définissant la variable PROTOCOL_PROXY.
http_proxy, HTTPS_PROXY, FTP_PROXY...et ainsi de suite pour toute combinaison protocole_proxy que vous choisissez. Remarquez que HTTP est le seul à être écrit en minuscules. C'est un choix délibéré. C'est le seul qui doit être en minuscules, mais je ne m'étendrai pas sur les raisons techniques de ce choix.
Vous pouvez également utiliser :
ALL_PROXYsi vos tâches ne sont pas spécifiques à un protocole.
Par exemple, créons une chaîne proxy en suivant ce modèle :
$ curl -x [proxy server]:[port] [username:password] [resource](inventer des conneries)
$ curl -x http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.comEn utilisant l'option de commande proxy, vous auriez à taper cela tout le temps. Au lieu de cela, définissez la variable avec export, comme ceci :
export http_proxy=http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.com
or
export WHATEVER OTHER PROTOCOL YOU WANT_PROXY:// [proxy server]:[port] [username:password]Maintenant, tout ce que vous avez à entrer dans la ligne de commande est :
$ curl https//nimblejack.comEt c'est parti !
Note : Si vous souhaitez utiliser un proxy différent après avoir défini une variable d'environnement, les balises -x la remplaceront.
Modifier le fichier rc.file
Here you appeal to cURL’s inherent nature to use its default settings. When the program loads, it will search %APPDATA% or %USERPROFILE%Application Data for the reconfig file.
Il ressemblera à rc.file sur Mac et Linux, et à _curlrc sur Windows.
Il vous suffit donc d'ouvrir ce fichier et de modifier les détails du proxy :
proxy=http://[proxy details]cURL avec un proxy SOCKS
cURL prend en charge les versions SOCKS SOCKS4 et SOCKS5.
Si les serveurs proxies utilisent les protocoles socks, la syntaxe reste la même : -socks4://, socks4a:// ou socks5://.
Voici les options de la ligne de commande pour chaque version spécifique de SOCKS :
SOCKS4 :
$ curl -x socks4://180.1.0.0.1222:8080 http://ipburger.comSOCKS4A :
$ curl -x socks4a://180.1.0.0.1222:8080 http://ipburger.com/bestresidentialproxiesSOCKS5 :
$ curl -x socks5://180.1.0.0.1222:8080 http://ipburger.com/betterthanoxylabsandbrightdataSOCKS5H :
$ curl -x socks5h://180.1.0.0.1222:8080 http://ipburger.com/decentreadingmaterialtooVous remarquerez peut-être que je n'ai pas indiqué de numéro de port après l'adresse IP.
(Vous avez peut-être été distrait...)
Lorsque vous utilisez le protocole SOCKS, il n'est pas nécessaire d'inclure un numéro de port dans l'URL.
Juste pour que vous sachiez.
Désactiver les proxys
Nous savons maintenant que cURL avec un proxy peut être mis en place par toutes sortes de moyens. Cela facilite l'exécution de cURL et permet de gagner du temps lors de la saisie. Cependant, dans certaines situations, vous devrez peut-être réinitialiser vos paramètres de proxy actuels et vous connecter directement.
L'option -noproxy peut être utilisée pour désactiver la configuration actuelle du proxy.
$ curl --noproxy http://ipburger.comProxy IP Burger cURL
Vous pouvez simplement ignorer la composition de la ligne de commande. Cela peut être fastidieux, sans aucun doute. Il n'y a donc aucun jugement à porter si vous préférez qu'ils soient composés pour vous. En fait, je l'encourage.
Not just because IPBurger delivers residential curl proxies hot off the server, in seconds, but also because you’re probably doing something cool. And I’d rather you spend time doing that than playing lego with boolean bits.
Vous pouvez simplement télécharger une liste de proxies prêts à l'emploi avec l'argument de ligne de commande, le paramètre de ligne de commande, le port de l'hôte du protocole, le nom d'utilisateur et le mot de passe à la place.
Tous se connectent à des proxys résidentiels qui sont parfaits pour le web scraping, ou d'autres choses cool que vous faites.
FAQ
Pourquoi cURL n'utilise-t-il pas toujours le même proxy ?
It doesn’t have a way to utilize a single or specific pool of residential IPs from the list. The best option is to run multiple cURLs simultaneously from separate terminal windows, each on different residential proxies. This guarantees that every request gets its own pool of residential IP addresses.
Puis-je mélanger les protocoles HTTP et HTTPS ?
Vous pouvez tout à fait mélanger vos requêtes tant qu'elles ont des identifiants transparents et anonymes. Si vous prévoyez de télécharger des fichiers via HTTPS, cURL choisira toujours HTTPS de lui-même.
Comment configurer cURL pour qu'il utilise plusieurs serveurs proxies à la fois ?
cURL n'a pas d'option de pool de proxy. Il ne supporte qu'un seul proxy à la fois. Pour l'utiliser avec plusieurs proxy, vous devez les définir en tant qu'options cURL et les passer en argument. En d'autres termes,
curl -x http://addr1:port1 -u username -p password URL_SCHEME://addr2:port2Si vous souhaitez que cURL fonctionne avec deux ou plusieurs serveurs proxies via des variables d'environnement, il vous suffit d'ajouter les paramètres du serveur mandataire dans votre fichier .bashrc. Vous pouvez alors accéder à n'importe quel proxy en utilisant cURL à travers ce serveur proxy spécifique en tapant la commande dans le terminal sans aucun argument après avoir exporté votre profil shell.
Les serveurs proxies cURL doivent-ils être statiques ?
Non. Les proxys cURL sont des adresses IP résidentielles et changent souvent. En d'autres termes, ils peuvent être dynamiques. Les adresses IP résidentielles dynamiques fonctionneront correctement avec cURL si elles sont suffisamment rapides pour que les requêtes s'y déroulent sans problème.
À quoi sert curl ?
Vous pouvez l'utiliser comme bon vous semble. En général, il s'agit d'un utilitaire en ligne de commande que vous pouvez utiliser pour faire du "web scraping" ou télécharger des fichiers.
De quel type de mandataire ai-je besoin ?
Vous avez besoin de proxys résidentiels de bonne qualité car ils peuvent passer les CAPTCHA automatiquement sans déclencher d'alarmes. Vous devriez envisager d'utiliser ces proxys à taille unique où les utilisateurs peuvent sélectionner différentes options comme la vitesse, le niveau d'anonymat et le pays.
Pour plus d'aide sur ces options, tapez "man curl" ou "curl -h" dans le terminal. La page de manuel s'affichera. (Ce n'est pas ce que vous pensez.)
