cURL появился на свет для передачи данных. В сочетании с прокси-сервером он превращается в мощный инструмент для добычи данных.
В этом руководстве мы познакомимся с cURL и объясним несколько различных способов его использования с прокси-серверами.
Что такое прокси?
Прокси-сервер - это компьютер, который находится между вашим компьютером и Интернетом и маршрутизирует весь ваш сетевой трафик. Он может использоваться для различных целей, например, для кэширования веб-страниц или анонимизации соединения.
Жилойпрокси-сервер подключает вас к Интернету через другой реальный сервер (обычно расположенный в другом месте), создавая впечатление, что вы выходите в Интернет не из своего дома, а из этого места.
Что такое cURL?
Если вы никогда не слышали о cURL, то, возможно, знаете его под более старыми названиями - httpget или urlget. Он существует уже довольно давно, с 1996 года. Это удобный инструмент, позволяющий передавать данные с удаленных серверов. С помощью cURL можно использовать прокси-серверы для получения веб-страниц, загрузки удаленных файлов и многих других незаметных действий.
Что такое URL?
Uniform Resource Locator - это правильный термин для обозначения веб-адреса, например, https://example.com. (Что? Это хороший пример!).
Первая часть URL (HTTPS) - это идентификатор протокола. Иногда в качестве протокола используется HTTP, а иногда - HTTPS. Разница в том, что в одном случае (HTTPS) используется защищенный протокол с шифрованием, а в другом (HTTP) - незашифрованный. Существует еще множество протоколов, но я остановлюсь в основном на этих двух.
Which should you use? It depends on your risk tolerance. You can read more about encryption and risk here.
Вторая часть URL (example.com) является ресурсом.
А маленькая "c" перед URL?
Оно означает " клиент". (Это вы)
Объедините их, и вы получите cURL. Вы и URL, соединяющий и находящий ресурсы вместе. (Трогательные вещи!)
Что делает cURL?
cURL работает под управлением операционных систем Linux, Windows и Mac, а также Android и iOS. Кроме того, он предоставляет возможности для настройки своих функций, что делает его востребованным инструментом в сообществе веб-мастеров.
It also supports authentication methods such as Basic and Digest and can handle user-level HTTP proxy configurations exceptionally well.
cURL имеет множество конфигурационных опций, позволяющих определить, что он должен делать при возникновении определенных условий, например, кода ошибки HTTP.
Итог: он делает большинство вещей, которые делает браузер, но все это в маленьком черном окошке без картинок и прочих интересных вещей.
Краткое руководство по установке cURL:
Если вы используете Mac OSX или устройство Apple (IOS), то curl поставляется с предустановленной программой, поэтому эту часть можно пропустить.
For Windows with Cygwin already installed, curl will be recognized as an internal command, so there’s no need to download it. If you’re a Windows user and don’t have Cygwin installed, cURL is most likely not in your c:windowssystem32 directory
Например, если вы используете Ubuntu, то cURL будет доступен в репозиториях по умолчанию, поэтому просто выполните эту команду: Sudo apt-get install curl.
Основные части командной строки cURL
Если вы не являетесь компьютерным астрофизиком, позвольте мне пролить свет на структуру командной строки.
- Протокол - относится к схемам сетевого взаимодействия, таким как HTTP, HTTPS, SOCKS и т.д.
- Proxy server – the address of the proxy server or proxy host you plan to use
- Номер порта - порт, через который будет осуществляться доступ
- Адрес ресурса - веб-страница, на которую вы хотите нацелиться
- Имя пользователя и пароль - если прокси-адрес требует аутентификации
- Теги - это параметры командной строки, которые включают и выключают каждую команду
- Аргументы командной строки - позволяют передать информацию об опции (теге) командной строки
Сложите их вместе, и вы получите нечто подобное:
Как запустить cURL с прокси-серверами?
You can set up cURL with various kinds of proxies like residential proxies, private proxies, shared proxies, and datacenter proxies.
Наиболее распространенным способом настройки cURL с прокси-серверами является использование команды proxy.
Использование команд прокси-сервера
Команда прокси - это опция командной строки, или метка, которая влияет на строку прокси (реквизиты прокси + порт + пользователь + пасс). В основном это влияние сводится к включению или выключению прокси.
Каждый тег имеет короткую (-) и длинную (-) версии. Это напоминает азбуку Морзе: "dits" и "dahs".
-x является коротким вариантом.
является длинным вариантом.
Оба они делают одно и то же, за исключением того, что -x более эффективен (и, возможно, более эстетичен).
Чтобы правильно подключить cURL к прокси-серверу, используйте тег -x или -proxy, после которого указывается протокол, прокси-сервер, номер порта и ресурс, который вам нужен.
Вот пример того, как может выглядеть командная строка:
-x, --proxy [protocol]://[proxyhost]:[port][resource address]И немного более насыщенный:
-x, --proxy http://residential.ipb.server:7777 https://google.comСуществует еще несколько способов использования прокси с cURL.
В следующих разделах будут рассмотрены базовая схема аутентификации, использование переменных окружения, псевдонима, файла reconfig, различных протоколов и отключение прокси-серверов.
cURL с именем пользователя и паролем
Для использования прокси-схемы аутентификации используется тег -u или -proxy-user. Прямо между строкой proxy и ресурсом бросьте тег, имя пользователя и пароль.
$ curl -x http://residential.ipb.server:7777 [-u username:password] http://google.comИспользование псевдонима
Псевдоним для команды, для прокси - звучит как сверхсекретная тактика тройного агента.
На самом деле все очень просто.
Вы просто делаете команду curl равной команде curl + реквизиты прокси.
Поэтому при входе:
$ curl https//google.comНа самом деле это означает:
$ curl -x [all your proxy details] https://google.comКак же происходит это волшебство? Очень просто (как я уже сказал):
$ alias curl=curl -x [enter all the proxy details here]Использование переменных окружения
Что такое переменная среды? Если вы думаете о чем-то вроде скользкой дороги из-за дождя - близко, но не совсем.
В данном случае это короткий путь.
Вместо того чтобы постоянно вводить строку прокси, можно установить прокси на постоянной основе.
Переменные окружения работают для всех типов протоколов. Достаточно включить ее, установив переменную PROTOCOL_PROXY.
http_proxy, HTTPS_PROXY, FTP_PROXY...и так далее для любой выбранной вами комбинации протокол_прокси. Обратите внимание, что HTTP - единственный протокол, написанный маленькими буквами. Это сделано специально. Это единственный протокол, который должен быть в нижнем регистре, но я не буду вдаваться в технические причины этого.
Также можно использовать:
ALL_PROXYесли ваши задачи не зависят от конкретного протокола.
Например, составим прокси-строку по данному шаблону:
$ curl -x [proxy server]:[port] [username:password] [resource](выдумывает)
$ curl -x http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.comПри использовании опции proxy-команды пришлось бы постоянно вводить это значение. Вместо этого установите переменную с помощью export, например, так:
export http_proxy=http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.com
or
export WHATEVER OTHER PROTOCOL YOU WANT_PROXY:// [proxy server]:[port] [username:password]Теперь все, что нужно ввести в командную строку, это:
$ curl https//nimblejack.comИ вы готовы к работе!
Примечание: Если после установки переменной окружения требуется использовать другой прокси, то метки -x отменяют ее действие.
Изменить файл rc.file
Here you appeal to cURL’s inherent nature to use its default settings. When the program loads, it will search %APPDATA% or %USERPROFILE%Application Data for the reconfig file.
На Mac и Linux он будет выглядеть как rc.file, а на Windows - как _curlrc.
Поэтому достаточно открыть этот файл и изменить реквизиты прокси:
proxy=http://[proxy details]cURL с прокси-сервером SOCKS
cURL поддерживает SOCKS версий SOCKS4 и SOCKS5.
Если прокси-серверы используют протоколы socks, то синтаксис остается прежним: -socks4://, socks4a:// или socks5://.
Здесь приведены опции командной строки для каждой конкретной версии SOCKS:
SOCKS4:
$ curl -x socks4://180.1.0.0.1222:8080 http://ipburger.comSOCKS4A:
$ curl -x socks4a://180.1.0.0.1222:8080 http://ipburger.com/bestresidentialproxiesSOCKS5:
$ curl -x socks5://180.1.0.0.1222:8080 http://ipburger.com/betterthanoxylabsandbrightdataSOCKS5H:
$ curl -x socks5h://180.1.0.0.1222:8080 http://ipburger.com/decentreadingmaterialtooВы можете заметить, что я не указал номер порта после IP-адреса.
(Может быть, вы отвлеклись...)
При использовании протокола SOCKS не нужно указывать номер порта в URL, поскольку в этом нет необходимости.
Чтобы вы знали.
Отключить прокси-серверы
Теперь мы знаем, что cURL с прокси можно установить самыми разными способами. Это упрощает работу с cURL и экономит время на набор текста. Однако в некоторых ситуациях может потребоваться сбросить текущие настройки прокси и подключиться напрямую.
Опция -noproxy может быть использована для отключения текущей конфигурации прокси.
$ curl --noproxy http://ipburger.comПрокси-серверы IP Burger cURL
Вы можете просто пропустить композицию командной строки. Несомненно, это может быть утомительно. Поэтому не стоит осуждать, если вы предпочитаете, чтобы они были составлены за вас. На самом деле, я это поощряю.
Not just because IPBurger delivers residential curl proxies hot off the server, in seconds, but also because you’re probably doing something cool. And I’d rather you spend time doing that than playing lego with boolean bits.
Можно просто загрузить готовый список прокси-серверов с аргументом командной строки, параметром командной строки, протоколом хост-порт, именем пользователя и передать на место.
Все они подключаются к жилым прокси-серверам, которые идеально подходят для веб-скрапинга и других полезных вещей.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Почему cURL не всегда использует один и тот же прокси?
It doesn’t have a way to utilize a single or specific pool of residential IPs from the list. The best option is to run multiple cURLs simultaneously from separate terminal windows, each on different residential proxies. This guarantees that every request gets its own pool of residential IP addresses.
Можно ли смешивать протоколы HTTP и HTTPS?
Вы можете полностью смешивать запросы, если они имеют как прозрачные, так и анонимные учетные данные. Если вы планируете загружать файлы по HTTPS, cURL всегда будет самостоятельно выбирать HTTPS.
Как настроить cURL на одновременное использование различных прокси-серверов?
В cURL нет опции пула прокси. Он поддерживает только один прокси одновременно. Чтобы использовать его с несколькими прокси, необходимо задать их в качестве опций cURL и передать в качестве аргумента. Другими словами,
curl -x http://addr1:port1 -u username -p password URL_SCHEME://addr2:port2Если вы хотите, чтобы cURL работал с двумя и более прокси-серверами через переменные окружения, просто добавьте настройки прокси-сервера в файл .bashrc. Тогда вы сможете получить доступ к любому прокси-серверу с помощью cURL через этот конкретный прокси-сервер, набрав команду в терминале без аргументов после экспорта вашего профиля оболочки.
Должны ли прокси-серверы cURL быть статическими?
Нет. Прокси-серверы cURL представляют собой IP-адреса по месту жительства и часто меняются. Другими словами, они могут быть динамическими. Динамические домашние IP-адреса будут адекватно работать с cURL, если они достаточно быстры, чтобы запросы проходили через них беспрепятственно.
Для чего используется curl?
Вы можете использовать его по своему усмотрению. Как правило, это утилита командной строки, которую можно использовать для поиска информации в Интернете или загрузки файлов.
Какие прокси-серверы мне нужны?
Вам нужны прокси-серверы, которые отличаются хорошим качеством, поскольку они могут автоматически преодолевать CAPTCHA, не вызывая тревоги. Вам следует рассмотреть возможность использования универсальных прокси-серверов, в которых пользователи могут выбирать различные параметры, такие как скорость, уровень анонимности и страна.
Для получения дополнительной информации об этих опциях наберите в терминале "man curl" или "curl -h". Появится страница man. (Это не то, что вы думаете.)
