cURL появился на свет для передачи данных. В сочетании с прокси-сервером он превращается в мощный инструмент для добычи данных.
В этом руководстве мы познакомимся с cURL и объясним несколько различных способов его использования с прокси-серверами.
Что такое прокси?
Прокси-сервер - это компьютер, который находится между вашим компьютером и Интернетом и маршрутизирует весь ваш сетевой трафик. Он может использоваться для различных целей, например, для кэширования веб-страниц или анонимизации соединения.
Жилойпрокси-сервер подключает вас к Интернету через другой реальный сервер (обычно расположенный в другом месте), создавая впечатление, что вы выходите в Интернет не из своего дома, а из этого места.
Что такое cURL?
Если вы никогда не слышали о cURL, то, возможно, знаете его под более старыми названиями - httpget или urlget. Он существует уже довольно давно, с 1996 года. Это удобный инструмент, позволяющий передавать данные с удаленных серверов. С помощью cURL можно использовать прокси-серверы для получения веб-страниц, загрузки удаленных файлов и многих других незаметных действий.
Что такое URL?
Uniform Resource Locator - это правильный термин для обозначения веб-адреса, например, https://example.com. (Что? Это хороший пример!).
Первая часть URL (HTTPS) - это идентификатор протокола. Иногда в качестве протокола используется HTTP, а иногда - HTTPS. Разница в том, что в одном случае (HTTPS) используется защищенный протокол с шифрованием, а в другом (HTTP) - незашифрованный. Существует еще множество протоколов, но я остановлюсь в основном на этих двух.
Что выбрать? Это зависит от вашей готовности к риску. Подробнее о шифровании и рисках можно прочитать здесь.
Вторая часть URL (example.com) является ресурсом.
А маленькая "c" перед URL?
Оно означает " клиент". (Это вы)
Объедините их, и вы получите cURL. Вы и URL, соединяющий и находящий ресурсы вместе. (Трогательные вещи!)
Что делает cURL?
cURL работает под управлением операционных систем Linux, Windows и Mac, а также Android и iOS. Кроме того, он предоставляет возможности для настройки своих функций, что делает его востребованным инструментом в сообществе веб-мастеров.
Кроме того, он поддерживает такие методы аутентификации, как Basic и Digest, и отлично справляется с настройками HTTP-прокси на уровне пользователя.
cURL имеет множество конфигурационных опций, позволяющих определить, что он должен делать при возникновении определенных условий, например, кода ошибки HTTP.
Итог: он делает большинство вещей, которые делает браузер, но все это в маленьком черном окошке без картинок и прочих интересных вещей.
Краткое руководство по установке cURL:
Если вы используете Mac OSX или устройство Apple (IOS), то curl поставляется с предустановленной программой, поэтому эту часть можно пропустить.
В Windows, где уже установлен Cygwin, cURL будет распознаваться как встроенная команда, поэтому скачивать его не нужно. Если вы пользуетесь Windows и у вас не установлен Cygwin, то, скорее всего, cURL отсутствует в каталоге c:\windows\system32
Например, если вы используете Ubuntu, то cURL будет доступен в репозиториях по умолчанию, поэтому просто выполните эту команду: Sudo apt-get install curl.
Основные части командной строки cURL
Если вы не являетесь компьютерным астрофизиком, позвольте мне пролить свет на структуру командной строки.
- Протокол - относится к схемам сетевого взаимодействия, таким как HTTP, HTTPS, SOCKS и т.д.
- Прокси-сервер — адрес прокси-сервера или хоста прокси, который вы планируете использовать
- Номер порта - порт, через который будет осуществляться доступ
- Адрес ресурса - веб-страница, на которую вы хотите нацелиться
- Имя пользователя и пароль - если прокси-адрес требует аутентификации
- Теги - это параметры командной строки, которые включают и выключают каждую команду
- Аргументы командной строки - позволяют передать информацию об опции (теге) командной строки
Сложите их вместе, и вы получите нечто подобное:
Как запустить cURL с прокси-серверами?
Вы можете настроить cURL для работы с различными типами прокси, такими как прокси-серверы для частного использования, частные прокси, общие прокси и прокси из центров обработки данных.
Наиболее распространенным способом настройки cURL с прокси-серверами является использование команды proxy.
Использование команд прокси-сервера
Команда прокси - это опция командной строки, или метка, которая влияет на строку прокси (реквизиты прокси + порт + пользователь + пасс). В основном это влияние сводится к включению или выключению прокси.
Каждый тег имеет короткую (-) и длинную (-) версии. Это напоминает азбуку Морзе: "dits" и "dahs".
-x является коротким вариантом.
является длинным вариантом.
Оба они делают одно и то же, за исключением того, что -x более эффективен (и, возможно, более эстетичен).
Чтобы правильно подключить cURL к прокси-серверу, используйте тег -x или -proxy, после которого указывается протокол, прокси-сервер, номер порта и ресурс, который вам нужен.
Вот пример того, как может выглядеть командная строка:
-x, --proxy [protocol]://[proxyhost]:[port][resource address]И немного более насыщенный:
-x, --proxy http://residential.ipb.server:7777 https://google.comСуществует еще несколько способов использования прокси с cURL.
В следующих разделах будут рассмотрены базовая схема аутентификации, использование переменных окружения, псевдонима, файла reconfig, различных протоколов и отключение прокси-серверов.
cURL с именем пользователя и паролем
Для использования прокси-схемы аутентификации используется тег -u или -proxy-user. Прямо между строкой proxy и ресурсом бросьте тег, имя пользователя и пароль.
$ curl -x http://residential.ipb.server:7777 [-u username:password] http://google.comИспользование псевдонима
Псевдоним для команды, для прокси - звучит как сверхсекретная тактика тройного агента.
На самом деле все очень просто.
Вы просто делаете команду curl равной команде curl + реквизиты прокси.
Поэтому при входе:
$ curl https//google.comНа самом деле это означает:
$ curl -x [all your proxy details] https://google.comКак же происходит это волшебство? Очень просто (как я уже сказал):
$ alias curl=curl -x [enter all the proxy details here]Использование переменных окружения
Что такое переменная среды? Если вы думаете о чем-то вроде скользкой дороги из-за дождя - близко, но не совсем.
В данном случае это короткий путь.
Вместо того чтобы постоянно вводить строку прокси, можно установить прокси на постоянной основе.
Переменные окружения работают для всех типов протоколов. Достаточно включить ее, установив переменную PROTOCOL_PROXY.
http_proxy, HTTPS_PROXY, FTP_PROXY...и так далее для любой выбранной вами комбинации протокол_прокси. Обратите внимание, что HTTP - единственный протокол, написанный маленькими буквами. Это сделано специально. Это единственный протокол, который должен быть в нижнем регистре, но я не буду вдаваться в технические причины этого.
Также можно использовать:
ALL_PROXYесли ваши задачи не зависят от конкретного протокола.
Например, составим прокси-строку по данному шаблону:
$ curl -x [proxy server]:[port] [username:password] [resource](выдумывает)
$ curl -x http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.comПри использовании опции proxy-команды пришлось бы постоянно вводить это значение. Вместо этого установите переменную с помощью export, например, так:
export http_proxy=http://180.1.0.0.1222:8080 -u jumpingjack:candlestick https://nimblejack.com
or
export WHATEVER OTHER PROTOCOL YOU WANT_PROXY:// [proxy server]:[port] [username:password]Теперь все, что нужно ввести в командную строку, это:
$ curl https//nimblejack.comИ вы готовы к работе!
Примечание: Если после установки переменной окружения требуется использовать другой прокси, то метки -x отменяют ее действие.
Изменить файл rc.file
Здесь вы используете встроенную возможность cURL, позволяющую применять настройки по умолчанию. При запуске программа будет искать файл reconfig в папке %APPDATA% или %USERPROFILE%\Application Data.
На Mac и Linux он будет выглядеть как rc.file, а на Windows - как _curlrc.
Поэтому достаточно открыть этот файл и изменить реквизиты прокси:
proxy=http://[proxy details]cURL с прокси-сервером SOCKS
cURL поддерживает SOCKS версий SOCKS4 и SOCKS5.
Если прокси-серверы используют протоколы socks, то синтаксис остается прежним: -socks4://, socks4a:// или socks5://.
Здесь приведены опции командной строки для каждой конкретной версии SOCKS:
SOCKS4:
$ curl -x socks4://180.1.0.0.1222:8080 http://ipburger.comSOCKS4A:
$ curl -x socks4a://180.1.0.0.1222:8080 http://ipburger.com/bestresidentialproxiesSOCKS5:
$ curl -x socks5://180.1.0.0.1222:8080 http://ipburger.com/betterthanoxylabsandbrightdataSOCKS5H:
$ curl -x socks5h://180.1.0.0.1222:8080 http://ipburger.com/decentreadingmaterialtooВы можете заметить, что я не указал номер порта после IP-адреса.
(Может быть, вы отвлеклись...)
При использовании протокола SOCKS не нужно указывать номер порта в URL, поскольку в этом нет необходимости.
Чтобы вы знали.
Отключить прокси-серверы
Теперь мы знаем, что cURL с прокси можно установить самыми разными способами. Это упрощает работу с cURL и экономит время на набор текста. Однако в некоторых ситуациях может потребоваться сбросить текущие настройки прокси и подключиться напрямую.
Опция -noproxy может быть использована для отключения текущей конфигурации прокси.
$ curl --noproxy http://ipburger.comПрокси-серверы IP Burger cURL
Вы можете просто пропустить композицию командной строки. Несомненно, это может быть утомительно. Поэтому не стоит осуждать, если вы предпочитаете, чтобы они были составлены за вас. На самом деле, я это поощряю.
Не только потому, что IPBurger предоставляет прокси-серверы с домашними IP-адресами прямо с сервера за считанные секунды, но и потому, что вы, скорее всего, занимаетесь чем-то интересным. И я бы предпочёл, чтобы вы тратили время на это, а не играли в «Лего» с булевыми битами.
Можно просто загрузить готовый список прокси-серверов с аргументом командной строки, параметром командной строки, протоколом хост-порт, именем пользователя и передать на место.
Все они подключаются к жилым прокси-серверам, которые идеально подходят для веб-скрапинга и других полезных вещей.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Почему cURL не всегда использует один и тот же прокси?
В программе нет возможности использовать один конкретный пул домашних IP-адресов из списка. Лучший вариант — запустить несколько экземпляров cURL одновременно в отдельных окнах терминала, каждый из которых будет работать через свой домашний прокси-сервер. Это гарантирует, что каждый запрос будет получать свой собственный пул домашних IP-адресов.
Можно ли смешивать протоколы HTTP и HTTPS?
Вы можете полностью смешивать запросы, если они имеют как прозрачные, так и анонимные учетные данные. Если вы планируете загружать файлы по HTTPS, cURL всегда будет самостоятельно выбирать HTTPS.
Как настроить cURL на одновременное использование различных прокси-серверов?
В cURL нет опции пула прокси. Он поддерживает только один прокси одновременно. Чтобы использовать его с несколькими прокси, необходимо задать их в качестве опций cURL и передать в качестве аргумента. Другими словами,
curl -x http://addr1:port1 -u username -p password URL_SCHEME://addr2:port2Если вы хотите, чтобы cURL работал с двумя и более прокси-серверами через переменные окружения, просто добавьте настройки прокси-сервера в файл .bashrc. Тогда вы сможете получить доступ к любому прокси-серверу с помощью cURL через этот конкретный прокси-сервер, набрав команду в терминале без аргументов после экспорта вашего профиля оболочки.
Должны ли прокси-серверы cURL быть статическими?
Нет. Прокси-серверы cURL представляют собой IP-адреса по месту жительства и часто меняются. Другими словами, они могут быть динамическими. Динамические домашние IP-адреса будут адекватно работать с cURL, если они достаточно быстры, чтобы запросы проходили через них беспрепятственно.
Для чего используется curl?
Вы можете использовать его по своему усмотрению. Как правило, это утилита командной строки, которую можно использовать для поиска информации в Интернете или загрузки файлов.
Какие прокси-серверы мне нужны?
Вам нужны прокси-серверы, которые отличаются хорошим качеством, поскольку они могут автоматически преодолевать CAPTCHA, не вызывая тревоги. Вам следует рассмотреть возможность использования универсальных прокси-серверов, в которых пользователи могут выбирать различные параметры, такие как скорость, уровень анонимности и страна.
Для получения дополнительной информации об этих опциях наберите в терминале "man curl" или "curl -h". Появится страница man. (Это не то, что вы думаете.)
