Вы наращиваете мощность своего скрейпера — и тут начинаются проблемы. Всюду капчи, скрейпер блокируется при половине запросов, IP-адреса попадают в бан-лист, не успев даже подключиться. И вы начинаете искать способы обойти капчи. Но это не то, на что стоит обращать внимание.
КАПЧИ не являются причиной проблемы. Они лишь сигнализируют о ней. К моменту появления КАПЧИ ваш IP-адрес уже был помечен.
Рынок веб-парсинга к 2032 году, по прогнозам, увеличится почти в три раза. Компании, работающие в таких масштабах, первыми решили проблему интеллектуальной собственности. Именно об этом и идет речь.
Проблемы, связанные с извлечением данных при обходе CAPTCHA, не исчезнут до тех пор, пока не изменится инфраструктура, лежащая в их основе.
О чём на самом деле говорят вам CAPTCHA
Системы защиты от ботов, такие как Cloudflare, DataDome и Akamai, рассчитывают показатель доверия для каждого входящего запроса до того, как контент будет предоставлен. Тип IP-адреса, репутация IP-адреса, отпечаток TLS, отпечаток браузера, заголовки запроса — все эти данные учитываются при расчете показателя, который определяет дальнейшие действия.
Когда этот показатель опускается ниже порогового значения, появляется CAPTCHA. Если он становится достаточно низким, запрос сразу же блокируется.
Именно поэтому решение CAPTCHA не работает в масштабах. Пороговое значение, при котором сработала защита, по-прежнему низкое. Следующий запрос проходит через ту же инфраструктуру и получает тот же результат.
Устранение симптома при том, что основная проблема — обход системы CAPTCHA для сбора данных — остается нерешенной, приводит лишь к увеличению количества CAPTCHA, росту числа блокировок и увеличению времени, затрачиваемого на обслуживание вместо сбора данных.
Почему IP-адреса центров обработки данных не справляются с нагрузкой при масштабировании
IP-адреса центров обработки данных принадлежат облачным провайдерам, таким как AWS, Google Cloud и Azure. Системы защиты от ботов знают все диапазоны IP-адресов, принадлежащие этим провайдерам. Как только поступает запрос из одного из этих диапазонов, он сразу же помечается как потенциально автоматизированный, ещё до того, как будут проверены какие-либо другие параметры.
В этом и заключается структурная проблема обнаружения скрапинга с IP-адресов центров обработки данных. IP-адрес центра обработки данных имеет низкий рейтинг доверия не только из-за того, как вы его использовали. Он имеет низкий рейтинг из-за своей сущности. Ситуацию усугубляют общие IP-адреса центров обработки данных. Сотни скраперов, поочередно подключающихся к одним и тем же адресам, приводят к тому, что эти IP-адреса быстро накапливают историю блокировок. Вы наследуете эту историю в тот момент, когда подключаетесь.
При масштабировании эта проблема быстро усугубляется. Чем больше запросов вы отправляете, тем больше истории накапливается в отношении вашего пула IP-адресов. Если вы пытаетесь избежать проблем с блокировкой IP-адресов при веб-парсинге, чередуя адреса из разных дата-центров, вы просто переключаетесь между большим количеством адресов, у которых присутствует одна и та же структурная проблема.
Проблема с рейтингом доверия уходит корнями глубже, чем просто IP-адрес
Фиксация IP-адреса — это наиболее эффективный шаг, однако системы защиты от ботов не ограничиваются лишь анализом IP-адресов. К моменту поступления запроса уже проанализированы несколько других сигналов.
- Идентификация по отпечатку TLS позволяет определить тип клиента на этапе установления соединения, ещё до начала обмена данными. Большинство HTTP-библиотек генерируют TLS-подпись, отличающуюся от подписи настоящего браузера, что сразу же выдает их.
- Метод «отпечатка браузера» позволяет составить профиль на основе разрешения экрана, установленных шрифтов, рендерера WebGL и данных canvas. «Безголовые» браузеры раскрывают конкретные сведения, которые отличают их от реальных пользовательских сеансов.
- Модели поведения включают в себя временные интервалы между запросами, пути навигации и данные о взаимодействии. Особое внимание привлекают запросы, поступающие с идеально регулярными интервалами или не соответствующие обычному поведению пользователей при просмотре сайта.
- Завершают проверку заголовки запроса. Отсутствующие или несоответствующие заголовки, не совпадающие с указанным User-Agent, сразу же отмечаются как неверные.
Ничто из этого не компенсирует плохой IP-адрес. IP-адрес частного пользователя с высоким показателем доверия повышает вероятность того, что все остальные сигналы будут приняты. IP-адрес из дата-центра негативно влияет на оценку ещё до того, как начнут проверяться остальные сигналы.
Как прокси-серверы для частного использования решают основную проблему
Прокси-серверы для домашнего использования, предназначенные для веб-парсинга, заменяют IP-адреса центров обработки данных на адреса, присваиваемые реальными интернет-провайдерами реальным домашним подключениям. Системы защиты от ботов с самого первого запроса рассматривают их как трафик, с высокой вероятностью исходящий от реальных пользователей, поскольку именно это и указывают метаданные IP-адресов.
Повышение показателя доверия происходит мгновенно. IP-адрес частного пользователя не относится к категории «центр обработки данных», которая вызывает автоматическое присвоение низких оценок. Он начинает с нейтрального или положительного базового значения, что дает остальной части запроса шанс пройти остальные уровни обнаружения.
Ротация решает проблему масштабируемости. Ротация прокси-серверов при скрапинге позволяет распределять запросы по обширному пулу адресов. Ни один отдельный IP-адрес не накапливает достаточное количество запросов, чтобы вызвать обнаружение шаблонов. Каждый адрес в пуле начинает работу с «чистого листа».
Сочетание смены IP-адресов частных пользователей с реалистичными заголовками запросов и случайным интервалом между запросами позволяет достичь показателя успешности 90–95 % на большинстве защищенных веб-сайтов. Именно в этом заключается разница между операцией сбора данных, работающей непрерывно, и той, которая половину времени тратит на обход блокировок.
Для анализа данных на основе сеансов разбор данных , когда одному и тому же IP-адресу необходимо сохранять состояние при нескольких запросах, лучше всего подходят статические прокси-серверы от интернет-провайдеров. Та же легитимность как у частных пользователей, тот же базовый уровень доверия, но без ротации. Именно в этом случае проблемы с обходом CAPTCHA при сборе данных фактически исчезают, поскольку уровень доверия никогда не опускается настолько низко, чтобы вызвать её срабатывание.
Как выглядит ротация прокси-серверов для частных пользователей в условиях масштабного развертывания
Около 40 % разработчиков уже используют прокси-сервисы для обхода антибот-барьеров. Для тех, кто занимается веб-парсингом в крупных масштабах, инфраструктура на базе резидентных прокси — это не просто дополнительная опция, а основа деятельности.
Вот как работает ротация на практике. Каждый запрос проходит через отдельный частный IP-адрес из пула. Ни один адрес не накапливает достаточно трафика, чтобы вызвать ограничение скорости или обнаружение прокси-сервера при веб-парсинге. Пул остается «чистым», поскольку нагрузка распределяется.
Географическое распределение также имеет значение. IP-адреса, распределенные по соответствующим регионам, выглядят более естественно, чем резкий всплеск трафика из одного региона.
Управление поведенческим уровнем осуществляется с помощью регулирования времени. Случайные задержки продолжительностью 2–10 секунд между запросами позволяют избежать идеально равномерных интервалов, которые системы защиты от ботов расценивают как признак автоматизации.
Для исследований с большими объемами данных сбор исследовательских данных , именно эта комбинация позволяет скрейперам работать непрерывно. Правильно организованный веб-скрейпинг с ротацией прокси означает, что операция никогда не оставляет на одном IP-адресе достаточно следов, чтобы быть замеченной.
Вращающиеся прокси-серверы IPBurger для веб-парсинга
Большинство проектов по сбору данных сталкиваются с одной и той же проблемой. IP-адреса центров обработки данных попадают в черные списки, блокировки накапливаются, и команда вынуждена тратить больше времени на управление инфраструктурой, чем на сбор данных. Переход на прокси-серверы IPBurger , предназначенные для частных пользователей, позволяет решить эту проблему у истоков.
Вот как выглядит инфраструктура:
- Более 75 млн ротационных прокси-серверов для частных пользователей в более чем 190 странах, каждый из которых имеет «чистую» историю и не был ранее связан со скрейпингом или ботами
- Таргетинг на уровне города и страны, чтобы запросы поступали именно из тех мест, которые требуются для сбора ваших данных
- Настоящая классификация IP-адресов, относящихся к частным пользователям, которую системы защиты от ботов с самого первого запроса рассматривают как легитимный трафик
- Отсутствие общих диапазонов адресов центров обработки данных, которые приводят к автоматическому снижению показателя доверия до того, как будет отправлен хотя бы один запрос
В результате получается система сбора данных, обходящая CAPTCHA, которая масштабируется без постоянных затрат на обслуживание. Никаких CAPTCHA-барьеров, никаких циклов ротации заблокированных IP-адресов, никаких экстренных мер по устранению сбоев в инфраструктуре. Система работает, а данные поступают.
Хватит решать капчи. Хватит их получать.
Более 80 % американских ритейлеров уже используют автоматизированный сбор данных о ценах для динамического пересмотра цен. Эти компании не решают CAPTCHA вручную. Они создали инфраструктуру, которая не генерирует их.
Цель никогда не заключалась в том, чтобы обойти блокировку сбора данных с помощью CAPTCHA. Она заключалась в поддержании достаточно высокого показателя доверия, чтобы эти блокировки вообще не срабатывали. IP-адреса центров обработки данных не позволяют добиться этого в широких масштабах. А вот прокси-серверы из жилых районов, используемые для сбора данных из Интернета, делают это возможным по умолчанию.
Установите IP-адрес, а остальное решится само собой.
