Есть инженеры-программисты, чья работа заключается в том, чтобы побеждать сникер-ботов.
Поэтому нам лучше выяснить, что они замышляют.
"Говорят, что если ты знаешь своего врага и знаешь себя, то тебе не нужно бояться результата ста сражений".
Сунь-цзы, Искусство войны
Знаете, что является настоящей занозой в заднице?
Каптчи.
А существуют они потому, что боты - это тоже заноза в заднице.
И те, и другие участвуют в своеобразной гонке вооружений по автоматизации, бесконечно превосходя друг друга в мастерстве - за то, что они заноза в заднице.
Если вы понимаете своего противника, вы можете позиционировать себя так, чтобы избежать ввода капчи и других мер по борьбе с ботами.
Давайте посмотрим, какие меры принимаются для борьбы с кроссовыми ботами, и какие способы борьбы с ними наиболее эффективны.
Как победить сникер-ботов #1: Каптчи
Каптчи предназначены для отсеивания ботов.
В ранних версиях вам предлагается головоломка, которая (по идее) должна быть простой для человека и практически невыполнимой для ботов.
Более современные капчи (например, Google reCaptcha версии 3) оценивают посещаемость сайта и присваивают посетителям баллы риска.
Баллы риска варьируются от 1 до 10, то есть от определенно бота до определенно человека. В результате администраторы сайтов могут устанавливать пользовательские пороговые значения, которые блокируют пользователей или запускают дополнительные головоломки, чтобы доказать свою человеческую сущность.
Наиболее часто встречаются следующие типы поведения ботов, вызывающие появление капчи:
- Превышение количества запросов, возможных для человеческой деятельности. Веб-сайты отслеживают трафик и предполагают пределы человеческой активности. Если ваш бот превышает эти пределы, он будет проверен с помощью captcha.
- Использование прямых ссылок для оформления заказа. Боты получают огромное преимущество перед другими покупателями, если они используют прямую ссылку для перехода на страницу оформления заказа. Однако многие сайты уже догадались об этом и вводят капчу для тех, кто не проходит обычный путь покупателя.
- Боттинг на старых версиях браузеров. Некоторые боты перестают работать после обновления браузера, и ленивое, но удивительно распространенное решение - просто не обновлять браузер. Само по себе это не вызовет запрета со стороны сайта, но вы можете ожидать большего количества капч.
- Оставлять отпечатки пальцев в браузере. Чем уникальнее ваш цифровой отпечаток, тем легче вас вычислить. Вы не можете не оставлять следов в Интернете, но вы можете сделать так, чтобы ваши отпечатки выглядели довольно шаблонно.
Контрмера: Будьте людьми
Короче говоря, если вы вызовете достаточно подозрений, то сработает капча. Поэтому необходимо убедить сайты в том, что вы "безопасный" посетитель.
- Mask your IP with a proxy. The best proxies to mask your IP address are rotating residential proxies. Not only do residential proxies make you look like any other real human user, they rotate and change your IP address very often. That way, you appear as a different human user each time you send a request.
- Однокликовые капчи. Если у вас низкий уровень риска в Google, то вам чаще всего придется решать только однокликовые капчи. Повысить уровень риска можно путем создания фермерских аккаунтов gmail. Мы рассмотрим этот вопрос более подробно в другой раз, а пока ознакомьтесь с такими инструментами автоматизации и фермерства, как AYCD или Kodai Essentials.
- Выбирайте ботов с умом. Хороший бот будет максимально близко имитировать человеческий просмотр - достаточно, чтобы убедиться в том, что в его действиях нет ничего автоматического. Помните, что некоторые боты требуют ручной настройки для задержки запросов и изменения автоматики в соответствии с возможностями человека.
Иногда капчи являются стандартным приветствием для всех посетителей без исключения. В этом случае существуют боты, позволяющие решать капчи непосредственно через свой интерфейс. Примером могут служить боты для продажи обуви Nike.
Если вы достаточно хорошо справляетесь с капчами, они не будут представлять особой помехи. Несмотря на то, что они предназначены для борьбы с ботами-кроссовщиками, на самом деле капчи могут работать на ваше преимущество, поскольку они замедляют работу всех остальных.
Как победить кроссовых ботов #2: Очереди
Линии очередей регулируют трафик, предотвращая перегрузку сайтов. Они похожи на виртуальные залы ожидания, и для сникер-ботов их сложно обойти.
Приложения по борьбе с ботами, такие как Queue-it, направляют посетителей сайта в виртуальную комнату ожидания. По истечении некоторого времени посетители могут продолжить покупки.
Некоторые из этих комнат ожидания имеют дополнительный протокол проверки, а некоторые даже могут случайным образом выбирать участников для дальнейшего прохождения через них к покупке. Это исключает многие преимущества, которыми могут обладать боты или кто-либо другой.
Нет нужды говорить, что это еще одна заноза в заднице.
Контрмера: VIP-пропуска
- Обход очереди. Боты все еще быстрее копят, когда покидают очередь, но больше ничего сделать нельзя. Однако некоторые боты имеют встроенные функции обхода очередей или приобретают их для ограниченного числа кроссовок.
Например, бот Cybersole может обходить очереди только для Footlocker в Европе. Таким образом, в зависимости от того, где вы хотите купить кроссовки, вам необходимо выяснить, есть ли там очередь, и если есть - какой бот может ее обойти. - Выдавать себя за бота Google. Очереди не позволят отправить ботов Google (они же пауки Google) в комнату ожидания. Веб-сайты зависят от них в плане каталогизации нового контента, включая списки товаров. Поэтому, чтобы не обидеть пауков, сайты относятся к ним как к VIP-персонам и пропускают их. Я нашел эту статью об обходе очередей, которую можно опробовать самостоятельно.
Как победить сникер-ботов #3: Отпечатки пальцев браузера
Проще говоря, "отпечатки пальцев" браузера - это сбор данных. Но вместо сбора личной информации он собирает данные о вас:
- Браузер и операционная система
- Разрешение экрана и глубина цвета
- Язык, часовой пояс и шрифты
- Плагины и любые приложения, например, блокировщики рекламы
- И другие поведенческие тенденции
Интересно то, что можно сделать с этими данными. Цифровые отпечатки пальцев со временем формируют профили пользователей, аналогичные профилям покупателей, которые используются для таргетинга рекламы. Таким образом, сайты могут показывать разные страницы или продукты разным пользователям.
Известны случаи, когда интернет-магазины направляли ботов на изменение цен, ограничивали выбор товаров или даже расставляли ловушки.
Контрмеры: слиться с толпой и использовать прокси-серверы
Полностью скрыть отпечатки пальцев невозможно, но скучные отпечатки - вполне. Ваша главная задача - казаться обычным пользователем, не обладающим какими-либо достоинствами. Лучший способ сделать это - использовать резидентные прокси-серверы и слиться с ними.
Хорошо, с прокси-серверами все просто - но как влиться в коллектив?
Простой способ. Управляйте отпечатком браузера с помощью виртуальной системы управления браузером, например Multilogin. Она позволяет хранить и загружать различные цифровые отпечатки пальцев, когда это необходимо. Например, при использовании бота-кроссовщика.
Как победить сникер-бота #4: шоковые падения и охота на мусор
Розничные продавцы кроссовок придумали довольно креативные способы сократить разрыв между ботами и покупателями-людьми.
Шоковое падение - это когда о выпуске кроссовок практически не сообщается, или когда запасы кроссовок пополняются через несколько недель или месяцев после официальной даты выпуска - пока никто не видит. Некоторые любители кроссовок следят за своим приложением SNKR в надежде, что они окажутся в числе первых, кто испытает шок. Подсказки также распространяются в группах кулинаров.
Лучший способ победить сникер-бота - полностью исключить его из уравнения. Такие розничные продавцы кроссовок, как Nike и Adidas, с успехом экспериментируют с выходом на рынок в присутствии продавцов и охотой за кроссовками.
Контрмера: Хорошо сработано!
Сможет ли антибот когда-нибудь окончательно похоронить сникер-ботов?
Скорее всего, нет.
Если люди могут его создать, то они могут его и сломать - при условии, что для этого есть достаточныйстимул.
Другими словами, если разработчикам ботов выгодно и дальше быть занозой в заднице, они так и будут делать.
Так что держитесь за свои задницы.