Хотели как лучше, а получилось как всегда — идеальное описание ситуации с технологией CAPTCHA (капча). Она должна была отделять живых людей от ботов, но в какой-то момент все пошло не так. Капча стала слишком назойливой и постоянно видит в человеке — бота. Больше всего на «дискриминацию» жалуются пользователи смартфонов. Разбираемся, как капча превратилась из полезного инструмента в злого охранителя, и как с ней бороться.
Откуда взялась CAPTCHA?
Некоторые считают, что c помощью такой капчи Google тренирует ИИ для своих беспилотников
Технология CAPTCHA (сейчас будет страшная расшифровка: Completely Automated Public Turing Test to tell Computers and Humans Apart — «полностью автоматический тест Тьюринга, разделяющий компьютеры и людей») появилась в 2000 году.
Это была первая успешная попытка установить «фейс-контроль» для каждого посетителя сайта. Сетевые боты только начали появляться, но разработчики подготовились с ними сражаться. Бот-системы могли перегружать сайты, делая их недоступными для живых людей. Так, например, на форуме без капчи в начале нулевых можно было автоматически зарегистрировать десятки тысяч фейков и заспамить форум рекламой.
Что такое капча
Для борьбы с такими ситуациями в американском Университете Карнеги-Меллона придумали скрипт, который требовал при доступе к сайту ввести символы с трудноразличимой картинки. Для пользователя ребус был несложный: буквы, раскиданные по изображению в хаотичном порядке и искаженные помехами, легко считывались человеком. Зато компьютерные системы распознавания текста терялись. Такой простейший барьер позволил значительно снизить нагрузку на популярные сайты, а также защитить многие порталы от фейковых регистраций и комментариев.
Как CAPTCHA стала полезной
Когда «капчу» стали использовать чересчур часто, сообщество задумалось о более полезном применении технологии. В 2007 году появилась reCAPTCHA, где вместо абстрактных картинок пользователям показывали нераспознанные компьютером слова из сканов архивных выпусков газеты The New York Times.
Аудитория теперь не расшифровывала тарабарщину, а помогала оцифровывать бумажную прессу XX века. Подтвердил, что ты человек, а заодно добавил слово.
Вскоре технологию купила Google и использовала ее для оцифровки книг.
В день пользователи reCAPTCHA помогали распознать сотню миллионов слов.
Боты тоже развивались и научились автоматически распознавать текстовую reCAPTCHA. Тогда Google выпустила принципиально новый алгоритм проверки. Теперь вместо расшифровки слов пользователям предлагали среди девяти картинок найти те, где есть котики, дорожные знаки или, например, бананы. reCAPTCHA вновь стала эффективной, а людям не пришлось ломать глаза в попытке распознать очередное неудачно отсканированное слово из книги.
В самой новой версии reCAPTCHA человеку вообще не нужно напрягаться, достаточно поставить галочку напротив отметки «Я не робот» — алгоритм анализирует движения курсора (бот пойдет по прямому кратчайшему пути) и IP-адрес. До недавних пор reCAPTCHA работала крайне эффективно и почти незаметно для пользователей.
ZENNOPOSTER. РЕШЕНИЕ КАПЧИ-СЛАЙДЕРА ALIEXPRESS FullEmulationMouseDragAndDrop
Однажды что-то пошло не так
С первыми ошибками в работе reCAPTCHA столкнулись пользователи смартфонов. Заходишь в строку поиска Google, но вместо результата браузер показывает графическую «капчу». где надо искать объекты на матрице изображений. Причем успешно пройти тест порой было невозможно, reCAPTCHA требовала от пользователя вновь и вновь отмечать картинки.
Вслед за Google проверка пользователя всплыла и на других сайтах. Российский интернет наполнился жалобами на операторов связи, Google и даже Роскомнадзор — пользователей раздражало, что сайты при каждом посещении начали требовать подтверждения человеческой природы.
Первое время никто, включая техподдержку сайтов и провайдеров, не мог внятно ответить на вопрос, что же случилось и как пройти проверку reCAPTCHA. Когда специалисты взялись за изучение проблемы, всплыли сразу несколько причин, по которым сервис проверки на «человечность» начал неистово сбоить.
Итак, почему reCAPTCHA к вам пристает
- Вы оказались не в том месте не в то время. Защита reCAPTCHA проверяет каждого пользователя по целому ряду параметров. Одним из них является проверка IP-адреса — в базе reCAPTCHA постоянно обновляются адреса, где была зафиксирована подозрительная активность. Это могут быть SEO-боты, нагружающие поисковые системы, спамеры, злоумышленники. При этом сервис блокирует не конкретные адреса, а целые подсети, которые могут включать как сотни, так и многие тысячи IP-адресов.
В целях разумной экономии провайдеры и операторы мобильной связи выделяют по одному реальному IP-адресу на целую группу своих абонентов. Если среди эксплуатантов этого адреса когда-то попался один бот и адрес был заблокирован reCAPTCHA, то все остальные пользователи этого IP-адреса автоматически оказываются в черном списке на долгое время.
Так почему в одном месте города смартфон ни разу не попадает на проверку reCAPTCHA, а в другом тест активируется при каждом выходе в интернет? Дело в том, что при перемещении между базовыми станциями сотовой связи телефон попадает в разные подсети и получает новый IP-адрес для выхода в интернет. Уехали в другой район, изменилась базовая станция и IP — смартфон получил незаблокированный в reCAPTCHA адрес. Всё просто.
Какого рода ИИ тренирует Google, когда просит распознать такие картинки?
- Сервер reCAPTCHA был временно заблокирован в России. В 2018 году reCAPTCHA пала одной из жертв беглого «артиллерийского огня» Роскомнадзора, блокировавшего целые подсети IP-адресов в интернете в погоне за серверами Telegram.
Жертвой таких ковровых блокировок стали в том числе и серверы reCAPTCHA — сам скрипт на сайтах работал, но связаться с серверами проверки не мог, поэтому reCAPTCHA доводила пользователей до нервного тика, заставляя проходить тест до бесконечности. Со временем серверы reCAPTCHA разблокировали и эта причина перестала быть актуальной. - Компьютер генерирует подозрительный трафик. Вполне вероятно, что reCAPTCHA заблокировала именно вас. Источником подозрительного трафика на вашем компьютере могут быть расширения браузера или вирусы. Если вы не используете антивирус, то компьютер мог стать частью ботнета, из-за чего reCAPTCHA и заблокировала ваш адрес.
- В смартфоне выключен JavaScript. Технология reCAPTCHA на сайтах представляет собой код JavaScript. JavaScript дает большие возможности не только создателям сервисов, но и злоумышленникам, поэтому по умолчанию на многих смартфонах, включая iPhone, в целях безопасности поддержка JavaScript в браузере выключена. В результате reCAPTCHA на телефоне может либо работать с ошибками, либо не работать вовсе.
Капча с картинками стала один из самых любимых мемов в соцсетях
Что делать, если reCAPTCHA вас достала
На компьютере
Бесполезно жаловаться в техподдержку провайдера — провайдер ни при чём и помочь ничем не сможет. Жаловаться в Google, доказывая, что вы не хакер, тоже не стоит. К сожалению, от вашей персональной добропорядочности мало что зависит. Ваш IP-адрес в интернете мог использоваться ботами, поэтому провинились они, а отвечают все пользователи адреса. Если reCAPTCHA буквально не дает нормально пользоваться интернетом, то придется изменить свой IP одним из нескольких способов.
Можно попробовать переподключиться к интернету. Для этого нужно перезагрузить модем или роутер, которому провайдер при повторном подключении может дать новый внешний адрес. Если вы не знаете, как перезапустить оборудование, просто выдерните его из розетки.
Суровые российские капчи тоже могут пугать пользователей
Если этот способ не помог, придется прибегнуть к VPN-сервисам. К сожалению, VPN стоит денег, хотя и небольших. Например, Kaspersky Secure Connection обойдется в 1790 рублей в год. Крупные VPN-сервисы предлагают свои приложения, облегчающие подключение к серверам, поэтому разобраться с ними сможет даже новичок. Что же до вопроса легальности использования VPN в России — если он не предоставляет доступа к заблокированным Роскомнадзором ресурсам, то претензий к такому VPN быть не должно.
Заодно проверьте компьютер хорошим антивирусом, для первого раза будет достаточно даже бесплатной версии, например, Kaspersky Free. Также удостоверьтесь, что все расширения в браузере вам знакомы, среди них нет ничего лишнего и подозрительного.
На смартфоне
Если вы пользователь iPhone, то в первую очередь загляните в Настройки—Safari—Дополнения и проверьте, чтобы JavaScript был включен.
Источник: hi-tech.mail.ru
Добро вернётся (если нет картинок, зайдите через VPN)
Home Aliexpress Как войти в аккаунт Aliexpress без ввода капчи. РЕШЕНО.
Как войти в аккаунт Aliexpress без ввода капчи. РЕШЕНО.
Если входить в свой аккаунт с главной страницы через кнопку войти то нам предлагают провести ползунок вправо, потом появляется окно для ввода капчи.
Что-бы этого избежать — находим любой товар и нажимаем «Купить сейчас» например плоскогубцы для велосипедной цепи. Нам предложат войти в аккаунт. В этом случае вы сразу войдёте в свой аккаунт после ввода почты и пароля без ввода капчи. Перейти на Aliexpress
Купите мне чашечку кофе, если статья оказалась полезной.
Источник: onuphriev.blogspot.com
Как я писал бота для аукциона Aliexpress
Знаете, на Aliexpress есть такие аукционы — Gaga Deals, сейчас там помойка, но когда-то были очень интересные предложения. Их идея заключалась в том, что:
- Продажи стартуют каждый час
- Число товаров ограничено
- Кто первый встал того и тапки
Были очень вкусные лоты со скидкой 90%, топовые смартфоны этого года за 200-300 долларов, прошлогодние по 100 долларов. Разыгрывалось всего по 5 штук каждой позиции. Попробовал выиграть вручную, разумеется ничего не получилось. Ну и решил я написать бота…
Первым делом прощупал как оно вообще работает, вручную. Все свои попытки выиграть я записывал фидлером, потом копался в его отчетах. Пока копался, думал какого бота написать. Начал было делать консольное приложение с отправкой запросов через сокеты и парсингом ответов.
Разыгрывались сначала вкусные лоты, и все попытки выиграть их вручную были безуспешными, но я не расстраивался, анализировал трафик, программировал шаги из того что проанализоровал. Тут подтянулись никому ненужные лоты. Наконец то я прошёл дальше и увидел капчу. Консольное приложение отпало сразу. Пришло в голову написать расширение для хрома.
Целью было помочь мне быстро докликаться до капчи, поставить курсор для ввода, и потом кликать дальше. Сказано сделано, для такого расширения нужно всего 2 файла: manifest.json и content.js. В манифесте прописываем content.js как инжектируемый скрипт и всё, теперь он выполняется на каждой странице. А там через document.querySelector выбираем нужные элементы и программно кликаем по ним.
Бот или лучше назвать пока его Helper работает на ура, ненужные товары заказывает без проблем, а нужные всё равно оказываются уже проданы. Слишком медленно.
Отчасти проблема была в том, что обратный отчет на сайте отстаёт от реальных часов, за час наверно на 5 минут. Плюс если обновить одновременно 2 страницы они могут загрузится со сдвигом в счётчике в 2 секунды.
Следовательно, надо постоянно обновлять страницу и следить за актуальным счётчиком. Открыл несколько вкладок, стал писать бота с обменом информацией через localstorage расширения, но на неактивных вкладках были постоянные проблемы, то скрипт не стартует, то querySelector ничего не находит, то в выбранном элементе текста с оставшимся временем нет — парсить нечего. А у активной страницы всегда всё работало.
Проблема видимо в оптимизации браузера с невидимыми вкладками, надо все страницы на виду держать. Сделал 9 фреймов прямо внутри главной страницы, в которых обновлялись постоянно страницы продукта со счётчиком, но теперь прямого доступа к фрейму не было.
Странно, все страницы на одном домене, скрипт работает из контекста расширения, но при попытке доступа к frames[i].contentDocument — индейская национальная изба -”фигвам” называется. Оказалось что китайцы на главной странице присваивали document.domain = «Aliexpress.com» — к домену второго уровня, не знаю зачем им это надо, других фреймов на странице нет.
Я попытался вернуть обратно, не тут то было. Оказывается уровень домена уменьшать можно, а увеличивать нельзя. Даже если страница загружена с того-же домена который ты хочешь присвоить. Пришлось везде менять домен на второй уровень — прямой доступ к фреймам получил. Парсил время, вычислял лучшее и не трогал его пока кто нибудь не загружался с более лучшим временем, обновлял другие фреймы — это работало, лучший счётчик всегда был готов к клику. Потом число фреймов сократил до 4.
Отладил расширение на ненужных лотах, при наступлении времени «Ч» оно меня благополучно вело до капчи, которую я вводил и нажимал enter, далее заказ оформлялся автоматически. Всё подготовлено, и я стал ждать новый розыгрыш.
Во время следующего розыгрыша меня ждал сюрприз в виде диалоговых окон выбора цвета и/или комплектации, такого я ещё не видел и мой бот на них останавливался, быстро были дописаны соответствующие шаги и…
Всё продано, постоянно всё продано. Слишком медленно, что делать? Китайские и индийские сервисы по распознаванию капчи сработают не быстрее меня. Нормальную программу по распознаванию к расширению не прикрутишь. Уже подумывал вернуться к консольному приложению, и закинул вопросы на работе кто — что знает какие-либо модули или библиотеки по распознаванию капчи.
Стал смотреть как загружать капчу, откуда взять url. как заметил особенность, картинка капчи подгружается с другого домена «checktoken1.alibaba.com», в url подставляется идентификатор сессии и всё, при обновлении картинки — цифры каждый раз разные.
И тут меня осенило
Капчу можно распознать заранее.
Она видимо работает так: когда приходит запрос на сервер капчи, он генерирует текст и по нему картинку. Сохраняет последнее соответствие текста и id сессии в базе, без проверки что вообще такая сессия существует и была открыта страница с капчей. А уже после отправки формы проверяется соответствие введенного текста пользователем и текста из базы.
Проверил я свою догадку так: в hosts заблокировал домен checktoken1.alibaba.com для checktoken1.alibaba.co прописал нужный IP и загрузил картинку в другой вкладке (насчёт этого я боялся больше всего, с поддельного домена картинка могла бы и не загрузится и пришлось бы использовать второй комп). Обновил форму с капчей. Ввёл старое значение, форма сработала, капча валидная, опытным путем установил значение сброса сессии в 15 минут.
Доработал страницу с фреймами, сделал текстовое поле и картинку с другого домена, вводил капчу примерно за 5 минут до розыгрыша, и расширение работало как часы, если конечно был не фейк и не было других злобных роботов.
Собственно, теперь можно было бы вернуться к консольному приложению, без браузера оно бы работало гораздо шустрее, но лень матушка мне подсказывала — зачем писать снова когда и так работает.
Осенью 2013-го разработчики Aliexpress что-то сделали с капчей, распознанная заранее их перестала удовлетворять, и мой бот перестал работать. В режиме Helper’a с ручным распознаванием капчи заказ оформляется слишком медленно.
Итого
Из крупного выиграл фотик Nikon d5100 за $246 в мае 2013, телефон Nokia lumia 800 за $136 в марте 2013, Blackberry bold 9900 за $136. Ничего из топовых предложений так и не смог выиграть, либо там фейки, либо боты ещё по злее моего там пасутся. Через месяца 2-4 я проверял, кто скупил эти топовые позиции — покупатели были только из России, Белоруссии и Украины.
Источник: habr.com