Тысячи «читателей» из китайского Ланьчжоу внезапно появились в статистике одного новостного сайта. Все — с Windows 10, все — с Chrome, все — с похожим поведением. Сначала это выглядело как странный всплеск интереса к новостям небольшого российского города. Но проверка показала: за этими посещениями стоят не люди.
По сайту ходит автоматическая система, которая умеет открывать публикации почти как обычный читатель: загружать фотографии, запускать программы внутри страницы, обращаться к функциям сайта и настолько убедительно изображать человека, что даже статистика Google принимает её за настоящего посетителя.
Я решил разобраться, кто этот «читатель», зачем ему наши местные новости и почему следы ведут к китайской инфраструктуре, связанной с Baidu.
Можно было бы порадоваться: вот она, международная известность! Китайские читатели неожиданно заинтересовались нашими совершенно местными новостями — погодой, городскими событиями, изменениями маршрутов, происшествиями и обычной жизнью небольшого российского города.
Но было одно «но».
Все эти читатели оказались удивительно одинаковыми. У всех компьютер с Windows 10, у всех браузер Chrome, все появляются странными волнами: то их очень много, то они почти мгновенно исчезают.
Я решил разобраться.
И выяснилось, что наши новости читали не люди.
По сайту ходит автоматическая программа — робот. Причём робот весьма необычный.
Обычный интернет-робот можно представить как программу, которая быстро забрала текст страницы и отправилась дальше. Этот ведёт себя совсем иначе.
Он открывает наши новости почти как обычный читатель.
Заходит в конкретные публикации. Загружает фотографии. Запускает программы внутри страницы. Обращается к различным функциям сайта. Пользуется обычным браузером Chrome.
Причём его интересует не какая-то одна публикация. Он методично ходит по самым разным материалам: сегодняшним новостям, старым статьям, прогнозам погоды, сообщениям о городских событиях и другим публикациям.
И делает это настолько убедительно, что даже статистика Google принимает его за настоящего посетителя.
До истины удалось докопаться с помощью технического журнала сервера. Сервер записывает каждое обращение к сайту, поэтому там робот уже не смог спрятаться.
Нашлась целая группа китайских интернет-адресов. За несколько дней с них пришли десятки тысяч обращений именно к нашим страницам, изображениям и внутренним функциям сайта.
Интересная деталь: эта сеть связана с инфраструктурой Baidu — крупнейшей китайской поисковой компании, чем-то вроде китайского Google или Яндекса.
Но обычным поисковым роботом Baidu наш гость не является. Официальные поисковые роботы представляются своим именем. Этот же предпочитает изображать обычного человека.
Оказалось, что подобную загадку сейчас наблюдаем не только мы. Владельцы сайтов в разных странах сообщают о тысячах странных «посетителей» из китайского Ланьчжоу и Сингапура. Они появляются в статистике, ведут себя как люди и могут заметно искажать данные о реальной посещаемости.
Но от этого история становится только интереснее.
Потому что возникает совершенно естественный вопрос: зачем кому-то в Китае понадобилось автоматически и в таком количестве читать новости небольшого российского города?
Точного ответа пока нет.
Возможно, робот просто собирает всё, до чего может дотянуться: новости, тексты, фотографии, названия мест, события, даты, имена людей. Возможно, анализирует структуру сайтов или создаёт огромную собственную базу информации.
А одна из самых интригующих версий — искусственный интеллект.
Современным AI-системам необходимы огромные объёмы человеческих текстов и другой информации. Причём ценны не только статьи о мировой политике или науке. Обычные местные новости тоже рассказывают о реальной жизни: что происходит в городе, как люди разговаривают, какие события их волнуют, как меняется погода, транспорт, цены, школы, предприятия и повседневная жизнь.
Для машины всё это тоже данные.
Поэтому сама мысль о том, что где-то далеко автоматическая система последовательно читает наши небольшие местные новости, уже не кажется такой невероятной.
Доказательств того, что именно этот робот собирает их для искусственного интеллекта, у нас нет. Это пока только одна из версий.
Но факт остаётся фактом: тысячи якобы китайских читателей оказались программой, которая день за днём открывает наши новости почти так же, как это делает человек.
И вот это, пожалуй, самое удивительное во всей истории.
Ещё совсем недавно робота в интернете было сравнительно легко отличить от человека. Теперь программа умеет открыть настоящий браузер, прочитать публикацию, загрузить фотографии, выполнить всё необходимое и настолько убедительно изобразить читателя, что одна из крупнейших систем интернет-аналитики записывает её в статистику как человека.
Мы уже выяснили, откуда приходит этот странный гость и каким образом он работает.
Не выяснили только одного:
зачем ему наши новости?
А следующий шаг уже вполне практический: этому загадочному «читателю» придётся закрыть дверь.
Сервер — это не безграничный ресурс. Его работа стоит денег, а мощность ограничена: каждый посетитель расходует процессорное время, память, канал связи и другие ресурсы. Когда одновременно приходит слишком много автоматических запросов, сервер начинает тратить силы не на настоящих читателей, а на робота. В какой-то момент сайт может начать работать медленнее, а при слишком большой нагрузке — вообще перестать нормально отвечать.
Поэтому здесь дело уже не только в красивой и точной статистике. Бесполезный роботный трафик приходится отсекать ещё и потому, что ресурсы сервера лучше оставить тем, для кого сайт действительно работает, — настоящим читателям.
Так что этому загадочному «читателю» мы всё-таки закроем доступ. Не потому, что боимся роботов, а потому, что сайт существует прежде всего для людей, а ресурсы сервера не бесконечны.
Но главный вопрос этой истории пока остаётся открытым: зачем неизвестной автоматической системе понадобились наши местные новости? Возможно, однажды ответ найдётся — и окажется ещё интереснее самого расследования.