Популярный российский поисковик запустили новый алгоритм, получивший название «Палех». «Он позволяет поиску Яндекса точнее понимать, о чем его спрашивают люди», - говорят разработчики программы.

 Благодаря «Палеху» поисковик лучше находит веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу. За сопоставление смысла запросов и документов отвечает поисковая модель на основе нейронных сетей.

«Каждый день поиск Яндекса отвечает примерно на 280 миллионов запросов. Какие-то из них, например «ВКонтакте», люди вводят в поисковую строку практически каждую секунду. Какие-то запросы уникальны - их задают один раз, и они, возможно, больше никогда не повторятся. Уникальных и просто редких запросов очень много - около ста миллионов в день», - объясняют пользователям Интернета.

При чем тут «Палех»? На Жар-птицу, так любимую нашими художниками, оказывается, очень похож график распределения запросов в Яндексе. Его стали представлять в виде птицы, у которой есть клюв, туловище и длинный хвост. Список самых распространенных запросов не особо велик, но их задают очень-очень часто - это «клюв» птички. Запросы средней частотности образуют «туловище». Все остальное - «длинный хвост», как у сказочной птицы, работать с которым поисковику как раз и помогает новый алгоритм, получивший название «Палех».

Запросы из «длинного хвоста» очень разнообразны, пишут разработчики программы: «Дети, которые пока не освоили язык общения с поисковиком, часто обращаются к нему как к живому собеседнику: «Дорогой Яндекс, посоветуй, пожалуйста, новые интересные игры про фей...». Есть запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду: «Фильм про человека, который выращивал картошку на другой планете» («Марсианин»).

Особенность таких запросов в том, что они более сложны для поисковой системы. «Хотя каждый из таких запросов встречается крайне редко, мы все равно хотим находить по ним хорошие результаты», - отмечают специалисты Яндекса. К решению этой задачи они привлекли нейронные сети. Они сейчас показывают отличные результаты в анализе естественной информации: картинок, звука, текста. В случае с «Палехом» речь идет о текстах поисковых запросов и заголовков веб-страниц, но обучение проходит по той же схеме: на положительных и отрицательных примерах. Каждый пример - это пара запрос - заголовок. Обучаясь на поведении пользователей, нейросеть начинает «понимать» смысловое соответствие между запросом и заголовками страниц. Вот какой умной стала палехская Жар-птица...