В минувший вторник в Московском планетарии состоялась презентация обновлённой поисковой системы компании «Яндекс». Он построен на двух основополагающих компонентах: обновлённом алгоритме «Королёв» на базе нейронных сетей и сервисе «Яндекс.Толока», который был интегрирован с «MatrixNet», отвечающим за построение формулы ранжирования при выдаче результатов поиска. Новый алгоритм способен лучше понимать сложные запросы и выдавать более точные результаты, так как теперь поиск осуществляется не только по заголовкам страниц, но и по текстам статей в целом.
«В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат — миллионы пользователей "Яндекса". Любой запрос — это анонимный сигнал, который помогает машине лучше понимать людей. Поэтому мы не ошибёмся, если скажем: новый поиск — это поиск, который мы сделали вместе», — говорится на сайте «Яндекс».
Новый алгоритм «Королёв» построен на базе «Палеха» — первого алгоритма поиска на основе нейронной сети «Яндекса», выпущенного в конце 2016 года. «Королёв» лучше понимает намерение пользователя, чем его предшественник, так как он рассматривает весь контент веб-страниц, а не только заголовки. Также «Королёв» может масштабироваться, чтобы анализировать в тысячу раз больше документов в реальном времени, чем «Палех».
«Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В "Палехе" смысловой анализ — один из завершающих этапов: через него проходят всего 150 документов. В "Королёве" он производится для 200 тысяч документов — то есть в тысячу с лишним раз больше. Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу. Так можно установить дополнительные смысловые связи», — объясняют представители «Яндекса».
Результаты поиска «Королёва» передаются в «MatrixNet» — собственный алгоритм ранжирования машинного обучения Яндекса, учитывающий ряд других факторов ранжирования до того, как результаты будут возвращены пользователю. С недавних пор «MatrixNet» использует данные, полученные из сервиса «Яндекс.Толока», в котором люди за денежные вознаграждения помогают компании улучшать работу её сервисов.
Новый поиск «Яндекса» уже запущен и доступен всем желающим.