Когда люди что-то ищут в Поиске, они не всегда уверены в том, как лучше сформулировать запрос. Мы можем не знать, какие слова использовать или как что-то писать, потому что часто мы приходим в Поиск чтобы узнать что-то новое и у нас не всегда есть четкая формулировка запроса.

По сути, Поиск — это понимание языка. Задача Поиска — выяснить, что ищет пользователь и дать ему полезную информацию из Интернета, независимо от того, как он пишет или комбинирует слова в своем запросе. Google c каждым днем продолжает улучшать свои способности к пониманию языка на протяжении многих лет, но все еще не совсем понимает это, особенно во время сложных или разговорных запросов.

Благодаря последним достижениям исследовательской группы Google в области понимания языка, которые стали возможными благодаря машинному обучению, Поиск значительно улучшил понимание запросов, что стало самым большим прорывом за последние пять лет, и одним из самых больших скачков в истории поиска.

Применение моделей BERT для поиска

В прошлом году Google представил и разработал методику подготовки к обучению на естественном языке (NLP), основанную на нейросетях, которая называется «Bidirectional Encoder Representations from Transformers», или коротко — BERT. Эта технология позволяет каждому обучать свою собственную современную систему ответов на вопросы.

Этот прорыв стал результатом исследования Google о преобразователях: моделях, которые обрабатывают слова по отношению ко всем другим словам в предложении, а не по порядку. Таким образом, модели BERT могут учитывать полный контекст слова, рассматривая слова, которые идут до и после него, что особенно полезно для понимания цели поисковых запросов.

Взламывая ваши запросы

Что все это значит для вас? Что ж, применяя модели BERT и к ранжированию и к отобранным фрагментам в Поиске, Google может гораздо лучше справляться с задачей поиска полезной информации. Фактически, когда дело доходит до результатов ранжирования, BERT помогает Поиску лучше понять каждый десятый запрос в США на английском языке и со временем это перенесется на другие языки и страны.

В частности, для более длинных, более диалоговых запросов, где такие предлоги как «для» и «к», имеют большое значение, Поиск сможет понять контекст слов в вашем запросе. Вы сможете искать способом, который кажется вам естественным.

Чтобы запустить эти улучшения, в Google провели много тестов, чтобы убедиться, что изменения на самом деле более полезны. Вот несколько примеров, которые описывает Google в своем блоге, демонстрирующих способность BERT:

Вот поисковый запрос «2019 путешествие бразильца в США нужна виза». Слово «в» и его связь с другими словами в запросе особенно важны для понимания значения. Речь идет о путешествии бразильца в США, а не об обратном. Ранее наши алгоритмы не понимали важность этой связи, и мы возвращали результаты о гражданах США, путешествующих в Бразилию. С помощью BERT Поиск может уловить этот нюанс и понять, что очень распространенное слово «в» здесь действительно имеет большое значение и мы можем предоставить гораздо более релевантный результат для этого запроса.

Вот еще несколько примеров, когда BERT помог нам уловить тонкие нюансы языка, которые компьютеры не совсем понимают так, как это делают люди.

Мы также применяем BERT, чтобы сделать поиск лучше для людей по всему миру. Мощной характеристикой этих систем является то, что они могут извлекать уроки из одного языка и применять их к другим. Таким образом, мы можем взять модели, которые учатся на улучшениях английского языка (языка, на котором существует подавляющее большинство веб-контента), и применить их к другим языкам. Это помогает нам лучше возвращать релевантные результаты на многих языках, на которых предлагается поиск.

Понимание языка остается постоянной проблемой, и это побуждает нас продолжать совершенствовать Поиск. Мы постоянно работаем на улучшением, чтобы найти смысл и самую полезную информацию для каждого запроса, который вы нам отправляете.

По материалам блога Google

Другие новости компании Google: