Люди также ищут или всегда? Как Google может использовать обученную генеративную модель для генерации вариантов запросов для функций поиска, таких как PASF, PAA и других [патент]

На днях я просматривал некоторые патенты Google и обнаружил интересный патент, который был выдан и опубликован 30 мая 2023 года. Он назывался «Создание вариантов запроса с использованием обученной генеративной модели», и он определенно возбудил мое любопытство. Первоначально он был подан в 2018 году, но был предоставлен в конце мая. И поскольку меня всегда интересовали важные функции SERP, такие как «Люди также спрашивают» (PAA) и «Люди также ищут» (PASF), мне пришлось покопаться.

Кроме того, это то, о чем я бы в прошлом упомянул блестящего Билла Славски. К сожалению, Билла больше нет с нами. Изучая патент, я понял, как сильно я скучаю по сообщениям Билла о патентах и ​​возможности задать ему вопросы о его анализе в DM. Потеря Билла определенно была огромной потерей для нашей индустрии. Так или иначе, без Билла, который копался бы так, как всегда, я решил начать копаться в себе. И я рад, что сделал. Это было суперинтересно.

Использование генеративных моделей с использованием нейронных сетей для функций SERP
Ниже я расскажу, как патент описывает использование обученной генеративной модели для генерации вариантов запроса для функций SERP, таких как «Люди также ищут», «Люди также спрашивают» и, возможно, больше. В патенте упоминается «Люди также ищут», но нетрудно предположить, что этот процесс можно использовать и для PAA. Я расскажу об этом в своем анализе ниже.

Было интересно узнать больше о том, что Google делает в этом направлении (по крайней мере, на основе патента). Как и в случае с любым патентом, мы не знаем, внедрил ли его Google уже, и будут ли они, но это определенно имело смысл, исходя из того, что я читал.

Кроме того, и я нашел это захватывающим, в патенте объясняется, как Google может даже генерировать варианты запросов для новых запросов (совершенно новых) и запросов с длинным хвостом, когда еще не так много доступных данных. А учитывая, что 15% всех запросов Google никогда раньше не видел, имеет смысл использовать такой подход, как генерация вариантов запросов. Я расскажу больше об этом в ближайшее время.

Ключевые моменты из патента:
Я думаю, что лучший способ прикрыть патент — выделить некоторые основные моменты. Ниже я расскажу о нескольких ключевых моментах из патента, которые, я надеюсь, вам тоже покажутся интересными.

Генерация вариантов запроса с использованием обученной генеративной модели
США 11663201 B2
Дата предоставления: 30 мая 2023 г.
Дата подачи: 27 апреля 2018 г.
Имя правопреемника: Google LLC

1. Варианты запросов могут быть сгенерированы во время выполнения с использованием обученной генеративной модели на основе токенов из исходных запросов и дополнительных входных функций. Я расскажу больше о дополнительных функциях ввода в ближайшее время.

2. Система может генерировать варианты запросов, даже если модель не обучена этому запросу. Таким образом, он может генерировать варианты для новых запросов (совершенно новых) или того, что Google называет «хвостовыми» запросами, где еще не так много данных. Я нашел это очень интересным, тем более что Google говорит, что 15% запросов никогда раньше не встречались. Таким образом, генеративная модель может предсказать, какие варианты запросов генерировать даже для запросов с низким порогом, используя нейронную сеть (со слоями памяти).

3. Генеративную модель можно обучать на основе предыдущих запросов пользователей. Но в патенте также объясняется, что обучающие данные по варианту запроса также могут быть основаны на парах запросов, в которых есть клики по одним и тем же документам. Это имеет смысл и показывает, как вовлеченность пользователей может влиять на то, что генерирует модель.

4. В патенте также поясняется, что модель можно обучить как многозадачную , чтобы можно было генерировать несколько типов вариантов запросов. Таким образом, это сложная система, которая может генерировать различные типы вариантов запросов, включая последующие запросы, запросы обобщения, запросы канонизации, запросы языкового перевода, запросы следствия и многое другое.

5. После того, как варианты запросов сгенерированы, они оцениваются моделью. Система предоставляет баллы ответов для каждого варианта. И система может оценивать эти варианты, проверяя ответы на эти варианты запросов. Это может помочь системе обнаружить «потенциально фальшивые» варианты запросов. Очень интересно…

6. Далее в патенте объясняется, что система может возвращать ответы в дополнение к вариантам запроса. Например, система может вернуть результат поиска (кто-нибудь PAA?), объект графа знаний, нулевой ответ (нет ответа) или даже запрос на уточнение (с уточняющим вводом пользовательского интерфейса). Это может быть в виде чипов устранения неоднозначности, которые мы видим, когда Google ищет помощи у пользователей, пытаясь понять, что ищет пользователь. Опять интересно.

7. Далее в патенте объясняется, что модель может получать из запроса больше, чем просто токены, включая «дополнительные входные функции». Эти входные функции могут включать местоположение, задачу, которая интересует пользователя или которую он выполняет (например, приготовление пищи, ремонт автомобиля, планирование путешествия и т. д.). Он также может учитывать погоду и многое другое. И задача может быть основана на сохраненных записях календаря для пользователя, сообщениях чата или других сообщениях, прошлых запросах, отправленных пользователем, и т. д. Таким образом, варианты запроса могут быть основаны на персонализации или текущем контексте.

8. Модель также может генерировать варианты запроса и рекламные объявления или другой контент . Таким образом, модель может не только генерировать варианты запросов, но и генерировать (или, возможно, извлекать) рекламу или другой контент, который может отображаться в поисковой выдаче. Я думаю, что мне нужно вернуться к этому разделу снова, но это было интересно… :)

9. В патенте также объясняется, что может существовать ряд генеративных моделей , основанных на различных атрибутах или задачах. Таким образом, могут быть определенные модели для различных задач, таких как покупки, поездки на место и т. д.

Резюме: Генерация вариантов для PASF и PAA может быть более сложной и тонкой, чем некоторые думают.
Я надеюсь, что разбор этого патента немного помог вам понять, как Google может использовать обученную генеративную модель для генерации вариантов запросов или другого контента, который может отображаться в различных функциях SERP. И это может произойти для новых запросов (новых) и запросов с длинным хвостом, где еще не так много данных. Кроме того, может использоваться несколько моделей, ориентированных на конкретную дисциплину. И результаты также могут быть персонализированы (на основе дополнительных функций ввода).

Итак, в следующий раз, когда вы будете просматривать «Люди также ищут» или «Люди также спрашивают» в поисковой выдаче, знайте, что для предоставления этих вариантов запроса могла использоваться генеративная модель. А если персонализированные, то, возможно, эти запросы специфичны для вашего случая. Опять же, системы Google намного сложнее, чем некоторые думают.

ГАРАНТИРОВАННАЯ ПОБЕДА