Что такое граф знаний

Граф знаний в Поиске: построение из нескольких источников

Я хочу рассказать о том, что такое граф знаний и об одном из способов его построения из нескольких тематических источников.

Большое количество запросов в поиске содержат единственную сущность — объект, про который спрашивает пользователь. Это могут быть запросы про каких-то людей, фильмы, сериалы, музыкальные или географические объекты. Когда пользователь задает такой запрос, в выдаче ему можно показать дополнительную информационную карточку в надежде, что информация в карточке будет интересна пользователю. Карточки украшают выдачу и повышают ее наглядность. С помощью информационных карточек мы даём человеку понять, что он пользуется интеллектуальным сервисом, потому что поисковая система поняла, что он имел в виду, о каком именно объекте спрашивал. Более того, эту интеллектуальность можно расширить, отвечая на запрос пользователя прямо на странице выдачи. Например, в ответ на «что посмотреть в Праге» мы можем сразу показать достопримечательности этого города.

Бывают случаи, когда пользователь хочет узнать что-то о каком-то объекте, но совершенно ничего о нём не знает, кроме факта его существования. Или пользователь хочет продолжить исследования по какой-то теме. Специально для этого случая в карточке показывается то, чем известен этот объект, а также возможные варианты для продолжения исследования в блоке «cмотрите также».

Граф знаний

В основе всех этих семантических технологий лежит граф знаний — это граф, узлами которого являются объекты реального мира, а переходами — типизированные отношения между объектами (например, отношение для места рождения отличается от отношения даты рождения). Пример маленького графа знаний показан на рис. 1.

Рис. 1. Пример графа знаний

Существуют открытые графы знаний, которые можно скачать и использовать. Примеры и некоторая статистика по самым известным открытым графам знаний представлена в табл. 1.

Таблица. 1. Статистика по открытым графам знаний

Проблема открытых графов заключается в том, что не все сферы знаний освещены достаточно глубоко. Например, российские сериалы. Они не очень популярны во всем мире, но нам особенно дороги, потому что пользователи спрашивают про них. Это значит, что мы должны найти какую-то информацию об этих сериалах и принести её на SERP (Search Engine Result Page). Вторая проблема — это довольно редкие обновления. А ведь когда случается какое-то событие, мы хотим как можно скорее принести эту информацию и показать её на страницах с результатами поиска.

Существует как минимум три возможных решения этих проблем.

Первое: ничего не делать, смириться, закрыть на это глаза и продолжать жить. Второе: аккуратно вручную добавлять информацию в открытые графы знаний, а потом пользоваться данными оттуда. И третий вариант: автоматически слить с графом знания из какого-то тематического источника. Для тех же фильмов и сериалов таких источников довольно много: КиноПоиск, IMDb, Кино Mail.ru. Причем в графах знаний, как правило, у объектов присутствуют ссылки на популярные тематические ресурсы.

Мы начали реализовывать третий подход. Прежде, чем приступать к решению этой задачи, нужно подготовиться. Дело в том, что данные в источниках представлены в разных форматах. Например, в Викиданных — это JSON, в КиноПоиске — HTML. Их нужно сконвертировать в одинаковый формат. Мы конвертируем в N-Triples, потому что его удобно обрабатывать параллельно, а в данном случае это действительно важно, так как мы работаем с большими данными. Разжатый JSON-дамп Викиданных занимает около 720 Гб, а HTML-страницы КиноПоиска 230 Гб, поэтому почти все задачи решаются на кластере с помощью парадигмы MapReduce.

Склейка дублей

Одной из самых сложных задач при слиянии графов знаний является склейка дублей. Например, у нас есть графы и два каких-то объекта в них, которые являются одним объектом реального мира. Мы хотим в нашем результирующем графе склеить их вместе так, чтобы это был один объект в графе знаний. Решение, которое мы придумали с самого начала, довольно простое. Давайте мы возьмем и склеим все объекты, у которых одинаковые имена. Так мы узнали, что существует, как минимум, два известных человека с именем Брэд Питт, чуть менее сорока фильмов и сериалов под названием «Мост», и примерно столько же Иванов Ивановых про которых есть статья на Википедии.

Очевидно, что такой простой подход не работает, требуется что-то посложнее. И тогда мы придумали решение из трёх частей. Первая часть — это генератор кандидатов для связывания. Вторая — классификатор, который пытается ответить на вопрос, нужно ли склеивать между собой пару объектов. И третья — это дополнительный шаг склейки: мы доклеиваем то, что не получилось по каким-то причинам склеить на предыдущем шаге.

Генератор нужен для того, чтобы сократить количество кандидатов для связывания (пытаться связать каждый объект с каждым слишком дорого). Поэтому мы ограничиваемся лишь небольшим множеством кандидатов и после запускаем классификатор только для этого небольшого множества. Основная идея заключается в том, что имена объектов, которые могут быть связаны, должны каким-то образом быть похожи. Мы решили начать с полного совпадения подстрок, но с возможностью перестановки слов. Это значит, что если у двух объектов порядок слов в имени не совпадает (например, имя и фамилия человека перепутаны местами), они всё равно будут сопоставлены. Мы используем как русские имена, так и оригинальные иностранные. Также мы используем прозвища, псевдонимы и синонимы объектов, которые мы собрали из перенаправлений Википедии.

Прежде чем обучать модель, неплохо бы откуда-то получить данные. Нам повезло, всё необходимое уже было в открытых графах знаний. Например, в Викиданных чуть менее 200 тыс. объектов, ссылок на фильмы и сериалы КиноПоиска, и чуть менее 100 тыс. ссылок на персон КиноПоиска. На этих данных мы и будем обучаться.

В основе всех признаков лежит идея, что один и тот же объект в двух графах должен иметь схожий контекст. Похожая идея используются при решении задачи Entity Linking. Причем под контекстом в графе подразумеваются не соседние объекты к данному объекту, а их строковые описания. Более формально контекстом объекта в графе будут считаться все смежные ему строки, а также имена инцидентных ему объектов и типы. На рис. 2 строки, которые принадлежат контексту этого объекта, выделены жирным.

Рис. 2. Контекст объекта

Работать со строками можно несколькими способами. Во-первых, считать совпадение строк, сопоставляя их целиком, то есть учитывая только полное совпадение. Во-вторых, можем пользоваться строкой как мешком слов, разбить строку на слова и пожертвовать порядком. Мы используем оба подхода.

Строки можно либо использовать сразу все вместе, либо группировать по видам отношений, которыми они связаны с объектом. Считаются также абсолютные и относительные совпадения по группам.

Возьмём два объекта: Лионель Месси (Lionel Messi) и Лайонел Ричи (Lionel Richie), табл. 2.

Таблица. 2. Некоторые отношения для объектов «Лионель Месси» и «Лайонел Ричи».

Имена не совпадают целиком, поэтому полное совпадение в имени будет равно нулю. Но количество совпадений слов в имени равно 1, потому что оригинальное имя «Lionel» совпадает у обоих объектов. Коэффициент Жаккара (отношение размера пересечения к размеру объединения) для имени будет равен 0.2:

Мы не сразу поняли, что если у какого-то объекта не хватает нужного отношения, то не имеет смысла торопиться и записывать в этот признак нуль, лучше записать Missing value. Ведь когда мы добавляем к большому графу какой-то тематический граф, в нём часто отсутствуют какие-то отношения, и нужно иметь возможность различать случаи, когда в двух отношениях ничего не совпало, и когда у какого-то из объектов просто не хватает нужного отношения. Следуя этой логике количество совпавших слов для отношения «football_club» будет равно Missing value. Количество полных совпадений строк по всем отношениям равно нулю, а количество совпавших слов — два («Lionel» и «June»).

Рейтинг лучших признаков, используемых моделью показан на рис. 3.

Рис. 3. Самые важные из используемых признаков

Лучшим признаком у нашей модели считается суммарное относительное совпадение слов. За этим сложным названием скрывается сумма коэффициентов Жаккара по всем отношениям. Интересно, что если вообще выбросить всё машинное обучение из этой задачи и оставить более-менее адекватную отсечку по значению этого признака, то качество модели по -мере упадет всего на 20 %. Если взять признаки, которые описаны выше, обучить на них XGBoost из коробки, 250 деревьев высотой 4, то мы получим довольно неплохие метрики.

Таблица. 3. Метрики качества модель на тестовых данных.

Имя метрики	Значение
Точность (precision)	0.961531
Полнота (recall)	0.963220
	0.962375
AUC	0.999589

Но есть проблема: на этих метриках не видно некоторых объектов, которые мы не склеиваем. Это так называемые «большие объекты» у которых много отношений. Города, страны, род занятий — это те объекты, которые связаны с большим количеством других объектов. На рис. 4 показано, как это может выглядеть на SERP. Кажется, что все довольно безобидно:

Рис. 4. Проблема «больших» объектов

У нас в карточке есть дубли. Казалось бы, ничего страшного, но на самом деле проблема намного глубже, страдает согласованность данных. Так происходит потому, что в наших обучающих данных совсем нет подобных объектов. Здесь нужно применить другой подход, использовать большое количество отношений этих объектов себе во благо. На рис. 5 показана схема такого подхода. Пусть есть два объекта X и Y, которые связал классификатор. Эти объекты принадлежат разным графам и каждый объект связан с какими-то другими объектами в своем графе. Объект X связан с объектами A, B, C с помощью отношений , , , а объект Y с объектами D, E и F c помощью отношений , и . Но теперь нам известно, что объекты X и Y на самом деле являются одним объектом реального мира.

Рис. 5. Дополнительная склейка

Давайте выдвинем две гипотезы:

Итоговое решение получилось довольно универсальным, поэтому похожим образом можно склеивать дубли и для других тематических источников, постоянно увеличивая охват и глубину тем в графе знаний.

Заключение

В статье рассмотрено одно из возможных решений задачи склейки одинаковых объектов разных графов знаний. Когда граф знаний уже построен, мы можем показать информационные карточки на странице с поисковыми результатами, использовать знания из графа для ответа на вопросы-фактоиды или придумать еще какое-то интересное применение, чтобы порадовать пользователей.

Надеюсь, что было интересно почитать немного о том, как это все работает изнутри. Если остались какие-то непонятные моменты, пожалуйста, задавайте вопросы, попробую на них ответить.

Источник

Google Knowledge Graph и как он влияет на SEO

Статистика статьи

Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.

Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.

Количество ретвитов этой статьи в Twitter.

Поделиться этой статьей

Карточка знаний по запросу «harrison ford age» («возраст харрисона форда»).

…значит, вы уже пользовались широкими преимуществами Knowledge Graph.

Но что такое этот «граф знаний»? Как он работает? И как им воспользоваться, чтобы повысить популярность своего бренда и улучшить поисковую оптимизацию?

Из этого руководства вы узнаете:

Что собой представляет Google Knowledge Graph?

Knowledge Graph — это база знаний Google о сущностях и отношениях между ними.

Что такое сущности? Это любые объекты или понятия, которые можно четко определить. Они могут быть как осязаемыми (люди, места, организации), так и неосязаемыми (цвета, идеи, чувства).

Сущности соединяются между собой ребрами, которые описывают отношения между ними.

Наличие подобных данных о реальном мире помогает Google «понять» смысл поисковых запросов, чтобы выдать тем, кто осуществляет поиск, наиболее релевантные результаты.

Как Google Knowledge Graph влияет на поиск и SEO?

В целом, Knowledge Graph — это хорошая вещь и для пользователей, и для SEO. Пользователи получают более релевантные результаты поиска, а владельцы сайтов — больше трафика к наиболее качественному контенту.

Но не все так радужно. Есть и оборотная сторона медали.

Ниже перечислены четыре аспекта влияния Knowledge Graph на процесс поиска:

Google лучше понимает содержание запроса

Ссылки хороши для того, чтобы определить качество контента, но не его соответствие поисковому запросу.

Это не проблема, если текст запросов совпадает с текстом в контенте. Google может использовать сигналы о качестве, такие как ссылки, чтобы выдавать оптимальный контент из своего индекса.

Но люди не всегда осуществляют поиск именно таким образом. Они описывают вещи различными способами.

Тут-то и приходит на помощь Knowledge Graph, который позволяет Google не ограничиваться выявлением совпадений ключевых фраз, а выдавать более релевантные результаты.

Возьмем, к примеру, запрос «маленький зеленый человечек со световым мечом»:

Несмотря на то, что мы даже не упоминали «Звездные войны», Google все равно понял, что мы имели в виду, и дал нам соответствующий ответ.

То же самое верно и для запроса «хан соло актер другие фильмы»:

Тут Google не только выдал релевантные результаты, но также показал связь в Knowledge Graph и предоставил карусель сущностей, которая удовлетворяет нашему запросу.

Google может качественнее выполнять голосовой поиск

Сейчас, когда голосовой помощник Google Assistant встроен более чем в один миллиард устройств, и около 70 % запросов вводятся на естественном языке, для Google как никогда важной является задача извлечения смысла из голосовых запросов.

Как с ней помогает справиться Knowledge Graph?

Он помогает Google распознавать сущности и атрибуты в запросах, вводимых на естественном языке. Просто задумайтесь на секунду и сравните то, как вы вводите запросы текстом, и то, как вы говорите. Да, разница значительная.

Взгляните, к примеру, на такой запрос: «Какой актер играл Хана Соло в Звездных войнах?»

Поскольку «Хан Соло» и «Звездные войны» — тесно связанные сущности в Knowledge Graph, поисковику Google несложно предоставить нужный вам ответ.

Больше популярности и авторитетности для брендов

Google показывает данные Knowledge Graph в результатах поиска внутри элементов, которые называются «блоками знаний» и «карточками знаний».

Блок знаний для Apple

Карточка знаний для запроса «when was apple founded» («когда была основана apple»).

Что это означает для вас?

Это означает, что если ваш бренд попадет в Knowledge Graph, вы получите все выгоды от закрепления в результатах поиска, возросшую популярность и, возможно, даже доверие тех людей, которые ищут соответствующую информацию.

Кроме того, вы сможете обнаружить свой логотип в результатах поиска по запросам без указания бренда.

Люди реже переходят в результаты поиска

По данным недавнего исследования Рэнда Фишкина, более половины поисковых запросов заканчиваются тем, что человек не переходит ни по одной ссылке.

Часть ответственности за это лежит на Knowledge Graph, который помогает Google отвечать на многие запросы прямо на странице результатов поиска.

Возьмем для примера запрос «what is seo» («что такое seo»):

Google показывает блок знаний с данными, взятыми из Knowledge Graph.

Для поисковой оптимизации это может быть проблемой. Если люди не нажимают на ссылки в результатах поиска, вы не получаете совсем или получаете слишком мало естественного трафика — даже если ваша ссылка находится на первом месте в выдаче.

Как решить эту проблему?

Можно не ориентироваться на ключевые фразы, у которых низкая частота переходов.

Например, 58 % запросов «what is seo» («что такое seo») не дают переходов…

…но даже при том, что блок знаний снижает частоту переходов, это все равно хорошая ключевая фраза.

А вот запрос «John Legend age» («возраст Джона Ледженда») — нет, потому что только 8 % поисков по нему заканчиваются переходом по ссылке.

Как попасть в Google Knowledge Graph

К этому моменту должно быть понятно, что преимущества от наличия Knowledge Graph перевешивают недостатки, но как попасть в этот граф знаний?

Стопроцентно надежного способа нет; однако есть несколько вещей, которые вы можете сделать, чтобы повысить свои шансы.

1. Усильте рекламную деятельность и выполните мероприятия по наращиванию ссылок

Давайте начнем с самого сложного. Попасть в число сущностей в Knowledge Graph гораздо проще, если о вашей компании много говорят в сети Интернет.

Упоминания в популярных изданиях — Forbes, TechCrunch и т. д. — говорят Google о том, что вы можете представлять достойную внимания сущность. Конечно, все мы понимаем, что для большинства представителей малого и среднего бизнеса это может быть достаточно сложно, но не стоит сдаваться раньше времени. Попасть в Knowledge Graph можно и без этого.

2. Используйте на своем сайте семантическую разметку

Schema.org — это официально рекомендованная разметка для структурированных данных. Рассказ о ней требует создания отдельной статьи, так что здесь я укажу только несколько моментов, которые могут помочь вашему предприятию попасть в Knowledge Graph.

● Убедитесь в том, что используете, по крайней мере, свойства name, logo, url и sameAs.

● Добавьте в свойство sameAs ссылки на все свои профили в социальных сетях и страницы в Викиданных и Википедии (если они есть).

Вот разметка organization, которую используем мы:

3. Зарегистрируйтесь в Google Мой бизнес

Если вы ведете деятельность в реальном мире, то создать учетную запись в Google Мой бизнес просто необходимо. Это даст вам похожую на блок знаний сводку информации на Google Картах и в поисковике, что повысит популярность и авторитетность вашего бренда.

Тем не менее наличие профиля в Google Мой бизнес не гарантирует включение в Knowledge Graph. Я выполнил поиск самых популярных в округе ресторанов и баров в Knowledge Graph API, и оказалось, что лишь малая часть из них представлены там в качестве сущностей.

И все же предоставление Google структурированных данных через свой профиль в Google Мой бизнес может увеличить ваши шансы на попадание в Knowledge Graph.

Только убедитесь в том, что вы предоставили те же самые данные (название, адрес, номер телефона и т. д.), которые указали на своем сайте и в социальных сетях.

4. Создайте элемент на wikidata.org

Викиданные (сайт wikidata.org) хранят структурированные данные для Википедии и других сайтов Фонда Викимедиа. Если вы до сих пор никак не представлены на сайтах Викимедиа, я настоятельно советую начать с создания элемента Викиданных.

Изрядная доля данных Google Knowledge Graph берется из Викиданных, и я готов поспорить, что наличие профиля там важнее, чем статьи в Википедии.

И в отличие от Википедии, создание элемента в Викиданных не требует приложения больших усилий. Тем не менее следует соблюдать их правила — особенно пристальное внимание стоит обратить на Политику значимости.

Посетите справочный портал Викиданных, чтобы получить представление о том, как работает эта платформа, и посмотрите видео с информацией о том, как можно добавлять и редактировать элементы. После этого вы будете готовы внести свой вклад в крупнейшую открытую базу структурированных данных.

5. Получите страницу в Википедии

Обратите внимание: я сказал получите, а не создайте. Вы можете попробовать создать страницу сами, но вам нужно будет следовать всем политикам и правилам этой энциклопедии.

Если в двух словах, то в Википедию следует добавлять только такую информацию, которая имеет объективную ценность и может быть проверена по авторитетным источникам. Кроме того, нужно соблюдать Политику значимости, упомянутую в предыдущем пункте.

Вот, где вам точно пригодится упоминание в ведущих СМИ или других авторитетных источниках.

Я настоятельно не рекомендую пытаться искать лазейки и использовать сомнительные приемы. Однажды я был свидетелем попыток вернуть профиль, удаленный по причине саморекламы, и в тот раз даже ссылок на TechCrunch и статьи с высоким рейтингом на Hacker News оказалось недостаточно для восстановления. Если вы проштрафитесь в Википедии, то восстановиться будет очень трудно.

Поэтому лучшее, что вы можете сделать — это так хорошо себя разрекламировать, что кто-то посторонний захочет создать в Википедии статью о вас.

6. Будьте последовательны

Это общий маркетинговый совет, но взгляните на него с точки зрения сущностей:

Как Google должен показывать своим пользователям точную и актуальную информацию о вас и ваших товарах или услугах, если данные в сети Интернет об этом являются непоследовательными и противоречивыми?

Это касается не только тех пяти советов, которые были приведены выше. Будьте последовательны во всем, что касается вашего присутствия в Интернете.

Как предложить изменения в свой блок знаний

Блоки знаний Google не идеальны. Иногда они отображают некорректную информацию, и с блоком знаний о вашем бренде может случиться то же самое.

Заявите о своих правах на блок знаний и подтвердите их, нажав на кнопку в нижней части блока.

После того, как вы пройдете проверку, рядом с блоком знаний у вас появится кнопка «Предложить исправление» (если вы зайдете под связанной учетной записью).

Чтобы предложить исправление или удалить данные, просто следуйте официальной инструкции Google.

Напоследок

Вы могли заметить, что блок знаний Ahrefs на данный момент не представляет собой ничего особенного. Это потому, что до написания данной статьи его просто не существовало. Я использовал на практике приведенные выше советы, чтобы он появился.

Похоже, что наибольшую пользу принесло создание страницы в Викиданных, на которую мы также дали ссылку в свойстве sameAs разметки Organization на нашем сайте. Наша страница в Викиданных была проиндексирована в тот же день, когда мы обновили свою разметку Organization, и примерно через неделю в поиске появился блок знаний.

Вообще, графы знаний и сущности используются уже довольно давно, и со временем они будут приобретать все большую и большую важность. Google уже находится на пути к «индексированию с приоритетом сущностей», так что понимание этих концепций имеет критически важное значение для современного SEO.

Если у вас есть какие-либо вопросы или замечания по этой захватывающей теме, смело пишите мне в Twitter.

Источник