Что такое главное зеркало сайта
Главное зеркало сайта
Вступление
Сайт должен быть доступен пользователям только по одному адресу. Этот адрес называют — главное зеркало сайта.
Что такое зеркало сайта?
Зеркалами сайта называются все ресурсы с одинаковым контентом. Вернее, совпадение контента должно быть не менее 80%.
Дизайн сайта и его оформление значение не имеют. Единица зеркальности является его контент.
Однако главное зеркало сайта должно быть только одно. Именно главное зеркало сайта должно участвовать в работе с поисковыми системами.
Стоит отметить, что зеркала сайта появляются в автоматическом режиме или по злому умыслу.
Автоматом появляются зеркала при добавлении домена на хостинг и автоматическом создание адреса сайта без WWW и с WWW. Для поисковиков это два разных адреса, а значит два разных сайта.
Появится зеркало сайта при переходе на новый домен. Читать Как изменить имя домена без потери поисковой выдачи.
Кроме этих вариантов, администратор сайта может добавить в поиск, зеркало сайта добровольно. Например, сайт на доменах в разных доменных зонах (ru, com, kz) или доменах с разным написанием.
Создание таких доменов оправданно, а создание таких сайтов зеркал вызывает сомнения. Однако как вариант создания зеркал их нужно упомянуть.
Зеркало может появиться по злому умыслу. Например, зеркальный сайт может появиться при воровстве контента. Это отдельная тема. Повторюсь, поисковик считает сайты зеркальными, если совпадение контента превышает 80%.
Понятие главное зеркало сайта
Так как зеркал у сайта может быть сколь угодно много, то поисковикам нужно сообщить или они выберут самостоятельно, какой сайт индексировать, как главный.
Индексируемый сайт из всех зеркальных сайтов называется главным зеркалом сайта. Поисковик может выбрать его самостоятельно, либо веб-мастер должен назначить главное зеркало и сообщить об этом поисковику.
Настроить главное зеркало сайта
Прежде чем назначить главное зеркало сайта вы должны сами с ним определиться и сделать постраничную переадресацию не главных зеркал на главное зеркало.
Переадресация
Сделать переадресацию сайта с www на сайт без www проще всего инструментами администрирования на веб-хостинге. Почти на всех панелях управления хостингами и VDS есть функция переадресации сайта с www на сайт без www и наоборот.
Важно сделать 301 Permanent Redirect (постоянную) переадресацию, а не временную 302.
Аналогичную переадресацию нужно сделать при использовании безопасного протокола https. Все страницы сайта доступные по протоколу http должны переадресовываться, на те же страницы по протоколу https.
Назначение главного зеркала
Главное зеркало может быть указано веб-мастером или выбрано поисковиком самостоятельно. Второй вариант использовать не нужно, так как «по своему усмотрению» поисковик может выбрать неправильное главное зеркало.
Логично и правильно самостоятельно указать главное зеркало поисковикам через инструменты веб-мастера.
Для Google
Чтобы указать главное зеркало сайта для Google:
Повторите эту операцию для остальных сайтов этого домена.
Главное зеркало сайта Яндекс
Напомню, директива host на Яндексе больше не работает (источник).
Теперь Яндекс внимательно читает директивы 301 переадресации. Чтобы указать главное зеркало Яндекс нужно:
Как узнать главное зеркало сайта
Дело не только в том, чтобы сделать правильную переадресацию на главное зеркало. Главное, чтобы поисковики правильно определили задуманное вами главное зеркало.
Поэтому, чтобы узнать какое зеркало поисковики считают главным, отбрасываем сервисы проверок и делаем прямые поисковые запросы в поисковиках, используя язык поисковых запросов и свой домен. По запросу смотрим, что поисковики отдают в выдаче.
В поиске Google ищем:
На Yandex, ищем:
Вывод
Назначить главное зеркало сайта задача не праздная, а базовая и игнорировать её просто нельзя.
Зеркала сайта: что это и почему владельцу сайта важно о них знать
Несколько адресов одного и того же сайта воспринимаются поисковыми роботами как разные сайты — например, example.com;и www.example.com. Чтобы такие адреса не конкурировали между собой в результатах поиска, а вы могли смотреть корректную статистику сайта, в поисковых системах используются зеркала. Расскажем о них подробнее.
Что такое зеркало сайта
Сайт с одним и тем же контентом может открываться по нескольким адресам. Например:
Каждый такой адрес — это и есть зеркало сайта. Для удобства Яндекс объединяет зеркала одного сайта в общую группу. И в любой такой группе есть главное зеркало — основной адрес, который участвует в поиске.
Важно, чтобы в Вебмастере вы добавили и подтвердили именно главное зеркало. Только так вы сможете отслеживать изменения сайта в поиске и получать уведомления о найденных проблемах.
Как настроить главное зеркало
Откройте страницу Мои сайты в Вебмастере. В списке сайтов главное зеркало всегда отображается первым внутри своей группы. Неглавные — под основным адресом в виде вложенных пунктов.
Сейчас в Вебмастере первым среди зеркал можно добавить только главное зеркало сайта. Мы не советуем добавлять после этого неглавные зеркала без явной необходимости — например, когда вам нужно подготовиться к переезду.
Если вы ранее добавили только неглавное зеркало сайта, теперь подтвердите права на главное. Если главное зеркало необходимо изменить из-за переезда на новый адрес, следуйте этой инструкции:
1. Добавьте главное зеркало в Вебмастер.
2. Установите перенаправление со старого адреса на новый. Для этого используете редирект с HTTP-кодами 301 или 302. Старайтесь, чтобы все страницы старого сайта вели на соответствующие страницы нового, а не просто на главную. Иначе страницы главного зеркала будут дольше появляться в поиске.
3. Сообщите о переезде в Вебмастере. Выберите старый сайт, с которого хотите переехать, и на странице Индексирование ⟶ Переезд сайта введите новый адрес.
Главное зеркало сменится в течение нескольких недель. После смены главного зеркала удалите старое главное зеркало из Вебмастера.
Подробнее о зеркалах и переезде сайта читайте в Справке.
Если у вас есть вопросы, оставляйте их в комментариях или пишите нам через форму обратной связи.
2. \»Несколько адресов одного и того же сайта воспринимаются поисковыми роботами как разные сайты\»
Так пусть наконец НЕ воспринимаются! Неужели это сложнее чем Алису сделать?
2.2. Жаль что эту дурь поддерживает Гугл.
Проблема же длиннее, разными являются и
домен
Почему Вы и Гугл не могут сами это рекомендацию применять и не учить всех этому уже с 10к лет?
Почему не поменять там у себя http: просто на https:, а www не учитывать?
Почему Искусственный Интеллект, Асистент и Алиса не помогли Вам и им в таком простом вопросе, вместо обваливания наших страниц в выдаче?
1. Спасибо что «Для удобства Яндекс объединяет зеркала одного сайта в общую группу».
2. «Несколько адресов одного и того же сайта воспринимаются поисковыми роботами как разные сайты»
Так пусть наконец НЕ воспринимаются! Неужели это сложнее чем Алису сделать?
Проблема же длиннее, разными являются и
домен
домен/
домен/index.php
Почему Вы и Гугл не могут сами это рекомендацию применять и не учить всех этому уже с 10к лет?
Почему не поменять там у себя http: просто на https:, а www не учитывать?
Почему Искусственный Интеллект, Асистент и Алиса не помогли Вам и им в таком простом вопросе, вместо обваливания наших страниц в выдаче?
Что касается ссылок домен/ (со слешем на конце) и домен (без слеша), для нашей поисковой системы это одна и та же страница. Ссылка домен/index.php действительно является отдельной страницей для нашего робота, т.к. формально это и правда другой адрес. Если эта страница дублирует главную, мы рекомендуем использовать атрибут rel=\»canonical\» или редирект, чтобы указать роботу, какую из страниц нужно индексировать. При этом в поиске отображаться будет все равно главная страница.
атрибут rel=»canonical» действительно можно использовать, но только если речь идет о зеркалах вида: с www или без www, с http или с https. Если же зеркала имеют разные доменные имена, то для их объединения в группу зеркал нужно использовать именно редирект.
Кроме этого, сбивает с толку сообщение при попытке добавить https-версию сайта для www.example.ru:
«https://www.example.ru — это неглавное зеркало сайта www.example.ru. Робот индексирует только главное зеркало. Поэтому рекомендуем добавить www.example.ru. Всё равно добавить?».
Во-первых: сайт www.example.ru уже добавлен и есть в списке сайтов.
Во-вторых: если Яндекс уже знает о https-версии как о зеркале, может его и не нужно добавлять?
После этого сообщения, я не стал добавлять https-версию сайта, а решил сразу вызвать процедуру переезда, ведь если https-версия нужна, Яндекс мне об этом скажет и не позволит выполнить переезд. Но нет, заявка о переезде была успешно принята.
Только после этого я прочитал вашу заметку о зеркалах, я добавил https-версию насильно, и в списке сайтов, подпунктом к сайту «www.example.ru», появился сайт «https://www.example.ru» (с указанием протокола https). Теперь, как понимаю, будет легче отследить смену главного зеркала.
Подправьте, пожалуйста, и текущую заметку, её первый пункт в инструкции:
«Если главное зеркало необходимо изменить из-за переезда на новый адрес, следуйте этой инструкции:
1. Добавьте главное зеркало в Вебмастер.»
Главное зеркало уже существует. Добавить нужно «новое зеркало», которое в будущем должно стать главным. При этом, игнорировать предупреждение Яндекса, нажав ссылку «всё равно добавить».
Пожалуйста, в инструкциях старайтесь опираться на интерфейс. Так, вы нигде не найдете в вебмастере кнопку «добавить зеркало», возможно только «добавить сайт». Либо указывайте ссылку на страницу добавления: https://webmaster.yandex.ru/sites/add/
В остальном, всё понятно. Спасибо большое за труд в разъяснении отдельных моментов.
Кроме этого, сбивает с толку сообщение при попытке добавить https-версию сайта для www.example.ru:
«https://www.example.ru — это неглавное зеркало сайта www.example.ru. Робот индексирует только главное зеркало. Поэтому рекомендуем добавить www.example.ru. Всё равно добавить?».
Во-первых: сайт www.example.ru уже добавлен и есть в списке сайтов.
Во-вторых: если Яндекс уже знает о https-версии как о зеркале, может его и не нужно добавлять?
После этого сообщения, я не стал добавлять https-версию сайта, а решил сразу вызвать процедуру переезда, ведь если https-версия нужна, Яндекс мне об этом скажет и не позволит выполнить переезд. Но нет, заявка о переезде была успешно принята.
Только после этого я прочитал вашу заметку о зеркалах, я добавил https-версию насильно, и в списке сайтов, подпунктом к сайту «www.example.ru», появился сайт «https://www.example.ru» (с указанием протокола https). Теперь, как понимаю, будет легче отследить смену главного зеркала.
Подправьте, пожалуйста, и текущую заметку, её первый пункт в инструкции:
«Если главное зеркало необходимо изменить из-за переезда на новый адрес, следуйте этой инструкции:
1. Добавьте главное зеркало в Вебмастер.»
Главное зеркало уже существует. Добавить нужно «новое зеркало», которое в будущем должно стать главным. При этом, игнорировать предупреждение Яндекса, нажав ссылку «всё равно добавить».
Пожалуйста, в инструкциях старайтесь опираться на интерфейс. Так, вы нигде не найдете в вебмастере кнопку «добавить зеркало», возможно только «добавить сайт». Либо указывайте ссылку на страницу добавления: https://webmaster.yandex.ru/sites/add/
В остальном, всё понятно. Спасибо большое за труд в разъяснении отдельных моментов.
Ссылка на справку «Переход сайта на HTTPS»
Как узнать главное зеркало сайта и настроить его с помощью редиректа
В комментариях к статье о Search Console и «Яндекс.Вебмастере» читатель задал вопрос о выборе основного домена сайта. Пользователь поинтересовался, какой вариант лучше: с www или без www. Ответить на вопрос можно коротко. Лучше выбрать вариант, который вам больше нравится. Действительно сложные вопросы могут появиться во время настройки зеркал и перенаправлений. Ответы на них вы найдете в статье.
Что такое зеркало сайта
Зеркала — точные копии сайта, доступные по разным URL. Например, если по адресам nash-saitik.ru и нашсайтик.рф доступен одинаковый контент, поисковые системы признают сайты зеркалами. Обратите внимание, роботы сравнивают не только главные страницы ресурсов. По разным данным, чтобы поисковики признали сайты зеркалами, уровень совпадения контента должен составлять от 80 до 100 %.
Откуда берутся зеркала сайтов? Во-первых, владельцы сами их создают. С помощью зеркал можно решить следующие задачи:
Во-вторых, из-за префикса www зеркала сайтов появляются автоматически. Физически nash-saitik.ru и www.nash-saitik.ru — разные ресурсы. В данном случае URL с префиксом www представляет собой субдомен по отношению к основному домену nash-saitik.ru.
Поскольку по двум адресам обычно доступен одинаковый контент, поисковые системы признают их зеркалами и склеивают. Термин «склейка» значит, что в поиске участвует только один ресурс. Поисковики могут выбрать основной домен или главное зеркало автоматически. Также вы можете указать соответствующие настройки самостоятельно. Об этом дальше.
Какой вариант лучше: с префиксом www или без?
Откуда взялся префикс www? В конце 80-х годов прошлого века технические возможности компьютеров отставали от задумок изобретателей. Для физического хостинга одного небольшого сайта приходилось использовать несколько веб-серверов. Например, на одной машине размещался сервис FTP, на другой почтовый сервер, а на третьей контент сайта. Это отражалось в адресах ресурсов. Например, для доступа к почтовому сервису использовался адрес mail.vash-saitik.ru, а доступ к FTP открывался с помощью адреса ftp.vash-saitik.ru.
Ученый Тим Бернерс-Ли предложил объединить размещенную на разных серверах информацию во Всемирную паутину (World Wide Web). Чтобы обеспечить техническую возможность, Бернерс-Ли с коллегами разработали язык разметки гипертекста (HTML), протокол передачи гипертекста (HTTP) и универсальные идентификаторы ресурсов (URI), производными от которых являются URL. Чтобы пользователи понимали, что ресурс находится во Всемирной паутине, к его адресу добавляли префикс www.
В настоящее время люди понимают, что ресурс находится во Всемирной паутине, независимо от префикса www. Стоит ли использовать его в адресе сайта? Это вопрос личных предпочтений: выбирайте вариант, который вам больше нравится. Сомневаетесь? Вот аргументы в пользу URL без префикса:
А вот аргументы в пользу префикса www в URL:
Зачем выбирать основной домен, если можно дать пользователям возможность заходить на сайт по URL с префиксом и без? Представьте ситуацию: ресурс доступен по адресам vash-saitik.ru и www.vash-saitik.ru. Вы публикуете ценную информацию, которой пользователи делятся друг с другом. Они используют разные ссылки: с префиксом и без.
Как отмечалось выше, поисковые системы допускают в индекс только одно из зеркал. Например, поисковики могут автоматически выбрать вариант без префикса. В этом случае они не учитывают обратные ссылки с www. Ресурс теряет часть естественной ссылочной массы, которая могла бы работать на авторитет сайта.
Чтобы решить эту проблему, необходимо выбрать основной домен, настроить редирект и уведомить поисковые системы.
Как настроить серверный редирект
Представьте, что вы выбрали вариант URL с префиксом. Проверьте адрес, по которому доступен ресурс в данный момент. Если при попытке войти на сайт по URL с www браузер перенаправляет вас на адрес без префикса, это происходит благодаря серверному редиректу.
Проверить редирект можно с помощью специальных сервисов, например, Redirect Checker. Введите URL сайта в поле для анализа и нажмите кнопку Analyze. Сервис покажет редирект и его тип. В выбранном примере настроен постоянный редирект 301 с URL www.drupal-guru.ru на drupal-guru.ru.
Вы выбрали главное зеркало с префиксом. Поэтому необходимо изменить редирект: на уровне сервера перенаправить посетителей с drupal-guru.ru на www.drupal-guru.ru.
Подключитесь к серверу с помощью любого FTP-клиента, например, с помощью FileZilla. Данные для доступа можно получить у хостинг-провайдера. В меню «Сервер» включите опцию «Принудительно отображать скрытые файлы».
Откройте файл с помощью текстового редактора и добавьте правило переадресации. Используйте такой код:
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
Вместо URL drupal-guru.ru вставьте адрес своего сайта.
Сохраните изменения в файле и загрузите его на сервер.
Обновите настройки CMS. Если вы пользуетесь WordPress, укажите основной домен в разделе консоли «Общие настройки».
Проверьте корректность редиректа с помощью сервиса Redirect Checker.
Если вы выбрали основной домен без префикса и хотите настроить редирект с адреса с www на адрес без www, используйте следующий код:
RewriteRule (.*) http://drupal-guru.ru/$1 [R=301,L]
Как сообщить о главном зеркале «Яндексу»
«Яндекс» автоматически определяет главное зеркало, если редирект настроен корректно. Но если вы изменили основной домен, сообщите об этом поисковику.
Сначала добавьте в файл robots.txt директиву Host с указанием нового адреса. Для этого скачайте документ с сервера с помощью FTP-клиента. Файл находится в корневом каталоге в папке www.
Откройте файл в текстовом редакторе. Добавьте директиву Host после директив Disallow и Allow. Если вы выбрали главное зеркало с префиксом, добавьте такую строчку:
Вместо URL www.drupal-guru используйте адрес вашего сайта. Записи в файле robots.txt могут выглядеть так:
Сохраните информацию и загрузите обновленный файл robots.txt на сервер. Проверьте изменения. Файл доступен по адресу www.drupal-guru/robots.txt.
Откройте раздел «Переезд сайта» в новом кабинете для вебмастеров «Яндекса». Он находится в меню «Настройки индексирования». Отметьте галочкой пункт «Добавить www» и сохраните изменения. Изменения вступят в силу после переиндексации ресурса.
Как узнать главное зеркало сайта с помощью Search Console Google
Чтобы выбрать основной домен в поисковой консоли Google, подтвердите права на управление двумя сайтами. Для этого добавьте в консоль ресурс с префиксом и без префикса. После подтверждения прав войдите в меню настроек сайта.
Отметьте флажком вариант домена с www и сохраните изменения.
После выбора основного домена Google будет рассматривать внешние ссылки с префиксом и без как идентичные. Иными словами, естественные бэклинки вида www.drupal-guru.ru и drupal-guru.ru будут засчитываться в актив вашего ресурса.
Как настроить главное зеркало для кириллического домена
Многие владельцы сайтов для удобства пользователей регистрируют кириллические домены. Например, сеть супермаркетов «Лента» владеет кириллическим доменом лента.рф. Однако сайт организации доступен по адресу www.lenta.com. Это возможно благодаря редиректу 301 с URL лента.рф на адрес основного домена.
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
RewriteRule (.*) http:// xn—-7sbkb0bwgfvfb.xn--p1ai/$1 [R=301,L]
Обратите внимание, xn—-7sbkb0bwgfvfb.xn--p1ai — это URL друпал-гуру.рф в кодировке punycode.
Как настроить редирект при переезде на новый домен
Чтобы решить проблему, используйте следующий код:
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
В данном примере код перенаправляет пользователей с любой страницы сайта www.drupal-guru.ru на соответствующую ей страницу сайта opencart-guru.ru. Не забудьте вместо использованных для наглядности адресов указать URL ваших ресурсов.
Обратите внимание, файл robots.txt старого сайта www.drupal-guru остается доступным. В нем необходимо с помощью директивы Host указать, что основным зеркалом вы выбрали новый сайт opencart-guru.ru.
Настройка редиректа в cPanel
В панели управления войдите в меню «Перенаправления». Он находится в разделе «Домены».
При необходимости выберите тип перенаправления. По умолчанию система предлагает использовать постоянный редирект. Он подходит для настройки зеркал сайта.
Укажите домены, с которого и на который будут перенаправлены пользователи. Нажмите кнопку «Добавить», чтобы сохранить изменения.
Перенаправление с помощью плагинов
Для некоторых CMS существуют плагины, с помощью которых можно быстро настроить редирект. Например, если вы работаете с WordPress, воспользуйтесь Simple 301 Redirects. Установите плагин и войдите в меню настроек.
Укажите страницы, с которых и на которые необходимо перенаправить пользователей. В примере на иллюстрации настроен редирект со страницы записи на страницу архива.
С помощью плагина можно настроить перенаправление для всех страниц в категории. Для этого установите флажок в поле Use Wildcards. Укажите адрес категории и добавьте после него астериск. Укажите URL назначения и сохраните изменения.
В CMS Joomla! редиректы можно настроить с помощью встроенного в ядро компонента «Перенаправление». В Drupal эта задача решается с помощью модуля Redirect. Для CMS Opencart есть платные расширения для настройки перенаправлений.
Как настроить редирект на сервере Nginx
Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:
rewrite ^/(.*)$ http://www.drupal-guru.ru/$1 permanent;
Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:
rewrite ^/(.*)$ http://drupal-guru.ru/$1 permanent;
Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого.
Выбрать домен легко, сложнее реализовать выбор
В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров
Что такое главное зеркало сайта
Зеркалами Яндекс считает сайты, которые на запрос робота возвращают один и тот же контент.
Как правило, на этапе создания у сайта уже есть одно зеркало, так как по адресам вида site.ru и www.site.ru обычно открывается один и тот же ресурс. При подключении защищенного протокола у сайта появляются новые зеркала — с префиксом https.
Кроме того, для ресурса могут быть зарегистрированы дополнительные адреса — например, относящиеся к другим доменным зонам или учитывающие опечатки. С дополнительных адресов пользователей могут перенаправлять на основной ресурс. Переадресация применяется также при переезде сайта на новое доменное имя.
Во всех перечисленных случаях сайты со временем будут признаны зеркалами друг друга, а в результатах поиска останется только главное зеркало.
Узнать, какой домен является главным зеркалом вашего сайта, также можно в Яндекс.Вебмастере. Для этого добавьте в свой аккаунт необходимые домены. Те из них, которые поисковая система уже считает зеркалами, будут сгруппированы. Главное зеркало всегда отображается на первом месте.
Вы можете также проверить, является ли домен неглавным зеркалом. Для этого достаточно добавить его в форму «Сообщить о новом сайте». Если ресурс признан неглавным зеркалом, вы увидите соответствующее уведомление.
По мере обхода сайтов робот автоматически определяет, какие из них являются зеркалами друг друга, и постепенно объединяет их в группы. В каждой такой группе выбирается главное зеркало. При этом робот в первую очередь учитывает пользовательские указания — постраничный редирект с кодом 301.
При необходимости вы можете изменить главное зеркало. Это стоит делать только в том случае, если вам действительно важно, какой адрес будет отображаться в результатах поиска. При смене главного зеркала невозможно гарантировать сохранение позиций сайта в поиске, посещаемость и другие значимые для владельцев сайта показатели.
Чтобы сменить главное зеркало сайта, достаточно установить 301 постраничный редирект с не главных зеркал на главное.
Она должна быть задана в файлах robots.txt всех зеркал. Сообщить роботу о внесенных изменениях можно в Яндекс.Вебмастере. Для этого нужно зайти в раздел «Настройка индексирования», далее «Переезд сайта» и выбрать нужный домен из списка. Если этот домен там отсутствует, значит, он еще не был добавлен на странице «Мои сайты».
Возможна ситуация, когда домен уже добавлен в Вебмастер, но не отображается в списке зеркал. Это значит, что поисковая система еще не склеила его с другими зеркалами и воспринимает как отдельный ресурс. В этом случае менять главное зеркало не требуется. Нужно просто подождать, пока поисковая система склеит зеркала.
Попробуйте узнать, какой ваш сайт поисковая система считает главным. Какие зеркала объединены в группу?