Подробнее
Полные дубли отдают одну и ту же страницу целиком: например, адрес со слешем на конце и без него или с меткой ?utm_source=. Частичные совпадают по основной части — шаблону, описанию, заголовкам — и отличаются мелочами: порядком товаров, одной строкой текста, названием города. Поисковая система склеивает такие адреса и сама решает, какой считать основным, — и не всегда выбирает тот, который продвигаете вы.
Сами по себе технические копии внутри сайта редко ведут к санкциям: Google прямо говорит, что не наказывает за них, если нет попытки манипуляции. Проблема в потере управляемости. Сигналы, которые должны собираться на одной странице, расползаются по нескольким адресам, робот тратит обходы на копии, а Яндекс массово исключает похожие страницы из поиска как дубли или малоценные. Поэтому поиск и устранение дублей — обязательный этап технического SEO-аудита.
Чем дубли вредят SEO и нейропоиску
Когда один контент доступен по нескольким адресам, поисковик может оставить в индексе не ту страницу — без актуальной цены или с параметром в адресе. Внутренний ссылочный вес делится между копиями, а внешние ссылки указывают на разные версии. Дубли расходуют краулинговый бюджет: на большом сайте робот тратит визиты на копии вместо новых товаров и важных разделов.
В нейропоиске цена путаницы выше. Нейроответ собирается из фрагментов проиндексированных страниц, и если ответ на вопрос живёт на трёх адресах в чуть разных редакциях, в основу может попасть устаревшая версия или копия без нужного блока. ИИ-краулеры тоже расходуют обходы на повторы. Когда у каждой темы одна сильная страница, шанс, что цитировать будут именно её, выше.
Как поисковик выбирает главную версию
- Робот находит несколько URL с одинаковым или очень похожим содержимым — по внутренним и внешним ссылкам, карте сайта, рекламным меткам.
- Похожие страницы объединяются в группу, и внутри неё выбирается каноническая — та, что будет показываться в поиске.
- Выбор опирается на сигналы: редиректы, тег rel=canonical, внутренние ссылки, карту сайта, HTTPS.
canonical— подсказка, а не приказ: если остальные сигналы указывают на другой адрес, поисковик может его проигнорировать. - Остальные адреса группы исключаются из поиска как копии, а их сигналы по возможности переносятся на каноническую версию.
- Если сигналы противоречат друг другу — canonical ведёт на один адрес, а меню и sitemap на другой, — выбор становится непредсказуемым и может меняться от обхода к обходу.
Откуда берутся дубли
Большинство дублей возникает технически, без ведома владельца сайта. Чаще всего источники такие:
- Доступность по http и https, с www и без, со слешем и без — без настроенного 301 редиректа.
- GET-параметры сортировки, фильтров, UTM-меток и сессий, создающие десятки версий одного URL.
- Версии для печати, AMP-копии, страницы вложений и архивы тегов в CMS.
- Одинаковые карточки товаров в разных категориях и шаблонные тексты, где меняется только название.
- Главная страница, доступная по /index.php, /home и просто по корню домена.
Как устранять: какой метод когда
| Метод | Когда применять | Что важно |
|---|---|---|
| 301-редирект | Копия не нужна пользователю: http → https, www и без www, слеш, /index.php | Самый сильный сигнал: копия перестаёт открываться, сигналы уходят на основной адрес |
| rel=canonical | Копия нужна людям, но не нужна в поиске: сортировки, UTM-метки, варианты товара | Каноническая страница должна отвечать кодом 200 и быть открыта для индексации |
| noindex | Служебные страницы: версии для печати, поиск по сайту, личный кабинет | Страница не должна быть закрыта в robots.txt, иначе робот не увидит метатег |
| Clean-param в robots.txt | Параметры, которые не меняют содержимое: utm_, from, идентификаторы сессий | Директиву учитывает Яндекс; для Google её дополняют canonical |
| Переписать или объединить | Частичные дубли: шаблонные карточки, региональные копии, похожие статьи | Технические приёмы не помогут, если страницы не отличаются по сути |
Закрывать дубли через Disallow в robots.txt — плохая идея: робот перестаёт сканировать адрес и не видит ни canonical, ни noindex, а уже известные URL могут остаться в индексе. И не путайте дубли с пагинацией: у каждой страницы списка свой набор товаров, поэтому canonical со второй и следующих страниц на первую обычно ошибочен.
Пример из практики: копии после смены шаблона
Типичная ситуация: сайт услуг на WordPress переезжает на новый шаблон и структуру адресов. Через некоторое время в Вебмастере растёт число исключённых страниц, хотя новых разделов не появлялось, а часть услуг показывается в поиске по старым адресам. Обход краулером показывает сразу несколько источников: страницы открываются и со слешем, и без, старые адреса с .html отвечают кодом 200 вместо редиректа, CMS создала отдельные страницы для каждой загруженной картинки и архивы тегов, а ответы на комментарии порождают копии статей с параметром ?replytocom=.
Исправляют по порядку: 301 со старых адресов и вариантов со слешем на один формат, редирект страниц вложений на родительские записи, noindex для архивов тегов, Clean-param для параметра комментариев и canonical на каждой странице. Затем обновляют карту сайта и внутренние ссылки, чтобы они вели только на основные адреса, и следят в отчётах, как копии уходят из поиска.
Как найти дубли и проверить результат
- Операторы поиска. В Google
site:доменс точной фразой из абзаца в кавычках покажет, на скольких URL живёт один текст, аsite:домен inurl:?— параметрические копии. Если число найденных страниц в разы больше реального размера сайта, почти всегда виноваты дубли или мусорные разделы. - Яндекс Вебмастер → «Индексирование» → «Страницы в поиске». В исключённых страницах смотрят статусы «Дубль», «Неканонический» и «Малоценная или маловостребованная».
- Search Console → «Индексирование страниц». Причины исключения, связанные с копиями и каноническими адресами; инструмент проверки URL показывает, какой канонический адрес указали вы и какой выбрал Google.
- Краулер (Screaming Frog и аналоги). Находит частичные дубли по совпадающим Title, H1 и Description, проверяет, что canonical ведёт на страницы с кодом 200, а редиректы не складываются в цепочки.
- Контроль после исправлений. Копии уходят из поиска по мере переобхода — это недели. Повторный прогон краулером подтверждает, что новых дублей не появилось.
У каждой CMS свои источники: WordPress плодит рубрики, теги и вложения, Битрикс — комбинации умного фильтра и сортировок, конструкторы — черновики и версии страниц. Новые дубли появляются при каждом редизайне и запуске фильтров, поэтому проверку ставят в регулярный регламент SEO-сопровождения. Разбор инструментов и чек-лист профилактики — в статье как найти и закрыть дубли страниц.