Исключение страницы из поиска — симптом, причину которого нужно установить по данным конкретного URL. В статье разобраны распространённые группы статусов: качество, дубли, canonical, редиректы, запреты, ошибки загрузки, зеркала и нарушения. У Яндекса и Google разные формулировки и процедуры. Показываем, какие данные собрать перед исправлением и как проверить результат.
В этой статье 6
Как понять, что сайт действительно выпал из индекса
Сначала разделите отсутствие страницы в индексе и снижение её поисковой видимости. Для первого проверьте статус URL, для второго — запросы, показы и клики. Эти проблемы могут сочетаться. Улучшение содержания бывает частью восстановления индексации, поэтому не ограничивайте диагностику только техническими настройками. Отдельный порядок проверки позиций — в статье почему упали позиции.
Проверять нужно не оператором site: в поиске (он показывает приблизительную и часто устаревшую картину), а в панелях вебмастеров, где статус каждой страницы называется явно.
- Яндекс Вебмастер → «Индексирование» → «Страницы в поиске» → вкладка «Исключённые страницы». Здесь у каждого адреса стоит статус и дата последнего обхода. Фильтр по статусу показывает, какая причина преобладает.
- Google Search Console → «Индексирование» → «Индексирование страниц» (бывший «Покрытие»). Таблица «Почему страницы не проиндексированы» группирует адреса по причине.
- Яндекс Вебмастер → «Индексирование» → «Статистика обхода»: если робот перестал заходить вообще, дело не в контенте, а в доступности сайта.
- Оба инструмента: проверка конкретного URL (в Вебмастере — «Проверить статус URL», в GSC — инструмент проверки URL). Он показывает, что робот видит на странице прямо сейчас.
Восемь причин выпадения — по статусам Вебмастера
Ниже — распространённые группы причин, с которых удобно начать диагностику в Яндекс Вебмастере. Это не исчерпывающий список всех статусов. В Search Console названия и группировка отличаются; таблица помогает выбрать проверку, а не переводит один статус в другой.
1. «Страница признана малоценной или маловостребованной»
Статус «Малоценная или маловостребованная» — повод проверить самостоятельную пользу страницы, спрос, полноту содержания и отличие от соседних URL. Наличие фильтра, тега или общего шаблона само по себе не определяет качество. Начните с конкретных исключённых страниц, их содержимого для робота и даты статуса. Подробнее о страницах с недостаточной пользой — thin content.
2. «Страница дублирует содержание другой страницы»
Статус дубля указывает, что нужно сравнить выбранный адрес с другой версией страницы. Проверьте параметры URL, протокол, слэш, маршруты категорий и фактическое содержание. Пагинация и разные товары не становятся дублями только из-за общей структуры. Возможные решения разобраны в статье как найти и закрыть дубли страниц.
3. «Страница не является канонической»
Если canonical указывает на другой адрес, проверьте, соответствует ли это назначению страницы. Для дубля такая настройка может быть правильной; для самостоятельной посадочной — ошибкой шаблона. Сопоставьте объявленный адрес с выбранным поисковиком и содержанием обеих страниц. У Google canonical — сигнал предпочтения, а не безусловная команда исключения. Подробнее — документация о канонизации.
4. «Страница перенаправляет робота на другие страницы»
При 301 или 302 проверьте код, цепочку и целевой URL, а также соответствует ли перенаправление назначению страницы. Постоянный и временный редиректы не следует считать одинаковым указанием. Перенаправление всех удалённых страниц на нерелевантную главную может привести к неверной обработке; статус soft 404 проверяйте по данным конкретного URL, а не предполагайте автоматически.
5. «Индексирование запрещено в robots.txt или метатегом noindex»
Запрет может быть намеренным или ошибочным: например, тестовая настройка осталась после публикации. Проверьте robots.txt, метатег noindex и X-Robots-Tag отдельно. Запрет обхода и запрет индексирования — разные механизмы. Не снимайте их со служебной страницы только ради увеличения числа URL в поиске.
6. «Ошибка при загрузке или обработке страницы роботом»
Сервер отдал ошибку 5xx, 4xx, таймаут или страница не собралась. Если ошибок много, стоит проверить хостинг, лимиты и правила блокировки ботов: некоторые системы защиты отсекают роботов поисковиков вместе с парсерами. Разбор кодов ответа — в вики-статье про HTTP-статусы.
7. «Адрес сайта признан неглавным»
Если Яндекс считает основной другую версию сайта, проверьте, какой домен и протокол должен использовать проект, куда ведут редиректы и что указано в Вебмастере. Для запланированного переезда это может быть ожидаемым состоянием. Исправляйте противоречащие друг другу настройки; при необъяснимом выборе адреса передайте в поддержку конкретные URL и результаты проверок.
8. «На сайте обнаружены нарушения»
Прочитайте точное уведомление в разделе «Безопасность и нарушения». В Google отдельно проверьте ручные меры и проблемы безопасности: это разные отчёты. Отсутствие уведомления не исключает алгоритмической переоценки сайта, а падение само по себе не доказывает санкции. Порядок разбора — как проверить сайт на санкции.
Статус URL: что проверять перед исправлением
- Наблюдение: Запрет robots.txt или noindex
- Следующая проверка: Должен ли URL индексироваться; снимать только ошибочный запрет
- Наблюдение: Другой canonical или дубль
- Следующая проверка: Назначение обеих страниц и выбранный основной адрес
- Наблюдение: Редирект
- Следующая проверка: Соответствует ли целевой URL сценарию переезда
- Наблюдение: Ошибка загрузки
- Следующая проверка: Ответ сервера именно роботу, таймауты и защита
- Наблюдение: Малоценная / маловостребованная
- Следующая проверка: Содержание, назначение, спрос и дата статуса
- Наблюдение: Обнаружено / просканировано, не индексируется
- Следующая проверка: Данные проверки URL: статус сам по себе не объясняет причину
- Наблюдение: Уведомление о нарушении
- Следующая проверка: Точный текст сообщения и указанный порядок исправления
У Яндекса и Google нет взаимно однозначного соответствия всех статусов. Решение принимается по конкретному URL.
Текст схемы и все данные
Статус URL: что проверять перед исправлением
- Наблюдение: Запрет robots.txt или noindex
- Следующая проверка: Должен ли URL индексироваться; снимать только ошибочный запрет
- Наблюдение: Другой canonical или дубль
- Следующая проверка: Назначение обеих страниц и выбранный основной адрес
- Наблюдение: Редирект
- Следующая проверка: Соответствует ли целевой URL сценарию переезда
- Наблюдение: Ошибка загрузки
- Следующая проверка: Ответ сервера именно роботу, таймауты и защита
- Наблюдение: Малоценная / маловостребованная
- Следующая проверка: Содержание, назначение, спрос и дата статуса
- Наблюдение: Обнаружено / просканировано, не индексируется
- Следующая проверка: Данные проверки URL: статус сам по себе не объясняет причину
- Наблюдение: Уведомление о нарушении
- Следующая проверка: Точный текст сообщения и указанный порядок исправления
У Яндекса и Google нет взаимно однозначного соответствия всех статусов. Решение принимается по конкретному URL.
| Наблюдение | Следующая проверка |
|---|---|
| Запрет robots.txt или noindex | Должен ли URL индексироваться; снимать только ошибочный запрет |
| Другой canonical или дубль | Назначение обеих страниц и выбранный основной адрес |
| Редирект | Соответствует ли целевой URL сценарию переезда |
| Ошибка загрузки | Ответ сервера именно роботу, таймауты и защита |
| Малоценная / маловостребованная | Содержание, назначение, спрос и дата статуса |
| Обнаружено / просканировано, не индексируется | Данные проверки URL: статус сам по себе не объясняет причину |
| Уведомление о нарушении | Точный текст сообщения и указанный порядок исправления |
Порядок диагностики исключённой страницы
Начните с доступности и директив: их можно проверить по конкретному URL. Найденную ошибку исправьте и продолжите проверку — у страницы может быть несколько препятствий. К оценке содержания переходите с учётом точного статуса и даты последнего обхода.
Порядок диагностики исключённой страницы
- Шаг 1
- Зафиксируйте URL, точный статус и дату обхода
- Шаг 2
- Проверьте ответ сервера и доступность содержимого
- Шаг 3
- Сопоставьте robots, noindex, canonical и редиректы с назначением URL
- Шаг 4
- Проверьте дубли и уведомления о нарушениях
- Шаг 5
- Изучите содержание и спрос, исправьте подтверждённую причину
- Шаг 6
- Повторите техническую проверку и отправьте нужный URL на переобход
Не останавливайтесь на первой найденной ошибке: препятствий может быть несколько. Не открывайте служебные URL автоматически.
Текст схемы и все данные
Порядок диагностики исключённой страницы
- Шаг 1
- Зафиксируйте URL, точный статус и дату обхода
- Шаг 2
- Проверьте ответ сервера и доступность содержимого
- Шаг 3
- Сопоставьте robots, noindex, canonical и редиректы с назначением URL
- Шаг 4
- Проверьте дубли и уведомления о нарушениях
- Шаг 5
- Изучите содержание и спрос, исправьте подтверждённую причину
- Шаг 6
- Повторите техническую проверку и отправьте нужный URL на переобход
Не останавливайтесь на первой найденной ошибке: препятствий может быть несколько. Не открывайте служебные URL автоматически.
- Какой ответ получает робот? Для рабочей страницы проверьте код, содержимое и доступность; для перенесённой или удалённой — соответствие ответа её назначению. Исправляйте неожиданные ошибки, а не любой ответ, отличный от 200.
- Закрыта ли страница в robots.txt, noindex или X-Robots-Tag? Сначала установите, должна ли она индексироваться. Снимайте только ошибочный запрет; служебные и намеренно закрытые URL не открывайте автоматически.
- Указывает ли canonical на другой URL? Проверьте, является ли страница дублем и какой адрес выбран основным. Исправляйте несоответствие назначению страницы, а не сам факт внешнего canonical.
- Есть статус дубля? Сравните обе страницы и их назначение. Корректно объединённые версии не нужно разводить искусственно; самостоятельным посадочным требуется отдельная проверка содержания и настроек.
- Сайт признан неглавным зеркалом? Сопоставьте выбранный основной адрес с запланированной схемой сайта или переезда.
- Есть уведомление о нарушении или безопасности? Следуйте указанному в нём сценарию; сохраните текст сообщения и подтверждение исправления.
- Если остаётся статус «Малоценная или маловостребованная», изучите содержание и спрос, но также сопоставьте дату статуса с последними изменениями и обходом. Сам статус не доказывает отсутствие технических проблем.
Что делать по каждой причине
Исправление зависит от назначения URL. Ошибочную директиву снимают, правильную сохраняют; случайный редирект исправляют, запланированный проверяют вместе с целевой страницей. Для содержательных проблем рассмотрите три варианта ниже после анализа конкретных страниц.
- Усилить страницу: добавить уникальную фактуру, ответ на конкретный вопрос, цены и условия для коммерческой страницы, внутренние ссылки с посещаемых разделов. Страница должна отличаться от соседних не заголовком, а содержанием.
- Объединить: рассмотрите страницы с одинаковой задачей пользователя и сильно пересекающимся содержанием. До объединения проверьте показы, запросы, ссылки и уникальные сведения каждой. Несколько URL по одному запросу не означают, что остальные обязательно исключат.
- Закрыть намеренно: для служебных страниц и бесполезных комбинаций фильтров определите правила индексации. Полезная посадочная с отдельным спросом может требовать другого решения. Перед массовым закрытием проверьте типы URL и действующие показы.
При массовом исключении сгруппируйте URL по шаблону, дате публикации и статусу. Проверьте несколько страниц каждой группы: общий шаблон может распространять одну ошибку, но это не доказывает единую алгоритмическую оценку всей партии. Публикация порциями удобна для контроля качества и нагрузки; сама по себе она не гарантирует индексацию. Дополнительные способы проверки — в статье про индексацию.
Сколько ждать возврата и как ускорить
Для учёта исправления поисковику может понадобиться повторный обход и обработка страницы. В справке Яндекса указаны до трёх дней для посещения из очереди и до двух недель для обновления данных после него. Обработанная заявка не означает включения в поиск. У Google отправку на индексирование также не считайте подтверждением результата: проверяйте статус URL.
- «Переобход страниц» в Вебмастере: суточный лимит адресов свой у каждого сайта и показан рядом с полем ввода. Отправляйте самые важные страницы, а не всё подряд.
- IndexNow: протокол мгновенного уведомления, который поддерживает Яндекс. Подходит для регулярной отправки новых и обновлённых адресов автоматически.
- Карта сайта: проверьте состав нужных URL и достоверность lastmod. Не проставляйте новую дату без реального изменения страницы.
- Внутренние ссылки: добавьте уместные ссылки на важные страницы из связанных разделов. Это даёт пути обнаружения, но не фиксированный срок переобхода.
- Фиксируйте даты правок и отправки на переобход. Не вносите хаотичные изменения ради ускорения, но найденную ошибку исправляйте: оснований считать, что каждая правка автоматически обнуляет ожидание, нет.
Переобход Яндекса: этапы обработки заявки
- Отправка
- После исправления проверьте URL и отправьте его на переобход
- До 3 дней
- По справке Вебмастера: приоритетное посещение адресов из очереди
- До 2 недель
- По справке: обновление данных после посещения страницы
- Проверка
- Обработанная заявка не означает включения в поиск; проверьте статус URL
Источник: справка Яндекс Вебмастера «Переобход страниц». Эти этапы не являются гарантией возврата в индекс.
Текст схемы и все данные
Переобход Яндекса: этапы обработки заявки
- Отправка
- После исправления проверьте URL и отправьте его на переобход
- До 3 дней
- По справке Вебмастера: приоритетное посещение адресов из очереди
- До 2 недель
- По справке: обновление данных после посещения страницы
- Проверка
- Обработанная заявка не означает включения в поиск; проверьте статус URL
Источник: справка Яндекс Вебмастера «Переобход страниц». Эти этапы не являются гарантией возврата в индекс.
Как не допустить повторно
- Проверяйте robots.txt, noindex, canonical и ответы сервера после релиза. Зафиксируйте изменение настроек, чтобы сопоставить его с последующими статусами.
- Мониторинг числа страниц в поиске раз в неделю: график «Страницы в поиске» в Вебмастере и «Индексирование страниц» в GSC. Резкий скачок — сигнал в тот же день, а не через месяц по падению трафика.
- Контролируйте доступность сервера и ответы роботам. При повторяющихся ошибках сопоставляйте журналы и даты обхода со статусами URL.
- Правило «одна страница — один интент»: перед созданием новой страницы проверьте, нет ли уже отвечающей на этот запрос.
- Перед публикацией раздела проверьте шаблон и полезность страниц. Партии используйте для контроля качества, а не как способ гарантировать индексацию.
Если причина не ясна, соберите примеры URL, точные статусы, даты обхода и последние изменения сайта. Технический аудит помогает проверить шаблоны и ответы сервера, а SEO-аудит — назначение и содержание страниц. Вывод должен опираться на эту совокупность данных, а не на один статус.