Если в индекс попадают страницы поиска, пустые архивы, теги с дублирующимся контентом и бесконечная пагинация, поисковик тратит краулинговый бюджет на мусорные URL, а не на полезные страницы. В WordPress это типичная ситуация: движок сам генерирует много служебных адресов, и не все из них нужно показывать поисковым системам.
Закрывать от индексации стоит не всё подряд, а только те типы страниц, которые не несут самостоятельной ценности для поиска. Иначе можно случайно убрать из индекса важные разделы, которые реально приводят трафик. Ниже — практический разбор, что именно закрывать, чем это делать и как проверить результат.
Какие страницы WordPress обычно стоит закрывать
Для большинства сайтов под ограничение индексации попадают четыре группы страниц: внутренний поиск, служебные архивы, теги и пагинация. У каждой из них своя логика.
Страницы поиска
URL вида ?s=запрос или страницы внутреннего поиска почти всегда бесполезны для индексации. Их содержимое зависит от пользовательского запроса, часто меняется и нередко даёт тонкие или пустые страницы. Поисковики такие URL обычно не любят, а в индексе они создают шум.
Архивы
Архивы по датам, авторам и рубрикам могут быть полезны, но не всегда. Если архивная страница не несёт отдельной ценности и просто дублирует ленту записей, её лучше закрыть. Особенно это касается архивов по датам и авторов на небольших или корпоративных сайтах.
Теги
Теги часто создают больше проблем, чем пользы. На многих сайтах они дублируют рубрики, собирают мало записей и формируют десятки слабых страниц. Если теги не используются как полноценная навигационная сущность и не дают трафик, их обычно закрывают от индексации.
Пагинация
Страницы вида /page/2/, /page/3/ и дальше нужны пользователю для навигации, но не всегда нужны в поиске. Если пагинация лишь разбивает список записей и не содержит уникального контента, её часто закрывают от индексации или как минимум не дают ей конкурировать с основной страницей раздела.
Чем закрывать: robots.txt, meta robots или noindex в HTTP-заголовке
Здесь важно не смешивать разные задачи. robots.txt запрещает обход, а не индексацию как таковую. Если страница уже известна поисковику, один только запрет в robots.txt не гарантирует исчезновение URL из выдачи. Для реального исключения из индекса нужен noindex.
| Способ | Что делает | Когда подходит |
|---|---|---|
robots.txt | Запрещает обход | Для технических ограничений, но не как основной способ убрать URL из индекса |
<meta name="robots" content="noindex"> | Просит не индексировать страницу | Для поиска, архивов, тегов, пагинации и других служебных страниц |
HTTP-заголовок X-Robots-Tag: noindex | Тот же смысл, но на уровне ответа сервера | Когда нельзя удобно вставить meta-тег в HTML или нужно управлять не-HTML ответами |
Для WordPress в большинстве случаев удобнее использовать noindex через SEO-плагин или код темы. Если страница должна оставаться доступной для пользователей, но не участвовать в поиске, это самый понятный вариант.
Как закрыть служебные страницы в WordPress без кода
Самый безопасный путь для владельца сайта — использовать SEO-плагин, который умеет управлять индексированием архивов, тегов и страниц поиска. В интерфейсе обычно есть отдельные переключатели для архивов авторов, дат, тегов и иногда для пагинации.
Если у вас уже установлен SEO-плагин, проверьте такие настройки:
- страницы поиска помечаются как
noindex; - архивы авторов и дат отключены, если они не нужны для трафика;
- страницы тегов закрыты, если теги не являются важной частью структуры;
- для пагинации не создаются отдельные индексируемые дубли;
- в sitemap не попадают служебные URL, которые вы не хотите продвигать.
Если на сайте используется Clearfy Pro, он как раз помогает убирать дубли и управлять служебными страницами WordPress. Для сайтов, где нужно быстро навести порядок с индексированием без ручной правки шаблонов, это практичный вариант: Clearfy Pro.
После изменения настроек не ждите мгновенного эффекта. Поисковику нужно время, чтобы переобойти страницы и обновить индекс.
Когда лучше ставить noindex вручную
Ручная настройка нужна, если плагин не покрывает ваш сценарий или вы хотите точечно управлять конкретными типами архивов. В WordPress это обычно делают через фильтры темы или дочерней темы. Такой подход требует аккуратности: если ошибиться в условии, можно закрыть не ту страницу.
Для страниц поиска, архивов тегов и пагинации логика обычно строится на условных тегах WordPress: is_search(), is_tag(), is_archive(), is_paged(). Но вставлять код стоит только если вы понимаете, где именно он будет выполняться и как потом его поддерживать после обновления темы.
Примерно так выглядит идея: на страницах поиска и тегов выводится noindex, а на обычных записях и страницах сайта — нет. Конкретная реализация зависит от темы и SEO-плагина, поэтому универсального куска кода, который без проверки можно вставить на любой сайт, здесь нет. Если у вас нет опыта работы с шаблонами WordPress, безопаснее использовать настройки плагина.
Что делать с пагинацией, чтобы не сломать разделы
Пагинация — самый спорный пункт. Закрывать её от индексации имеет смысл, когда страницы /page/2/ и дальше не дают самостоятельной ценности и только размножают одинаковые сниппеты. Но если у вас крупный каталог материалов, где вторая и третья страницы реально получают переходы из поиска, закрытие может быть не лучшим решением.
Практически ориентируйтесь на два вопроса:
- есть ли у пагинированных страниц уникальный контент или они просто повторяют список записей;
- нужны ли эти URL в поиске как точки входа для пользователей.
Если ответ отрицательный, оставляйте пагинацию доступной для обхода, но не делайте её отдельной целью индексации. При этом важно не ломать внутреннюю перелинковку: страницы списка должны оставаться доступными для переходов, даже если вы не хотите видеть их в выдаче.
Как проверить, что закрытие работает
После настройки не ограничивайтесь визуальной проверкой исходного кода. Нужны три шага.
- Откройте страницу поиска, тегов, архива или пагинации и проверьте исходный HTML на наличие
noindexв meta-теге или заголовке ответа. - Посмотрите, не закрыли ли вы случайно важные страницы рубрик, записей или посадочные страницы, которые должны индексироваться.
- Через некоторое время проверьте в поисковой системе, исчезают ли служебные URL из индекса и не появляются ли новые дубли.
Для быстрой проверки заголовков удобно использовать инструменты разработчика в браузере или онлайн-проверку ответа сервера. Если у вас есть доступ к командной строке, можно посмотреть заголовки через curl -I https://example.com/, но это уже необязательно и зависит от хостинга.
Типичные ошибки, из-за которых индексация не улучшается
Чаще всего проблема не в самом WordPress, а в том, как именно закрывают страницы.
- Путают
robots.txtиnoindex. Запрет обхода не равен исключению из индекса. - Закрывают всё подряд. После этого поисковик теряет полезные рубрики или страницы, которые раньше приносили трафик.
- Оставляют теги открытыми без смысла. На небольших сайтах это почти всегда лишний источник дублей.
- Не проверяют sitemap. Если служебные URL продолжают попадать в карту сайта, поисковик будет возвращаться к ним снова и снова.
- Ожидают мгновенного результата. После изменений индексация обновляется не сразу.
Если задача сайта — именно убрать мусорные страницы и сократить дубли, а не вручную собирать десятки исключений, имеет смысл использовать инструмент, который закрывает этот слой системно. Но даже в этом случае сначала проверьте, какие архивы и таксономии реально нужны вашему проекту, а какие только раздувают индекс.
Для большинства WordPress-сайтов рабочая схема простая: закрыть внутренний поиск, отключить ненужные архивы, убрать из индекса слабые теги и аккуратно решить вопрос с пагинацией. Это не требует сложной доработки, но заметно упрощает структуру индекса и снижает количество бесполезных URL.