Страницы автора, архивы по датам и часть служебных таксономий часто создают лишние URL в индексе. На небольшом сайте это выглядит как мелочь, но на практике такие страницы отъедают краулинговый бюджет, плодят дубли и мешают поисковику быстрее добираться до полезных материалов. При этом закрывать всё подряд нельзя: если у автора есть сильная экспертная страница или архив реально приносит трафик, его нужно оставить открытым.
Ниже — рабочая схема: как понять, что именно закрывать, чем отличается noindex от robots.txt, и как проверить, что изменения не задели важные разделы.
Когда noindex действительно нужен
Сначала стоит посмотреть не на шаблон, а на поведение сайта. Если в поиске уже есть страницы вида /author/..., /date/..., /tag/... или архивы с пустым или почти пустым контентом, это кандидат на закрытие. Особенно часто проблема встречается на новостных, корпоративных и контентных сайтах, где авторские архивы не несут самостоятельной ценности.
Диагностика проблемы
Проверьте три вещи:
- есть ли в индексе страницы автора и архивы, которые не должны ранжироваться;
- показывают ли эти страницы дублирующий title и description;
- не ведут ли они на слабые, пустые или технические списки записей.
Быстрый способ проверить — поиск по сайту и отчёт в Google Search Console. Если в индексе много архивных URL, а трафика они не дают, закрытие через noindex обычно безопаснее, чем удаление страниц или грубая блокировка в robots.txt.
Важно: robots.txt не удаляет URL из индекса, если они уже известны поисковику. Для удаления из выдачи нужен именно noindex или корректный редирект/удаление страницы.
Что выбрать: плагин, код или ручную настройку
Если сайт на стандартной теме и без сложной логики, проще всего использовать SEO-плагин. Если нужна точная настройка только для отдельных архивов, удобнее добавить код в тему или мини-плагин. Ручная правка шаблонов без понимания условий часто приводит к тому, что закрываются не только архивы, но и полезные страницы.
| Подход | Когда подходит | Минус |
|---|---|---|
| SEO-плагин | Нужно быстро закрыть архивы без разработки | Меньше гибкости, зависит от интерфейса плагина |
| Код в теме/мини-плагине | Нужно закрыть только часть архивов по условиям | Требует проверки после обновлений темы |
| robots.txt | Нужно ограничить обход технических URL | Не решает задачу удаления из индекса |
Пошаговое решение через код
Если нужен контролируемый вариант без лишних зависимостей, добавьте фильтр в functions.php дочерней темы или в отдельный мини-плагин. Пример ниже закрывает архивы автора и даты, но оставляет обычные записи и страницы открытыми.
<?php
add_filter('wp_robots', function( $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['nofollow'] = false;
}
return $robots;
});Этот вариант работает на уровне мета-тега robots и не зависит от SEO-плагина. Но если у вас уже стоит Yoast SEO, Rank Math или другой SEO-плагин, он может перезаписать поведение. Тогда лучше использовать настройки плагина или проверять, не конфликтует ли он с вашим кодом.
Как закрыть только пустые архивы тегов
Иногда закрывать все теги нельзя: часть из них даёт трафик. В таком случае можно закрывать только пустые архивы. Ниже пример, который ставит noindex для тегов без записей.
<?php
add_filter('wp_robots', function( $robots ) {
if ( is_tag() ) {
$term = get_queried_object();
if ( $term && ! is_wp_error( $term ) && empty( $term->count ) ) {
$robots['noindex'] = true;
}
}
return $robots;
});Такой подход полезен, если на сайте есть и рабочие теги, и мусорные архивы, созданные автоматически редакторами или импортом.
Настройка через SEO-плагин
Если сайт уже использует SEO-плагин, не дублируйте логику кодом без необходимости. В большинстве случаев проще отключить индексацию архивов в интерфейсе плагина и оставить код только для нестандартных условий.
Например, в Yoast SEO и Rank Math обычно можно отдельно отключить архивы авторов, даты и теги. Это удобнее для редактора, потому что настройка видна в админке и не теряется при смене темы. Но перед сохранением проверьте, не используется ли архив автора как посадочная страница для эксперта или редакции.
Если нужен более широкий набор инструментов для чистки дублей и технических страниц, можно посмотреть в сторону Clearfy Pro: он закрывает часть типовых задач по SEO и технической чистке сайта. Но даже в этом случае логику стоит проверять вручную, а не включать всё подряд.
Проверка результата после внедрения
После изменений не ограничивайтесь просмотром исходного кода. Нужно убедиться, что поисковик видит именно тот сигнал, который вы задали.
- Откройте страницу автора или архив в браузере.
- Посмотрите исходный код и найдите мета-тег
<meta name="robots" content="noindex,follow">или аналогичный вариант. - Проверьте HTTP-ответ и убедитесь, что страница не отдает редирект на другой URL без причины.
- В Google Search Console отправьте URL на проверку и посмотрите, как он определяется после переобхода.
Если вы используете WP-CLI или тестируете локально, можно быстро проверить вывод страницы через curl:
curl -I https://example.com/author/admin/В ответе вы не увидите сам тег robots, но сможете убедиться, что страница доступна и не закрыта ошибочным редиректом или кодом ответа. Сам мета-тег проверяйте в HTML-источнике.
Частые ошибки и как их исправить
Закрыли в robots.txt вместо noindex
Это самая частая ошибка. Если URL уже в индексе, запрет в robots.txt не гарантирует удаление. Поисковик может продолжать показывать адрес без сниппета. Решение: вернуть доступ для обхода и добавить noindex.
Случайно закрыли полезные архивы
Так бывает, когда правило написано слишком широко: например, закрываются все архивы таксономий, хотя часть из них даёт трафик. Исправление простое — сужайте условие до конкретных архивов, а не до всех страниц одного типа.
Конфликт с SEO-плагином
Если в коде стоит одно значение, а в плагине другое, итоговый HTML может отличаться от ожидаемого. После внедрения всегда проверяйте фактический исходный код страницы, а не только настройки в админке.
Ожидали мгновенного удаления из выдачи
noindex не удаляет URL моментально. Поисковику нужно переобойти страницу. Если нужно ускорить процесс, отправьте URL на повторную проверку в Search Console и дождитесь переиндексации.
Практические советы по безопасности и производительности
Не вносите такие правки напрямую в родительскую тему: после обновления они потеряются. Лучше использовать дочернюю тему или мини-плагин. Если сайт большой, храните логику в одном месте, а не размазывайте по шаблонам.
Перед изменениями сделайте резервную копию файлов и базы. Для точечных SEO-правок этого часто достаточно, но если вы уже правите шаблоны архивов, ошибка в условии может сломать отображение целого раздела.
Ещё один практический момент: не закрывайте от индексации всё подряд ради «чистоты». Иногда лучше оставить архив открытым и добавить туда уникальный текст, чем прятать страницу, которая реально помогает навигации и получает переходы.
Когда лучше не использовать noindex
Если архив автора — это полноценная экспертная страница с биографией, ссылками на публикации и стабильным спросом, закрывать её не стоит. То же самое относится к тематическим архивам, которые собирают полезные материалы и ранжируются лучше отдельных записей по общему запросу.
В таких случаях лучше доработать шаблон архива: добавить уникальный заголовок, краткое описание, убрать пустые блоки и проверить канонический URL. Тогда страница останется в индексе, но будет выглядеть как самостоятельный полезный раздел, а не как техническая лента записей.