Если на WordPress-сайте нужно ограничить обход служебных разделов, robots.txt — это первое место, с которого обычно начинают. Но здесь легко ошибиться: закрыть не то, запретить важные страницы или, наоборот, оставить поисковику лишние технические URL. Для WordPress лучше настраивать robots.txt не «по шаблону из интернета», а под конкретную структуру сайта и задачи индексации.
Сразу главное: robots.txt не удаляет страницы из поиска и не прячет контент от пользователей. Он лишь подсказывает роботам, какие разделы не стоит обходить. Если URL уже попал в индекс, одного запрета в robots.txt обычно недостаточно, чтобы он исчез.
Что именно стоит закрывать в WordPress
На большинстве сайтов имеет смысл ограничить обход технических и служебных разделов, которые не несут ценности для поиска и могут создавать лишнюю нагрузку на обход. В WordPress это обычно:
/wp-admin/— административная часть сайта;/wp-includes/— системные файлы WordPress;/wp-content/plugins/и/wp-content/themes/— служебные каталоги с кодом, а не с контентом;- служебные параметры и страницы, которые генерируются самим сайтом и не нужны в поиске.
При этом не стоит бездумно закрывать весь /wp-content/. Внутри него обычно лежат изображения, загруженные файлы и другие ресурсы, которые могут быть полезны поиску и пользователям. Если закрыть слишком широко, можно случайно ограничить обход картинок или файлов, которые должны быть доступны.
Базовый robots.txt для WordPress
Для обычного сайта без сложной архитектуры достаточно аккуратного базового файла. Его можно использовать как отправную точку и затем подстроить под свой проект:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Sitemap: https://example.com/sitemap.xmlЗдесь есть два важных момента. Во-первых, правило Allow: /wp-admin/admin-ajax.php оставляют, чтобы не ломать работу фронтенда и некоторых плагинов, которые обращаются к этому файлу. Во-вторых, строку Sitemap лучше указывать, если у вас действительно есть XML-карта сайта и она доступна по этому адресу.
Если у вас сайт на поддомене, в мультиязычной структуре или с нестандартным генератором карты сайта, адрес Sitemap нужно подставить свой. Нельзя копировать его из чужого примера без проверки.
Где в WordPress хранится robots.txt
У WordPress есть особенность: если физического файла robots.txt в корне сайта нет, система может отдавать виртуальный вариант. Это удобно для быстрой проверки, но для стабильной настройки лучше создать реальный файл в корне сайта.
Обычно файл размещают рядом с wp-config.php и wp-admin. Создать и отредактировать его можно через:
- файловый менеджер хостинга;
- FTP/SFTP-клиент;
- панель управления сервером, если она позволяет работать с файлами сайта.
После создания файла важно убедиться, что он действительно доступен по адресу https://ваш-домен/robots.txt, а не остался только локально на компьютере.
Как не закрыть важные страницы по ошибке
Самая частая проблема при настройке robots.txt — слишком широкие правила. Например, запрет на /wp-content/ может задеть изображения, а запрет на корень сайта через Disallow: / полностью остановит обход всего сайта. Такой файл иногда ставят случайно после переноса или разработки, а потом долго ищут причину падения видимости.
Перед сохранением файла проверьте три вещи:
- нет ли правила, которое начинается с
Disallow: /без явной необходимости; - не закрыты ли каталоги, где лежат изображения, документы и другие публичные файлы;
- не запрещены ли страницы, которые должны участвовать в поиске, например разделы каталога, статьи, страницы услуг или архивы, если они нужны вашему сайту.
Если сайт работает на WordPress и использует плагины для SEO, кэширования или генерации карт сайта, проверьте, не создают ли они собственные правила. Иногда конфликт возникает не из-за самого robots.txt, а из-за того, что файл редактируют в двух местах сразу: вручную и через плагин.
Когда robots.txt лучше не усложнять
Для небольшого сайта не нужно пытаться описать в robots.txt все возможные URL-параметры и вариации страниц. Этот файл не заменяет нормальную структуру сайта, канонические ссылки и настройку индексации в самих страницах. Если начать закрывать десятки параметров без понимания, как именно они используются, можно случайно заблокировать полезный трафик или усложнить обход нужных страниц.
Практически всегда достаточно закрыть служебные каталоги WordPress и указать карту сайта. Остальное имеет смысл добавлять только после анализа логов, отчётов поисковых систем или явной проблемы с обходом.
Как проверить, что robots.txt настроен правильно
После сохранения файла откройте его в браузере по адресу /robots.txt. Если вместо вашего содержимого вы видите ошибку, пустую страницу или старую версию файла, значит настройка не применились или сервер отдаёт другой вариант.
Дальше проверьте несколько практических вещей:
- файл открывается по HTTPS без редиректов на ошибку;
- в нём нет случайных лишних символов, битой кодировки или дублирующихся директив;
- строка с картой сайта указывает на реальный URL;
- закрытые каталоги действительно относятся к служебным, а не к публичным разделам.
Если вы используете инструменты для проверки индексации в поисковых системах, смотрите не только на сам robots.txt, но и на то, как роботы видят конкретные URL. Иногда файл написан корректно, а проблема находится в другом месте: в мета-теге robots, в заголовке X-Robots-Tag или в настройках плагина SEO.
Что делать, если сайт уже был настроен неправильно
Если robots.txt раньше закрывал важные страницы, сначала исправьте файл, а потом дайте поисковым роботам время заново обойти сайт. Не стоит сразу добавлять новые запреты поверх старых, надеясь «перекрыть» ошибку. Лучше убрать лишнее, оставить минимально нужные правила и проверить доступ к ключевым URL.
Если вы меняете файл на рабочем сайте, делайте это аккуратно. Ошибка в robots.txt не ломает сам сайт для посетителей, но может заметно повлиять на обход и переобход страниц поисковыми системами. Поэтому перед правкой полезно сохранить текущую версию файла, чтобы при необходимости быстро вернуть прежнее состояние.
Для WordPress-проекта рабочая схема обычно выглядит так: закрыть служебные каталоги, оставить доступ к нужным публичным ресурсам, указать карту сайта и не пытаться решать через robots.txt задачи, для которых он не предназначен. Если придерживаться этого подхода, файл останется коротким, понятным и безопасным для сайта.