Как настроить robots.txt в WordPress: примеры для индексации, карт сайта и служебных разделов

Если поисковики видят на WordPress-сайте лишние служебные URL, дубли или технические разделы, robots.txt помогает подсказать, что обходить не нужно, а где лежит карта сайта. Но это не инструмент для «скрытия» страниц из поиска: если URL уже известен и на него ведут ссылки, запрет в robots.txt не гарантирует удаление из индекса. Для такой задачи используют noindex, canonical или настройку самого контента.

Ниже — рабочий подход к robots.txt именно для WordPress: что в него обычно добавляют, что лучше не трогать и как собрать файл под типовой сайт без лишних ограничений для индексации.

Что robots.txt реально делает в WordPress

Файл robots.txt лежит в корне сайта и отвечает за обход, а не за индексацию как таковую. Поисковый робот сначала читает этот файл, а потом решает, какие URL можно запрашивать. Если путь запрещён, бот не будет его обходить, но сам адрес может остаться в выдаче без содержимого или с фрагментом из внешних ссылок.

Для WordPress это особенно важно, потому что у CMS есть служебные страницы и технические пути, которые редко нужны в поиске:

• админка и вход в неё;
• служебные эндпоинты и внутренние файлы;
• страницы поиска по сайту;
• архивы, которые не несут ценности в конкретном проекте;
• служебные параметры и временные URL.

При этом закрывать всё подряд нельзя. Если запретить слишком много, поисковик может хуже понять структуру сайта, а иногда — не увидеть важные ресурсы, например CSS и JS, если они лежат в нестандартных местах. В WordPress обычно достаточно точечных правил.

Где редактировать robots.txt в WordPress

У WordPress есть виртуальный robots.txt: если физического файла в корне нет, CMS может отдавать стандартный вариант. Но для нормальной настройки лучше создать собственный файл robots.txt в корне сайта через FTP, файловый менеджер хостинга или панель управления.

Такой способ надёжнее, потому что вы контролируете содержимое напрямую. После загрузки файла откройте https://ваш-домен/robots.txt и проверьте, что сервер отдаёт именно ваш вариант, а не стандартный ответ WordPress.

Если у сайта есть кеширующий плагин или CDN, после изменения robots.txt иногда нужно очистить кеш на стороне хостинга и CDN, чтобы поисковики быстрее увидели новую версию.

Базовый robots.txt для WordPress

Для большинства обычных сайтов можно начать с такого варианта:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wptests.ru/sitemap_index.xml

Здесь:

• User-agent: * — правило для всех роботов;
• Disallow: /wp-admin/ — закрывает административный раздел;
• Allow: /wp-admin/admin-ajax.php — оставляет доступ к AJAX-обработчику, который часто нужен теме и плагинам;
• Sitemap: — указывает карту сайта.

Для WordPress это самый безопасный стартовый шаблон. Он не мешает индексации публичных страниц и при этом убирает из обхода админку.

Какие разделы обычно закрывают, а какие нет

Решение зависит от структуры сайта. Не существует универсального списка, который подходит всем без исключения. Но есть практическая логика.

Что обычно имеет смысл закрыть

• /wp-admin/ — административная часть;
• /wp-login.php — страница входа, если вы хотите снизить лишние обходы;
• внутренние технические каталоги, если они не нужны пользователям и не должны обходиться роботами;
• служебные страницы поиска по сайту, если они создают мусорные URL.

При этом /wp-login.php закрывают не всегда. Это допустимо, но не обязательно: сама по себе страница входа не несёт SEO-ценности, а защита от брутфорса решается не robots.txt, а ограничением попыток входа, капчей, 2FA и настройками безопасности.

Что обычно не стоит закрывать

• /wp-content/uploads/, если там лежат изображения и файлы, которые должны индексироваться;
• CSS и JS, если они нужны для корректного рендеринга страниц;
• главную страницу, записи, рубрики и другие публичные URL;
• карту сайта.

Особенно часто ошибаются с папкой /wp-content/. Закрывать её целиком нельзя без разбора: в ней лежат не только служебные файлы, но и медиа, которые могут быть важны для поиска по картинкам и для отображения страниц.

Примеры robots.txt для типовых сценариев

Ниже — несколько рабочих вариантов. Выбирайте тот, который соответствует вашему сайту, а не самый «жёсткий».

1. Обычный корпоративный сайт или блог

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wptests.ru/sitemap_index.xml

Это базовый и чаще всего достаточный вариант. Он не мешает индексации контента и закрывает только админку.

2. Сайт, где нужно убрать из обхода внутренний поиск

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wptests.ru/sitemap_index.xml

Такой вариант подходит, если поиск по сайту создаёт множество бесполезных URL. Но здесь есть нюанс: на некоторых темах и плагинах поиск может работать через другие параметры или путь. Перед добавлением правила проверьте, как именно формируются URL поиска на вашем сайте.

3. Сайт с отдельными служебными разделами

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wptests.ru/sitemap_index.xml

Этот пример уместен только если такие разделы действительно служебные и не должны попадать в поиск. Но если на сайте есть публичные страницы с полезным содержимым в этих разделах, закрывать их не нужно. Robots.txt не заменяет анализ конкретных URL.

4. Сайт, где нужно закрыть технические параметры

User-agent: *
Disallow: /wp-admin/
Disallow: /*?replytocom=
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wptests.ru/sitemap_index.xml

Параметр replytocom встречается на некоторых WordPress-сайтах и может плодить дубли. Если у вас он реально есть в URL, такое правило помогает сократить лишний обход. Если параметра нет, добавлять его просто «на всякий случай» не нужно.

Как правильно указать карту сайта

Строка Sitemap: в robots.txt помогает поисковикам быстрее найти карту сайта. Для WordPress это особенно удобно, потому что многие SEO-плагины и сама CMS могут генерировать sitemap автоматически.

Указывать нужно точный URL карты сайта. На практике это часто один из вариантов:

• https://wptests.ru/sitemap_index.xml — если используется SEO-плагин, который создаёт индекс карт;
• https://wptests.ru/wp-sitemap.xml — если используется встроенная карта сайта WordPress.

Не ставьте обе строки без необходимости, если у вас активна только одна карта. Лучше указать ту, которая реально открывается в браузере и отдаёт корректный XML.

Проверка простая: откройте URL карты сайта напрямую и убедитесь, что он доступен без ошибок, а затем проверьте robots.txt на наличие этой строки.

Что не стоит делать в robots.txt

Самая частая ошибка — пытаться через robots.txt решить задачи, для которых он не предназначен. Это приводит к ложному ощущению контроля, но не даёт нужного результата.

• Не закрывайте через robots.txt страницы, которые нужно убрать из индекса. Для этого используйте noindex или удаляйте страницу с корректным ответом сервера.
• Не запрещайте важные CSS и JS без причины. Поисковику нужен доступ к ресурсам, чтобы корректно оценить страницу.
• Не копируйте чужой robots.txt целиком. У другого сайта может быть другая структура URL, другие плагины и другие служебные пути.
• Не добавляйте десятки правил «на всякий случай». Чем длиннее и агрессивнее файл, тем выше шанс случайно закрыть важный раздел.

Если сайт уже в индексе, а вы хотите убрать конкретные страницы, сначала проверьте, есть ли на них мета-тег noindex, корректный canonical и нет ли внутренних ссылок, которые продолжают вести на этот URL.

Как проверить, что robots.txt работает

После сохранения файла откройте https://wptests.ru/robots.txt в браузере. В ответе должен быть именно ваш текст, без лишней HTML-разметки и без ошибки сервера.

Дальше проверьте три вещи:

1. файл доступен по HTTPS;
2. в нём есть правило для /wp-admin/ и строка с картой сайта;
3. запрещённые URL действительно выглядят как запрещённые, а публичные страницы не попали под случайный запрет.

Если вы используете Google Search Console или Яндекс Вебмастер, там можно дополнительно посмотреть, как робот видит файл и не блокирует ли он важные страницы. Это полезно после любых правок, особенно если сайт большой и правила нестандартные.

Если нужен более чистый и управляемый SEO-набор для WordPress, иногда удобнее использовать плагин, который помогает убрать дубли и технический шум на уровне сайта. Например, Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но сам robots.txt всё равно лучше проверять вручную, потому что именно он определяет правила обхода.

Если коротко: для WordPress обычно достаточно закрыть админку, не трогать публичные разделы без причины и явно указать карту сайта. Всё остальное добавляйте только после проверки структуры URL и понимания, зачем это правило нужно именно вашему сайту.