Технические страницы в WordPress часто попадают в индекс не потому, что сайт «плохой», а потому что движок сам генерирует много служебных URL: архивы авторов, результаты поиска, страницы вложений, feed-ленты, служебные параметры и дубли пагинации. Если не разложить их по разным инструментам, можно получить странную картину в Search Console: часть URL индексируется, часть — нет, а часть продолжает светиться в отчётах как «Просканировано, но не проиндексировано».
Нормальная схема здесь не одна. robots.txt ограничивает обход, noindex говорит поисковику не включать страницу в индекс, а редирект убирает лишний URL из обращения, если он вообще не нужен пользователю. Ошибка многих админов в том, что они пытаются решить всё одним способом. Это работает плохо.
Какие страницы WordPress обычно стоит закрывать
Сначала важно понять, что именно вы хотите убрать. Не все «технические» URL одинаковы. Одни можно закрыть от индексации, но оставить доступными для обхода. Другие лучше перенаправить на канонический адрес. Третьи вообще не стоит трогать, если они помогают пользователю или поиску.
Типовые кандидаты на закрытие
- страницы поиска вида
?s=; - архивы автора на небольших сайтах, где один автор и нет смысла держать отдельную страницу;
- страницы вложений, если медиа-страницы не используются;
- feed-ленты, если они не нужны вашей аудитории;
- технические параметры сортировки и фильтров, если они создают дубли;
- страницы пагинации, если они генерируют мусорные варианты в конкретной структуре сайта.
При этом не стоит автоматически закрывать всё подряд. Например, архивы рубрик и пагинация блога часто нужны. Если закрыть их без анализа, можно сломать внутреннюю перелинковку и ухудшить обход сайта.
Диагностика: как понять, что именно мешает индексации
Перед правками проверьте, какие URL уже есть в индексе и откуда они берутся. Для этого достаточно трёх источников: Search Console, логики шаблонов WordPress и просмотра исходного кода страницы.
Что проверить в первую очередь
- есть ли у проблемного URL мета-тег
robotsсnoindex; - не запрещён ли он в
robots.txtраньше, чем вы успели поставитьnoindex; - не ведёт ли на него внутренняя ссылка из меню, хлебных крошек или блока похожих записей;
- не является ли это страницей вложения, которая дублирует медиафайл;
- не создаёт ли плагин SEO, кэш или фильтры отдельную версию URL с параметрами.
Если страница уже в индексе, но вы просто добавили Disallow в robots.txt, поисковик может ещё долго хранить её в выдаче. Запрет на обход не равен удалению из индекса. Для удаления нужен либо noindex, либо редирект, либо явный запрос на удаление в Search Console.
Что использовать: robots.txt, noindex или редирект
У каждого инструмента своя задача. Ниже — практическое сравнение без теории ради теории.
| Подход | Когда применять | Плюс | Минус |
|---|---|---|---|
robots.txt | Когда нужно сократить обход служебных URL | Просто и быстро | Не удаляет URL из индекса сам по себе |
noindex | Когда страница доступна, но не должна индексироваться | Работает на уровне индекса | Страница должна быть доступна для обхода |
| 301 redirect | Когда URL не нужен и есть правильная замена | Убирает дубль и передаёт сигнал на новый адрес | Нужно аккуратно выбрать целевой URL |
Если нужна именно чистка сайта от дублей и служебных страниц, часто удобнее сочетать настройки темы, SEO-плагина и точечных правок в коде. Например, в Clearfy Pro есть инструменты для отключения лишних архивов и дублей, но использовать их всё равно нужно после проверки структуры конкретного сайта: Clearfy Pro.
Пошаговое решение для WordPress
Шаг 1. Закройте служебные URL через robots.txt
Если задача — уменьшить обход мусорных страниц, начните с robots.txt. В WordPress его можно редактировать через SEO-плагин или вручную, если файл доступен в корне сайта. Пример минимальной настройки:
User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpЭтот вариант не универсален. Например, если у вас поиск работает на красивом URL, а не через ?s=, правило нужно адаптировать. И ещё раз: Disallow не удаляет уже проиндексированные страницы. Он только ограничивает обход.
Шаг 2. Добавьте noindex там, где страница должна открываться, но не индексироваться
Для архивов автора, страниц поиска и некоторых служебных шаблонов лучше использовать noindex. Если у вас стоит SEO-плагин, это обычно делается в его настройках. Но если нужен точечный контроль кодом, можно добавить мета-тег через wp_head.
add_action('wp_head', function () {
if (is_search() || is_author() || is_attachment()) {
echo "<meta name=\"robots\" content=\"noindex, follow\" />\n";
}
});Здесь есть важная деталь: follow оставляет поисковику возможность проходить по ссылкам на странице. Это полезно для архивов и поиска, если вы не хотите полностью обрывать внутреннюю навигацию. Для вложений часто лучше не только noindex, но и редирект на сам файл или родительскую запись, если медиа-страницы не несут ценности.
Шаг 3. Уберите страницы вложений с помощью редиректа
Если у вас включены attachment pages, они часто создают бесполезные URL с тонким содержанием. В этом случае логичнее отправлять пользователя и робота на файл или на родительскую запись. Пример безопасного редиректа:
add_action('template_redirect', function () {
if (is_attachment()) {
$parent = wp_get_post_parent_id(get_the_ID());
if ($parent) {
wp_redirect(get_permalink($parent), 301);
exit;
}
wp_redirect(home_url('/'), 301);
exit;
}
});Этот код лучше размещать в дочерней теме или в небольшом функциональном плагине, а не в основной теме, чтобы не потерять настройку при обновлении.
Как не сломать SEO при закрытии страниц
Самая частая ошибка — закрыть URL в robots.txt, а потом удивляться, что он всё ещё в индексе. Вторая ошибка — поставить noindex на страницу, которая нужна для обхода ссылок, но при этом запретить её в robots. Тогда поисковик может не увидеть сам мета-тег.
Рабочая последовательность обычно такая:
- сначала определяете, нужен ли URL пользователю;
- если не нужен — ставите 301 на релевантную страницу;
- если нужен, но не должен индексироваться — добавляете
noindex; - если нужно только сократить обход — дополняете
robots.txt; - после этого проверяете каноникал, внутренние ссылки и карту сайта.
Проверка результата после внедрения
После правок не ограничивайтесь визуальной проверкой. Нужно убедиться, что поисковик видит именно ту комбинацию сигналов, которую вы задумали.
Что проверить вручную
- откройте URL в браузере и посмотрите исходный код на наличие
<meta name="robots" content="noindex, follow" />; - проверьте ответ сервера для редиректа через
curl -I https://example.com/attachment-page/; - посмотрите, не осталась ли страница в XML-карте сайта;
- убедитесь, что внутренние ссылки не ведут на закрытый URL;
- в Search Console отправьте URL на повторную проверку или используйте инструмент проверки страницы.
Если вы закрывали архивы или поиск, проверьте, не исчезли ли из индекса важные страницы по ошибке. Иногда шаблонные правила задевают не только мусор, но и полезные разделы, особенно если сайт использует нестандартные типы записей или мультиязычность.
Частые ошибки и как их исправить
Ошибка 1. Закрыли всё в robots.txt и забыли про noindex
Так делают часто, потому что это кажется быстрым решением. Но если URL уже в индексе, запрет на обход не решает проблему удаления. Исправление: уберите лишний Disallow только там, где нужен обход для noindex, и дождитесь переобхода.
Ошибка 2. Поставили noindex на страницу, которая всё ещё нужна в sitemap
Если URL не должен индексироваться, его не должно быть в карте сайта. Иначе вы отправляете поисковику противоречивые сигналы. Исправление: исключите такие URL из sitemap в настройках SEO-плагина или фильтрами генератора карты сайта.
Ошибка 3. Редирект ведёт на нерелевантную страницу
Например, все вложения отправляют на главную. Это не всегда плохо, но часто выглядит как костыль и ухудшает поведение пользователя. Лучше редиректить на родительскую запись или на сам файл, если он должен быть доступен.
Ошибка 4. Закрыли архив автора на многoавторском сайте
На сайте с несколькими авторами архивы могут быть полезны и для навигации, и для поиска. Перед отключением проверьте, не используются ли они в хлебных крошках, блоках автора и внутренних ссылках. Если используются, лучше оставить архив, но убрать из индекса через noindex.
Практические советы по безопасности и производительности
Чем меньше лишних URL обходят роботы и пользователи, тем меньше мусора в логике сайта и отчётах. Но не стоит превращать это в тотальную зачистку. Слишком агрессивные правила в robots.txt могут мешать диагностике, а массовые редиректы — создавать лишнюю нагрузку и цепочки перенаправлений.
- не редиректите всё на главную без разбора;
- не закрывайте в robots ресурсы, которые нужны для рендеринга страницы;
- не добавляйте
noindexна страницы, которые должны оставаться доступными для обхода, если это ломает логику сайта; - проверяйте, не создаёт ли кэш-плагин отдельные версии URL с параметрами;
- после изменений очистите кэш страницы, объектный кэш и CDN, если он есть.
Если на сайте уже накопилось много дублей, служебных архивов и мусорных страниц, удобнее сначала провести аудит и отключить лишнее через один инструмент, а потом точечно добить кодом то, что не закрывается настройками. В таких сценариях полезно смотреть не только на SEO, но и на структуру шаблонов темы: именно там часто рождаются лишние ссылки и архивы.
В итоге рабочая схема обычно выглядит так: robots.txt — для ограничения обхода, noindex — для удаления из индекса, редирект — для ненужных URL с понятной заменой. Если эти три уровня не смешивать, технические страницы WordPress можно убрать аккуратно и без лишних побочных эффектов.