Ошибки в robots.txt на WordPress приводят к потере до 30% краулингового бюджета из-за индексации технических страниц и дублей. Правильная конфигурация этого файла — не формальность, а инструмент управления приоритетами поисковиков, который напрямую влияет на скорость индексации новых страниц.
Анатомия стандартного robots.txt в WordPress
По умолчанию WordPress генерирует виртуальный файл robots.txt, который часто избыточен или недостаточно строг. Основная проблема — индексация директории /wp-admin/ и /wp-includes/, что создает сотни «мусорных» страниц в индексе. В среднем, на сайте с 100 статьями может возникнуть до 15-20 технических дублей, если не ограничить доступ к системным файлам.
Критическая ошибка новичков — закрытие всей папки /wp-content/, что блокирует доступ к CSS и JS. Это приводит к ошибке «Страница не оптимизирована для мобильных» в Google Search Console, так как бот не может отрисовать интерфейс. Экспертный вывод: закрывайте только админку и системные скрипты, но всегда оставляйте открытыми ресурсы, влияющие на рендеринг.
Борьба с дублями: параметры запросов и теги
WordPress генерирует множество URL с параметрами (например, ?replyto= или ?utm_source=), которые создают бесконечный цикл индексации. Применение директивы Disallow: /*?* позволяет отсечь 90% технических дублей, однако здесь кроется ловушка: если вы используете пагинацию через параметры, вы закроете её от индексации.
Кейс: на интернет-магазине на WooCommerce неправильный запрет параметров ?add-to-cart= привел к тому, что боты перестали видеть часть функциональных переходов, что снизило глубину сканирования сайта на 15%. Правильное решение — точечный запрет конкретных параметров, а не всего знака вопроса. Мой вердикт: используйте точечные запреты для конкретных GET-запросов, чтобы не «зарезать» полезный трафик.
Настройка через плагины против ручного файла
Выбор между Yoast SEO/Rank Math и физическим файлом robots.txt в корне сайта — это вопрос контроля. Плагины позволяют менять директивы за 10 секунд, но создают виртуальный файл, который иногда кэшируется сервером некорректно. Физический файл (.txt) имеет приоритет и работает стабильнее на высоконагруженных проектах с трафиком от 50 000 посещений в месяц.
Сравнение: виртуальный файл удобен для быстрой SEO оптимизация сайта на WordPress, но физический файл исключает риск того, что после обновления плагина ваши запреты сбросятся к дефолтным. Резюме: для малых блогов достаточно плагина, для крупных порталов — только физический файл в корне через FTP/SFTP.
Sitemap и Crawl-budget: оптимизация ресурсов
Указание пути к Sitemap в robots.txt сокращает время обнаружения новых страниц в среднем на 24-48 часов. Однако добавление в Sitemap страниц, которые закрыты в robots.txt, создает конфликт сигналов: вы просите бота зайти на страницу, но одновременно запрещаете это. Это вызывает рост ошибок «Проиндексировано, но не выбрано в качестве канонической» в консоли.
Практика показывает, что очистка индекса от страниц тегов и архивов через robots.txt освобождает до 20% ресурсов сервера при сканировании. Мой совет: синхронизируйте список исключений в robots.txt и настройки индексации в плагине SEO, чтобы бот не тратил время на «запретные» зоны.
Вывод
Идеальный robots.txt для WordPress должен быть минималистичным: открытые CSS/JS, закрытая /wp-admin/ и четко прописанный путь к Sitemap. Избегайте тотального запрета параметров через /*?*, если используете фильтры или пагинацию. Начинайте с создания физического файла в корне сайта, чтобы гарантировать стабильность настроек независимо от обновлений CMS и плагинов.
