robots.txt

robots.txt — текстовый файл в корне сайта (example.com/robots.txt), содержащий инструкции для поисковых роботов: какие страницы можно сканировать, какие — нельзя. Это первый документ, который читает Googlebot перед краулингом сайта.

Главные директивы:

Что обязательно закрывать в robots.txt:

• /admin/, /wp-admin/, /login/ — админки
• /cart/, /checkout/, /personal/ — личный кабинет и корзина
• /?s=, /?filter= — результаты поиска и фильтры
• /api/, /feed/ — служебные URL
• Дубли страниц по UTM-меткам
• PDF/DOC файлы, которые не должны индексироваться

Типичные ошибки:

• Disallow: / — закрыли весь сайт от индексации (катастрофа!)
• Не указали Sitemap — робот дольше ищет страницы
• Закрыли CSS/JS — робот не видит реальный вид страницы
• Не настроили Clean-param — дубли по UTM попадают в индекс
• Использовали robots.txt для защиты секретов — это НЕ защита

Проверка robots.txt:

• Google Search Console → Настройки → robots.txt
• Яндекс.Вебмастер → Инструменты → Анализ robots.txt
• Вручную: откройте https://site.ru/robots.txt в браузере

Кейс WEBVISUAL: Клиент — интернет-магазин одежды, 15 000 SKU. Было: Googlebot тратил 70% краулингового бюджета на дубли с UTM-метками и фильтры, важные товарные карточки индексировались неделями. Настроили:

• Clean-param: utm_source&utm_medium&utm_campaign
• Disallow: /filter/, Disallow: /sort/
• Добавили Sitemap: https://shop.ru/sitemap.xml

Результат за 2 недели: индексация новых товаров ускорилась с 5 дней до 6 часов. Бюджет краулинга вырос на 40%. Трафик с поиска: +28% за месяц без создания нового контента. Бюджет: 8 000 ₽.