Как настроить robots.txt и sitemap.xml правильно: гид для новичков

• robots.txt — это инструкция для поисковых роботов. Он говорит: «Сканируй эти разделы, а эти — пропусти». Например, запрет на индексацию папки /admin/ или результатов поиска по сайту.
  Без этого файла робот проиндексирует всё, включая дубли, служебные страницы и черновики — что ухудшит качество индекса.
• sitemap.xml — это карта сайта для поисковиков. Она перечисляет все важные страницы, их приоритет и дату последнего обновления. Это помогает роботу быстрее найти новый контент и понять структуру сайта.
  Особенно важен для крупных порталов, интернет-магазинов и сайтов с глубокой вложенностью.

1. Пустой или отсутствующий robots.txt
   Поисковик не получает инструкций и может проиндексировать всё подряд, включая админку или тестовые страницы.
2. Запрет индексации всего сайта
   Строка Disallow: / блокирует весь сайт. Такая ошибка часто остаётся после тестирования и убивает трафик.
3. Неправильные пути в robots.txt
   Использование кириллицы, пробелов или относительных путей (/page/ вместо полного URL) делает правила нечитаемыми.
4. Отсутствие sitemap.xml
   Без карты сайта поисковик может долго не находить новые страницы, особенно если на них нет внутренних ссылок.
5. Указание в sitemap.xml несуществующих или закрытых от индексации страниц
   Это создаёт противоречие: «Индексируй то, что я запретил». Робот теряет доверие к карте.
6. Ручное обновление sitemap.xml
   На сайтах с частыми изменениями (магазины, блоги) карта быстро устаревает, если не настроена автоматизация.

1. robots.txt
   • Откройте в браузере: вашсайт.ru/robots.txt. Должен отобразиться текст с правилами.
   • Проверьте в Яндекс.Вебмастере: раздел «Анализ robots.txt». Сервис покажет, какие страницы заблокированы и есть ли ошибки синтаксиса.
   • В Google Search Console: «Инструменты» → «Проверка файла robots.txt».
2. sitemap.xml
   • Откройте: вашсайт.ru/sitemap.xml. Должен отобразиться список URL в формате XML.
   • Проверьте в Яндекс.Вебмастере: «Файлы Sitemap». Там будет статус — «обработан», «ошибки» или «не найден».
   • Используйте онлайн-валидаторы (например, xml-sitemaps.com/validator) для проверки структуры.

• При добавлении новой статьи, товара или услуги система автоматически включает её в sitemap.xml;
• Дата последнего изменения обновляется без участия человека;
• Карта всегда актуальна.

• WordPress: большинство SEO-плагинов (Yoast, Rank Math) генерируют и обновляют sitemap.xml автоматически.
• Bitrix: включена встроенная генерация карты сайта — достаточно активировать в настройках.
• Самописные CMS: можно настроить скрипт, который формирует XML-файл при каждом изменении контента.
• Конструкторы (Tilda, LPgenerator): предоставляют готовую карту по фиксированному адресу (например, вашсайт.tilda.ws/sitemap.xml).

• Не бойтесь редактировать robots.txt — он не сломает сайт, если соблюдать простые правила;
• Регулярно проверяйте оба файла после обновления CMS или смены хостинга;
• Если сомневаетесь — начните с минимальной настройки: запретите индексацию служебных папок и добавьте карту сайта;
• Не используйте robots.txt для защиты конфиденциальной информации — для этого нужны пароли и доступы.

• Ускоряют индексацию новых страниц;
• Предотвращают попадание мусора в поиск;
• Повышают доверие поисковиков к вашему сайту.

Готовы проверить файлы вашего сайта?
Агентство Tolk включает аудит robots.txt и sitemap.xml в каждый технический SEO-аудит. Оставьте заявку — и получите бесплатный чек-лист «7 пунктов для проверки robots.txt и sitemap.xml».