Sitemap.xml и robots.txt: что это и зачем

Робот поисковика приходит на сайт и первым делом читает два файла: robots.txt — «куда мне можно?» — и sitemap.xml — «какие страницы вообще есть?». Ошибка в первом прячет сайт от поиска целиком, отсутствие второго — оставляет половину страниц незамеченными. Оба проверяются за минуту, и оба у каждого третьего сайта настроены неправильно.

robots.txt — правила для роботов

Текстовый файл по адресу вашсайт.ru/robots.txt. Говорит поисковым роботам, какие разделы не надо обходить: админку, корзину, поиск по сайту, технические страницы. Не защита (файл публичный, и любой его прочитает), а просьба не тратить время на мусор.

Минимальный правильный вариант:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search
Sitemap: https://вашсайт.ru/sitemap.xml

Ошибки, которые встречаются постоянно

• Disallow: / на боевом сайте. Разработчик закрыл сайт на время работ и забыл открыть. Сайт полностью невидим для поиска — месяцами. Самая дорогая ошибка из всех.
• Закрыты стили и скрипты. Робот не может отрисовать страницу и считает её пустой или «не для мобильных».
• Закрыты картинки — нет трафика из поиска по картинкам.
• Нет строки Sitemap — робот не знает, где карта.
• robots.txt отдаёт 404 или HTML-страницу вместо текста.

sitemap.xml — карта сайта

Список всех страниц, которые вы хотите видеть в поиске, с датой обновления. Робот и без неё найдёт страницы по ссылкам, но карта ускоряет индексацию новых страниц с недель до дней и гарантирует, что глубокие страницы (товары, статьи, региональные) не будут пропущены.

Что должно быть внутри:

• Только рабочие страницы, отвечающие 200 — без редиректов, 404 и закрытых в robots
• Только канонические адреса — без дублей с параметрами, www/без www, http/https вперемешку
• Актуальная дата изменения — поисковик по ней понимает, что перечитать
• До 50 000 адресов в одном файле, иначе — индекс карт из нескольких файлов

Ошибки

• Карта сгенерирована год назад и лежит статичным файлом: новых страниц в ней нет, удалённые — есть.
• В карте страницы, закрытые в robots.txt — поисковик получает противоречие и понижает доверие.
• Карта на плагине, который добавляет всё подряд: теги, авторов, вложения, страницы пагинации.
• Не добавлена в Вебмастер и Search Console — тогда никто не знает, что она есть, и не видно ошибок.

Как проверить за минуту

1. Откройте вашсайт.ru/robots.txt. Есть, текст, нет Disallow: /, есть строка Sitemap.
2. Откройте вашсайт.ru/sitemap.xml. Есть, открывается, адреса ваши и с https, даты свежие.
3. В Яндекс.Вебмастере и Google Search Console: раздел «Файлы Sitemap» — добавлена, без ошибок; раздел «Индексирование» — сколько страниц в поиске против сколько в карте. Большой разрыв — повод разбираться.

Бесплатно и автоматически оба файла плюс ещё восемь пунктов проверяет наш SEO-чек — введите адрес и через 10 секунд получите список.

Что ещё влияет на индексацию

Файлы — это база. Дальше: скорость загрузки, мобильная версия, HTTPS, уникальные заголовки и описания у каждой страницы, внутренние ссылки, чтобы до любой страницы было три клика. Об этом — в чек-листе SEO своими руками и разборе, почему сайта нет в поиске.

Если нужно исправить

Правим robots.txt и sitemap, убираем дубли, настраиваем автоматическую генерацию карты и подключаем к Вебмастеру и Search Console — в составе SEO-разбора сайта (от 12 000 ₽) или разово по часам (500 ₽). В наших сайтах и карта, и robots генерируются автоматически и обновляются при каждой новой странице, а новые адреса сразу отправляются в поиск.