Эти два файла — основа технического SEO. Первый говорит поисковикам, что не нужно индексировать, второй — где лежат все важные страницы.
Что закрыть в robots.txt
Админку, страницы поиска и фильтров, корзину и личный кабинет, служебные каталоги CMS. Для Яндекса добавляйте директиву Clean-param, чтобы UTM-параметры не создавали дублей.
Что должно быть в sitemap.xml
Только рабочие страницы с кодом 200, без дублей и закрытых от индексации URL. Адрес карты укажите в robots.txt строкой Sitemap: и отправьте в Яндекс.Вебмастер и Google Search Console.
Инструменты
- Генератор robots.txt под WordPress, Битрикс и OpenCart
- Генератор sitemap.xml для сайтов без плагина
- Проверка robots.txt и sitemap любого сайта
Если индексация «не идёт» — закажите SEO-аудит, мы найдём причину.