База знаний

Цель: выявить и устранить критические барьеры, мешающие поисковым роботам и AI-системам сканировать и индексировать сайт.

Инструментарий:

·      Google Search Console — основной источник данных об индексации, ошибках краулинга и статусе Core Web Vitals. Отчёт «Index → Pages» показывает, какие страницы проиндексированы, а какие — нет, и по какой причине .

·      Яндекс.Вебмастер — аналогичный инструмент для рунета, дающий информацию о структуре сайта так, как её видит робот, количестве страниц в поиске, исключённых страницах и истории ответов сервера .

·      Screaming Frog SEO Spider — краулер для комплексного технического обследования. Для корректного анализа JS-контента необходимо включить режим рендеринга JavaScript .

Пошаговый алгоритм аудита:

Шаг 1. Первичный обход сайта. Запустить Screaming Frog (или Sitebulb) с настройками: обход с рендерингом JS, включение поддоменов (если нужно), ограничение скорости, чтобы не перегружать сервер. На выходе получаем базовый набор данных: общее количество URL, HTTP-статусы, цепочки редиректов, дубли заголовков и описаний .

Шаг 2. Проверка индексации. Открыть в Google Search Console «Index → Pages» и проанализировать:

·      Сколько важных страниц проиндексировано.

·      Почему не проиндексированы ключевые страницы (если причина — noindex, blocked by robots.txt или «Duplicate without canonical» — это критично).

·      Есть ли страницы, проиндексированные по ошибке (тестовые среды, тонкие страницы, URL с параметрами фильтров). Они размывают индекс и отнимают краулинговый бюджет .

·      Проверить статус «Discovered — currently not indexed» — страницы, которые Google знает, но не сканирует. Это может указывать на проблемы с краулинговым бюджетом .

Шаг 3. robots.txt. Проверить файл по адресу site.ru/robots.txt. Критические моменты:

·      Нет ли Disallow, закрывающих важные разделы.

·      Указан ли путь к sitemap: Sitemap: https://site.ru/sitemap.xml.

·      Настроены ли правила для AI-краулеров — явно разрешён или запрещён доступ для GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, ClaudeBot. Это особенно актуально в 2026 году, когда AI-системы используют краулинг для обучения и формирования ответов .

·      Проверить правила через robots.txt-тестер в Google Search Console («Settings → robots.txt») и в Яндекс.Вебмастере .

Шаг 4. XML Sitemap. Аудит карты сайта:

·      Подана ли в Google Search Console и Яндекс.Вебмастер.

·      Включает ли все важные, индексируемые страницы.

·      Исключает ли неканонические страницы, пагинацию (кроме первой страницы), страницы с noindex.

·      Корректно ли заполнено поле lastmod — неточная дата хуже, чем её отсутствие, так как это сигнализирует о ненадёжности данных .

·      Размер sitemap не превышает 50 000 URL или 50 МБ .

Шаг 5. HTTP-статусы и битые ссылки.

·      Страницы с кодом 4xx (особенно 404 на важных страницах) или 5xx (ошибки сервера) должны быть минимальны.

·      Настроить красивую страницу 404 в фирменном стиле с подсказками пользователю и ссылками на другие разделы .

·      На удалённые страницы настроить 301-редирект на релевантные действующие URL, чтобы минимизировать потерю веса.

·      Проверить битые внутренние и внешние ссылки — они понижают доверие к сайту .

Шаг 6. Единообразие URL и канонические теги.

·      Если страница доступна по двум адресам (с www и без, с / и без), поисковик может посчитать это дубликатами. Использовать 301-редирект и прописать канонический URL .

·      Проверить, что на страницах с фильтрами проставлен канонический URL на базовую категорию (если фильтры не должны индексироваться).

·      Убедиться, что каждая страница имеет само-каноническую ссылку (rel="canonical" указывает на себя) .

Шаг 7. HTTPS и безопасность.

·      Проверить наличие валидного SSL-сертификата. Все страницы должны открываться по HTTPS, с 301-редиректом с HTTP.

·      Проверить наличие смешанного контента (mixed content) — когда на HTTPS-странице подгружаются ресурсы по HTTP. Активный смешанный контент (скрипты, стили) блокируется браузером; пассивный (изображения) — показывает предупреждение. Оба варианта — сигнал снижения доверия .

·      Для интернет-магазинов и сайтов с платежами HTTPS — обязательное требование .

Критерии успешного завершения:

·      Все важные страницы проиндексированы.

·      Ошибки 4xx/5xx сведены к минимуму.

·      robots.txt не блокирует критический контент.

·      Sitemap актуальна и подана в поисковые системы.

·      Сайт доступен по HTTPS без смешанного контента.

·      Отсутствуют битые ссылки.