Калькулятор краулингового бюджета и генератор Sitemap.xml для интернет-магазина
Инструмент показывает, сколько URL каталога реально может обойти робот за сутки при вашем краулинговом лимите, и где бюджет сгорает впустую на пагинацию, сортировки и фасетные фильтры. Задайте число товаров, глубину пагинации и активные фильтры — получите цифры перерасхода и готовый фрагмент Sitemap.xml с кнопкой копирования.
Инженерная методология
Краулинговый бюджет — это не абстрактная метрика, а реальный лимит запросов, который Яндекс и Google готовы отдать вашему магазину за сутки. В интернет-магазине он расходуется неравномерно: карточки товаров и категории дают трафик, а пагинация, сортировки и фасетные фильтры только дублируют контент. Инструмент моделирует эту пропорцию: вы вводите число товаров, категорий, шаг пагинации и количество активных фасетов, а калькулятор показывает, сколько URL робот обойдёт и какая доля бюджета уйдёт на мусор. Если доля полезного краулинга падает ниже 70%, новые карточки попадают в индекс с задержкой в недели — это классическая причина «магазин не индексируется».
Алгоритмы Яндекса (в том числе YATI) и Google оценивают узел каталога через призму каноникализации и внутреннего веса ссылок. Страницы пагинации со второго-третьего экрана, комбинации фильтров вида ?color=red&size=xl и сортировки ?sort=price_asc не должны получать ссылочный вес и попадать в Sitemap. Грамотная схема: канонические URL категорий и карточек в Sitemap.xml, пагинация и фасеты закрыты в robots.txt через Disallow, а параметры — через Clean-param для Яндекса. Генератор выдаёт готовый XML с корректными lastmod, changefreq и priority, а режим «Канонические + изображения» добавляет namespace image:image для товарных карточек.
Внедрение на боевом сервере требует дисциплины. Сгенерированный шаблон — это каркас: замените домен и даты, разбейте каталог на несколько файлов по 45 000–50 000 URL, оформите sitemap-индекс и укажите его в robots.txt строкой Sitemap: и в панелях Яндекс.Вебмастер и Google Search Console. Проверяйте обход через отчёты «Страницы в поиске» и «Статистика обхода»: если робот заходит на пагинацию — усильте Disallow, если на фильтры — добавьте Clean-param. Повторяйте расчёт после каждого изменения структуры каталога и запускайте переобход через API Вебмастера.
- Держите долю полезного краулинга выше 85%: пагинация в индексе — прямой конкурент карточек за бюджет.
- Не более 50 000 URL и 50 МБ на один файл Sitemap; крупные каталоги дробите и используйте sitemap-индекс.
- В Sitemap — только 200-OK канонические URL; 301, 404 и noindex в файле запрещены.
- Фасеты открывайте в индекс только при уникальном контенте и спросе, иначе закрывайте параметрами.
- lastmod должен отражать реальное изменение контента, иначе робот перестанет ему доверять.
- Сверяйте краулинговый лимит с отчётами Вебмастера и Search Console, а не с предположениями.
Профильные услуги Promo-Star
Нужна реализация на вашем сервере под ключ?
Инженеры Promo-Star внедрят все настройки напрямую в код вашей CMS с гарантией результата.