SEO (Search Engine Optimization): архитектура поисковой оптимизации сайта
1. Архитектура и принцип работы
Краулер обходит сайт по ссылкам и карте, складывает HTML в очередь на индексацию. Парсер вытаскивает текст, заголовки, ссылки, микроразметку и метаданные, чистит от дублей по каноникалу. Дальше документ попадает в индекс и раскладывается по кластерам интентов. На запрос пользователя ранжировщик поднимает кандидатов из индекса и пересчитывает их по сотням факторов: соответствие текста запросу, качество ссылок, поведенческие сигналы, свежесть, скорость ответа, мобильность. Сверху работают фильтры — за переспам, за накрутку, за тонкий контент. Задача SEO-инженера — держать сайт в зоне, где краулер не тратит бюджет впустую, страницы однозначно мапятся на интенты, а технические сигналы не мешают алгоритму оценить пользу. Комплексное SEO под ключ закрывает весь конвейер: от логов и семантики до ссылок и аналитики.
2. Математическая механика и триггеры ранжирования
Ядро — crawl budget: краулер тратит ограниченное число запросов на хост, поэтому мусорные URL (параметры, пагинация, дубли) съедают обход. Контроль через robots.txt, rel=canonical, 301 и sitemap с lastmod. Скорость влияет на ранжирование и поведение: целевой LCP ≤ 2.5 с, INP ≤ 200 мс, CLS ≤ 0.1 (\1). Индексация оценивается покрытием: доля проиндексированных целевых URL от отправленных в sitemap — норма ≥ 90%. Релевантность считается по TF-IDF/BM25: score = Σ IDF(t) · (tf·(k1+1))/(tf + k1·(1-b+b·|d|/avgdl)), где k1≈1.2–2.0, b≈0.75. Ссылочный вес — PageRank-подобная итерация: PR(A) = (1-d) + d·Σ PR(Ti)/C(Ti), d≈0.85. Поведенческие: CTR, dwell time, отказы — сравниваются с ожиданием по позиции.
3. Специфика в Яндекс (YATI) vs Google
Google сильнее опирается на ссылочный граф и машинное понимание смысла (BERT, MUM), любит чистую техническую гигиену и Core Web Vitals. Яндекс больше смотрит на коммерческие и поведенческие факторы, региональность, ИКС и данные Метрики; для коммерческих запросов важны цены, наличие, контакты, а также асессорская оценка. В Яндексе выше роль быстрой переиндексации через Яндекс.Вебмастер и турбо-страниц/ИКС, в Google — через Search Console и Indexing API. Оба поисковика штрафуют за переспам и накрутку, но Яндекс агрессивнее ловит поведенческие манипуляции, а Google — ссылочные схемы (SpamBrain). Практика: делаем техбазу одинаково строго, а контент и коммерческие блоки докручиваем под каждый поисковик отдельно.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Доля проиндексированных целевых URL | ≥ 90% | < 60% |
| LCP (мобильные, p75) | ≤ 2.5 с | > 4.0 с |
| CTR в топ-3 по кластеру | ≥ 25% | < 10% |
5. Пошаговый инженерный протокол внедрения
- Снять лог-файлы сервера за 7–14 дней, посчитать распределение обхода по типам URL и вычистить мусор из индексации (canonical, 301, noindex).
- Собрать семантику по интентам, сгруппировать в кластеры и замапить 1 кластер = 1 URL, закрыть каннибализацию через склейку и редиректы.
- Прогнать Core Web Vitals в PageSpeed/CrUX, вынести критический CSS, сжать изображения в WebP/AVIF, настроить кэш и CDN до LCP ≤ 2.5 с.
- Настроить мониторинг: покрытие индекса, позиции по кластерам, конверсии из органики в Метрике и GA4, алерты на падение трафика и ошибки 5xx.
# robots.txt: не пускаем краулер в мусор, но оставляем sitemap
User-agent: *
Disallow: /search
Disallow: /*?sort=
Disallow: /*?utm_
Allow: /
Sitemap: https://example.com/sitemap.xml
# BM25-оценка релевантности документа запросу
# score = Σ IDF(t) * (tf*(k1+1)) / (tf + k1*(1-b+b*|d|/avgdl))
k1, b = 1.5, 0.75 # типовые значения
6. Типичные ошибки при оптимизации
- Гнать трафик на нерелевантные запросы ради цифры в отчёте — органика растёт, заявок нет, поведенческие падают и тянут вниз весь кластер.
- Массовая закупка ссылок с бирж без фильтра доноров — быстрый рост и последующий фильтр за ссылочные схемы, потеря позиций на месяцы.
- Игнор технической гигиены: дубли по параметрам, битые редиректы, медленный TTFB — краулер тратит бюджет впустую, целевые страницы выпадают из индекса.