Алгоритм Яндекса YATI и трансформеры
1. Архитектура и принцип работы
YATI пришёл на смену матричным моделям (например, «Королёв») и градиентному бустингу. В основе лежит многослойный трансформер с механизмом self-attention, который строит контекстные эмбеддинги для каждого токена запроса и документа. История фактора началась с экспериментов Яндекса над BERT-подобными архитектурами в 2019–2020 гг. Первые версии YATI использовались для переранжирования топ-10 результатов, затем — для полного ранжирования. Ключевое отличие — обучение на больших корпусах поисковых сессий с учётом кликов и поведенческих факторов. Модель оценивает семантическое соответствие, а не только лексическое совпадение, что позволяет находить релевантные документы без точных вхождений ключей.
2. Математическая механика и триггеры ранжирования
Формально YATI вычисляет скор релевантности как косинусное расстояние между эмбеддингами запроса и документа: sim(q,d) = (E_q · E_d) / (||E_q|| ||E_d||), где E_q и E_d — усреднённые контекстные векторы трансформера. Веса внимания рассчитываются по формуле Attention(Q,K,V) = softmax(QK^T / √d_k) V. Для ранжирования используется взвешенная сумма: Score = α·sim + β·BM25 + γ·поведенческие_факторы + δ·авторитетность. Триггеры пессимизации: высокая плотность ключей при низкой семантической близости, несоответствие интента (например, коммерческий запрос — информационная страница), спам-паттерны в анкорах. Влияние на ранжирование: документы с высоким sim получают буст до 30–40% в топе, но при низком поведенческом отклике (CTR, время) вес снижается. YATI также учитывает «семантическую новизну» — уникальность эмбеддинга относительно конкурентов.
3. Специфика в Яндекс (YATI) vs Google
Яндекс в YATI делает акцент на трансформерном переранжировании с жёсткой привязкой к поведенческим факторам (ПФ) и коммерческим сигналам, что характерно для российского рынка. Google в Core Updates использует Entity Graph и BERT-подобные модели (MUM) для понимания сущностей и связей между ними, но меньше полагается на прямой кликовый сигнал, отдавая приоритет качеству контента и E-E-A-T. Яндекс быстрее реагирует на изменения в топе через онлайн-обучение, Google — через пакетные обновления. Оба учитывают семантику, но YATI сильнее штрафует за несоответствие интенту, а Google — за недостаточную экспертность.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Косинусная близость эмбеддингов (sim) | ≥ 0.75 | < 0.5 |
| CTR в топ-10 (Яндекс.Вебмастер) | ≥ 8% для СЧ | < 3% |
| Плотность ключевых слов | 2–5% | > 8% или < 1% |
5. Пошаговый инженерный протокол внедрения
- Шаг 1: Проведите семантический аудит — сравните эмбеддинги целевых запросов и текстов через Yandex NLP API, выявите низкую косинусную близость.
- Шаг 2: Перепишите заголовки и первые абзацы, используя контекстные синонимы и сущности из топа, без переспама ключами.
- Шаг 3: Настройте перелинковку с анкорами, отражающими интент, и добавьте структурированные данные (Schema.org) для сущностей.
- Шаг 4: Запустите A/B-тест сниппетов в Яндекс.Вебмастере, отслеживая CTR и глубину просмотра как прокси ПФ.
- Шаг 5: Мониторьте позиции через API Яндекс.Поиска и корректируйте контент при падении семантической близости ниже порога 0.75.
import numpy as np
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('yandex/yati-bert')
q = model.encode('купить трансформер для поиска')
d = model.encode('трансформеры в ранжировании Яндекса YATI')
sim = np.dot(q, d) / (np.linalg.norm(q) * np.linalg.norm(d))
print(f'Similarity: {sim:.3f}') # порог 0.756. Типичные ошибки при оптимизации
- Фатальная ошибка 1: Переоптимизация ключами без семантики — YATI пессимизирует такие страницы. Избегайте: используйте LSI-слова и естественные формулировки.
- Фатальная ошибка 2: Игнорирование интента — информационный запрос закрывается коммерческой страницей. Избегайте: анализируйте топ и тип выдачи перед созданием контента.
- Фатальная ошибка 3: Отсутствие поведенческих сигналов — низкий CTR и время. Избегайте: работайте над сниппетом, скоростью загрузки и вовлекающим контентом.