Ваш конспект

Поиск на Авито: от текста к мультимодальности

Ключевые тезисы:

• Авито обогащает текстовый поиск LLM-описаниями объявлений, сгенерированными по изображениям
• Решение построено на типовой микросервисной архитектуре с асинхронной обработкой
• Использована мультимодальная модель Avision (на базе Qwen) с LoRA-адаптерами для разных категорий
• Фреймворк vLLM с continuous batching обеспечивает эффективный inference
• Система обрабатывает 20 млн изменений объявлений в день на 230 млн активных объявлений

Контекст Авито

Масштабы платформы

• 230 млн активных объявлений в поисковых индексах
• 20 млн новых или изменённых объявлений в день
• 4 млн пользователей ищут что-то ежедневно
• 60 млн поисковых запросов в день

Проблема: неполнота текстового поиска

Пример: запрос "кресло Лондона" не находит объявление "кресло-мешок" с изображением, хотя на картинке видны символы Лондона. Причина — текстовый поиск требует полного совпадения всех слов в названии и описании.

Архитектура решения

Верхнеуровневый поток

1. Объявление создаётся → информация в базу данных
2. Наш сервис генерирует LLM-описание по картинкам
3. Результат отправляется в Redis
4. Сервис A получает уведомление и обогащает поисковый индекс
5. Поиск теперь ищет по трём полям: title, description, LM description

Компоненты микросервиса

Worker 1: Фильтрация объявлений

• Слушает события создания объявлений
• Фильтрует по категориям (не все категории поддерживают фичу)
• Проверяет наличие изображений
• Кладёт в KAS (очередь) объявления с title и ID картинок

Worker 2: Отслеживание изменений

• Слушает события изменения объявлений
• Перегенерирует описание при изменении текста, картинок или категории
• Отправляет в KAS

Worker 3: LLM-обработка (главный компонент)

• Инициализирует LLM-модель при старте
• Берёт батч объявлений из KAS
• Скачивает изображения из микросервисов
• Готовит промт с title и картинками
• Отправляет в LLM
• Постпроцессинг результата
• Сохраняет в Redis
• Отправляет уведомление в базу данных

Cron Job: Восстановление покрытия

• Ночью запускается
• Запрашивает у поискового движка объявления без LM-описания
• Загружает их в KAS для обработки
• Восстанавливает потерянные описания за 1,5–2 часа

API

• Простой endpoint: принимает ID объявлений → возвращает LM-описания

ML-компоненты

Модель: Avision

• Основана на Qwen, дообучена на данных Авито
• Мультимодальная (работает с текстом и изображениями)
• Открыта в Open Source на Hugging Face

Метрики улучшения:

• BERT Score (контекстуальная близость): +5–6%
• MMLU Questions (знания в разных областях): прирост
• Real World Questions (понимание реальных объектов): прирост
• Скорость inference: улучшена за счёт дообученного токенизатора

Тюнинг: LoRA-адаптеры

Проблема: полный fine-tuning 7 млрд параметров — слишком дорого

Решение: Parameter-Efficient Fine-Tuning (PEFT)

• Замораживаем все слои исходной модели
• Добавляем новые параметры (~0,1–1% от модели)
• Тюним только новые параметры

Преимущества:

• Не ломаем исходную модель
• Меньше параметров = быстрее обучение
• Отдельный адаптер для каждой категории Авито

Фреймворк: vLLM

Почему нужен фреймворк:

• Эффективное управление памятью
• Батчинг запросов
• Параллельное выполнение на нескольких GPU
• Оптимизация операций (matrix multiply, softmax, attention)

Ключевые инновации vLLM:

Page Attention — виртуальная память для KV-кэша

• Идея из Virtual Memory: абстрактный слой адресов вместо реальных
• Лучше управляет фрагментацией
• Экономит память и ускоряет inference

Continuous Batching — динамическое переформирование батчей

• Статический батчинг (старый подход): ждёшь, пока все запросы в батче завершатся
• Continuous batching: как только запрос готов (end of sequence), отправляешь клиенту и добавляешь новый запрос в батч
• Результат: динамичнее, быстрее, лучше утилизация GPU

Prefix Caching — кэширование одинаковых префиксов

• Если несколько запросов начинаются одинаково, кэшируем префикс
• Экономим на переобработке системных промтов

Инфраструктура

Ресурсы

• 3 дата-центра
• 7 нод в каждом с GPU
• GPU: A100 80GB (позволяет запускать модели до 40 млрд параметров)
• Пул выделен специально для этого решения

Характер нагрузки

• Оффлайн обработка (не критична скорость ответа)
• Пользователь не видит LM-описания в UI
• Работает в фоне как демон

Мониторинг и метрики

Ключевые метрики

Покрытие LM-описаниями

• Процент активных объявлений с LM-описанием
• Стремится к 100%
• Периодически падает на доли процента (источники потерь)

Состояние очередей (KAS)

• Не должны скапливаться объявления
• Характерный пик ночью: ~150k объявлений (срабатывает Cron Job)
• Разгребается за 1,5 часа

Скорость обработки

• ~1000 объявлений/минуту на 3 нодах
• Одно объявление = title + 3 картинки

GPU Utilization

• Обобщённая метрика (не всегда отражает полезную работу)
• Иногда падает в ноль — точка роста архитектуры
• Причина: подготовка промта (скачивание картинок) занимает много времени, задерживает отправку в vLLM

Выводы

О текстовом поиске

• Авито исторически силён в текстовом поиске — этот скилл не теряем
• Генерация текста из картинок даёт быструю точку входа в существующую инфраструктуру
• Векторный поиск внедряется параллельно, но комбинированные подходы могут быть эффективнее

О бэкэнд-архитектуре

• Типовая микросервисная архитектура (типовые компоненты Авито)
• Использует готовые фреймворки и метрики
• Зоны роста:
  • Вынести LLM в отдельный сервис (отделить inference от подготовки данных)
  • Убрать Cron Job, найти источник потерь объявлений
  • Оптимизировать подготовку промта (скачивание картинок