Промпт заменил ручные фичи в рекомендациях Netflix: разметки нужно в 40 раз меньше

Netflix формулирует это как смену ремесла: рекомендации уходят от feature engineering к context engineering, а вместо самописных архитектур под каждую задачу берётся общий foundation-бэкбон. Промпт становится новым вектором фич.

Раньше качество ранкера двигали руками: инженеры придумывали признаки и собирали под них отдельную модель. Теперь тот же рычаг лежит в тексте промпта, а модель под ним общая с другими задачами компании.

Как устроено. GenRec ранжирует поверх внутренней foundation-LLM Netflix, обучение идёт в две фазы. Сначала открытую LLM адаптируют к данным Netflix, потом дообучают под саму задачу ранжирования на рекомендательных данных и reward-сигналах. Сравнили два размера, около 1 млрд параметров и около 10 млрд.

Что дал замер. Оффлайн GenRec прибавил примерно 1,6% относительных по MRR к базовой модели. В онлайн-A/B прирост по ключевой метрике составил 0,006% и оказался статистически значимым. Цифра крошечная, и сравнивали её не с наивным бейзлайном, а с продовым ранкером, который уже хорошо оттюнен.

Цена вопроса упала отдельно. Инженеры сжали промпт примерно с 5 000 токенов до 1 700, качество просело незначительно, а стоимость обслуживания снизилась примерно до трети от исходной. Инференс крутится на vLLM в режиме prefill-only: модель один раз проглатывает промпт и скорит весь набор кандидатов за один проход, без пошагового декодирования.

Если промпт и правда становится вектором фич, спорить рекомендательные команды будут не про архитектуру, а про содержимое контекста.