Nemotron 3 Embed: первое место на RTEB среди моделей для поиска по смыслу

Эти модели превращают запросы и документы в числовые векторы, по которым поисковая система находит близкие по смыслу фрагменты. В приложении с ИИ-агентом такой поиск подбирает документацию или код для ответа. NDCG@10 оценивает, насколько полезные результаты оказываются выше в первой десятке.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Младшая против предшественника. Версия Nemotron-3-Embed-1B-BF16 получила 72,4% NDCG@10 на RTEB. NVIDIA сообщает о снижении ошибки на 27% относительно llama-nemotron-embed-vl-1b-v2. Для Blackwell компания выпустила вариант NVFP4: по её замерам, он даёт до двукратного роста пропускной способности при сохранении более 99% качества поиска версии BF16.

Как запустить локально. Для Nemotron-3-Embed-1B-BF16 NVIDIA даёт пример через SentenceTransformer. Нужны PyTorch с поддержкой CUDA и зависимости из команды `pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"`. Запросы обрабатывает `encode_query()`, документы — `encode_document()`. Без FlashAttention-2 в настройках модели укажите `attn_implementation="sdpa"`.

Для доступа по HTTP NVIDIA рекомендует `vllm==0.25.0` и команду `vllm serve nvidia/Nemotron-3-Embed-1B-BF16`. Endpoint `/v2/embed` принимает строки с `input_type="query"` либо `"document"` и сам добавляет префиксы. При ручном кодировании через Transformers или vLLM Offline нужны префиксы `query: ` и `passage: `.

Младшая модель принимает до 32 768 токенов на фрагмент. Размер вектора можно сократить с 2048 до 1024 или 512 измерений с повторной L2-нормализацией, чтобы уменьшить объём поискового индекса.

Дэниел Чейлеф из Zep проверил предварительные веса версии 1B на 5954 запросах: модель лидировала в трёх задачах. NVIDIA также опубликовала рецепт адаптации к своим документам: на NV Docs дообучение подняло NDCG@10 с 56,7% до 63,3%.

Первоисточник: [NVIDIA на Hugging Face, 16 июля 2026 года](https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb).

Вместе с тремя вариантами модели NVIDIA опубликовала веса и рецепты обучения, дообучения и дистилляции.