12 ноября 2026 г.
LLMON: IBM разделила инструкции и данные в 2 экспериментальных моделях Granite
Granite читает инструкции и данные отдельными блоками, а связи между ними получает через разметку LLMON.
12 ноября IBM выпустила две экспериментальные модели с поддержкой LLMON на основе Granite 4.1: на 3 и 8 млрд параметров.
Вместо строки промпта. Обычно разработчик складывает инструкции и данные в общий текст. В LLMON он задаёт адресуемые блоки, а через exec связывает инструкцию с нужными данными и требованиями. Для разметки авторы зарезервировали 6 разделителей как отдельные специальные токены.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
В исследовании Basel Shbita и соавторов от 28 октября доля успешных indirect prompt injection снизилась с 53–100% до 0,02–5,6% на использованных бенчмарках. Авторы сохранили общие способности моделей и использовали для обучения корпус из 4,6 млрд токенов. Речь о случаях, когда модель принимает команду из внешних данных за инструкцию разработчика.
Запуск через Transformers. Для модели на 3 млрд параметров зависимости ставятся командой `pip install -U transformers accelerate`. В карточке есть полный пример загрузки через AutoTokenizer и AutoModelForCausalLM с `device_map="auto"` и генерации ответа. Модель на 8 млрд параметров доступна под Apache 2.0 с идентификатором `ibm-granite/granite-4.1-8b-llmon-preview`.
Разметку создаёт штатный `apply_chat_template`: в messages передаются отдельные instruction, data и requirement как списки объектов с value и exec. Для таких сообщений отдельный конвертер не нужен. IBM предназначает обе модели для экспериментов и оценки, а не для рабочих приложений.
Для существующих JSON-данных авторы подготовили конвертеры без потери содержимого: вложенные структуры превращаются в типизированные адресуемые блоки. После `pip install -e .` из корня репозитория llmon в виртуальном окружении доступны команды `json-to-llmon`, `llmon-to-json` и `short-to-llmon`.
В примере ScienceWorld авторы задали собственные теги для целей, правил, комнаты, инвентаря и следующего действия, затем обучили LoRA — адаптер к модели.
Связанный notebook ScienceWorld охватывает подготовку траекторий, запуск тестовых игр и оценку адаптера.
Первоисточник