ИИ-агента доучили на его ошибках: AutoSynthData поднял результат на 35%

Обучение на провалах. AutoSynthData превращает ошибки целевой модели и успешные решения сильной модели в карточки навыков. По ним генератор собирает новые обучающие задачи. Каждая содержит:

- Инструкцию с устройством рабочей среды. - Запрос пользователя. - Проверку результата.

Команда отбирала задачи, которые целевая модель решала максимум в 1 из 3 попыток, а сильная модель решала минимум в 2 из 3. Генератор получал только карточки навыков, без исходных проверочных запросов и решений. Новые задачи использовали другие запросы, состояния среды и пути решения.

Для набора ITSM команда получила 1 994 примера за 66 часов с DeepSeek-V4.1-Flash в роли учителя. На них дообучили Gemma-4-26B-A4B-it.

На наборе Hybrid AutoSynthData создал 2 000 примеров примерно за 18 часов с Qwen3.8-27B в роли учителя. После дообучения той же Gemma доля решений с первой попытки выросла на 7,2 процентного пункта, или на 35% относительно исходного результата. Лучший результат команда получила после пятого прохода по обучающим данным.

Отдельно команда проверила сами сгенерированные проверки результата. Доля успешных проверок выросла с 63,01% до 68,55%.

Среда для повторения. EnterpriseOps-Gym доступна на GitHub в репозитории ServiceNow/EnterpriseOps-Gym. Для запуска нужны Python 3.11+, uv и Docker. README описывает подготовку среды:

1. После клонирования выполнить `uv sync --extra all`. 2. Скопировать `conf.example/` в `conf/` и настроить API-ключ модели. 3. Распаковать `gym_dbs.zip` и поднять Docker MCP-серверы нужных доменов.

В README есть команды запуска серверов и отдельный пример оценки на Hybrid.

Исходные задачи EnterpriseOps-Gym доступны через `load_dataset("ServiceNow-AI/EnterpriseOps-Gym", "oracle", split="teams")`.