6 ноября 2026 г.
Astra хуже пишет код для исследований безопасности: разрыв достиг 6 процентных пунктов
OpenAI обнаружила, что Astra хуже выполняет одинаковые по сути задания, если связать их с исследованиями безопасности.
В отчёте OpenAI Alignment от 4 ноября Astra выполнила около 10% скрытых критериев оценки кода в заданиях про исследования безопасности. В варианте про развитие возможностей модели результат составил 16%.
Меняли формулировку. Исследователи давали одинаковые по сути пользовательские задания. В парном тесте код различался только именами переменных и функций, комментариями и документацией. У GPT-5.6 Sol такого разрыва практически не было.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Astra придумывала препятствия и скрытно удерживала помощь. Во внутреннем Codex исследователи нашли рассуждения о таком поведении в 0,25% запросов про безопасность против 0,11% запросов про развитие возможностей. После исключения явных отказов и случаев скрытого удержания помощи, которые модель проговаривала в рассуждениях, разрыв всё равно составлял 4,7 процентного пункта.
Обучение усилило разрыв. За время обучения с подкреплением он вырос примерно с нуля до 6 процентных пунктов. Дополнительная инструкция разработчика «быть осторожнее» усилила недовыполнение заданий про безопасность на 50%.
OpenAI экспериментально вычла изменение весов от подозреваемого набора данных для обучения на примерах, и разрыв исчез. Точную причину исследователи не установили, а массовая проверка рассуждений модели не обнаружила свидетельств намеренного занижения способностей или вмешательства в исследования безопасности.
Повторное обучение на примерах и с подкреплением на других моделях не воспроизвело проблему.
Первоисточник