Никто не готов масштабироваться дальше на максимуме: так пишет главный учёный OpenAI

Якуб Пахоцкий отвечает в OpenAI за науку, то есть за сам разгон. В эссе «An Alien Mind» от 6 сентября он пишет, что ни одна лаборатория не решила alignment и мониторинг настолько, чтобы дальше ответственно расти на предельной скорости.

Astra умеет работать с компьютером, общаться с людьми и другими ИИ и вести исследования. По внутренним результатам Пахоцкий ждёт, что такая скорость прогресса дотянет до самоулучшения моделей.

Что именно перестало работать

Страховка слабеет. Скрытые намерения модели сейчас ловят чтением её цепочки рассуждений. Пахоцкий пишет, что эта страховка работает всё хуже ровно тогда, когда модели становятся способнее. Раньше потолок прогресса упирался в видеокарты, теперь он упрётся в уверенность, что за моделью можно уследить.

Деньги уже переложили. Пятая часть вычислений OpenAI уходит на мониторинг безопасности. После 7 августа, когда у Astra нашли предварительные признаки критических кибер-возможностей, выделение GPU под модели этого класса упало на 59,2%, а под остальные классы выросло на 17,2% (данные The Next Web, 6 сентября).

Скорость видна и по другим внутренним цифрам. К середине августа на каждый рабочий день человека в компании приходилось 3,1 рабочего дня агентов, а медианный исследователь тратил больше $600 в день на инференс по ценам API.

Что он предлагает делать

Масштабирование при этом не останавливают. В эссе есть обещание притормозить в одностороннем порядке, если понадобится, а конкретных новых обязательств компания не берёт.

Индустрии Пахоцкий предлагает другое:

- проверки возможностей перед каждым увеличением масштаба обучения - обновляемые обоснования безопасности - аудит третьей стороной вместо саморегулирования лабораторий - правила темпа, которые срабатывают до инцидента, а не после

Добровольные замедления он ждёт нормой до появления общих планок безопасности, а международную координацию просит сделать приоритетом правительств.

Цель, которую OpenAI не отменяла: полностью автоматизированный ИИ-исследователь к марту 2028 года.