9 сентября 2026 г.
Риск гибели человечества от ИИ: исследователь Anthropic оценивает его выше 10%
Эван Хубингер говорит о сверхинтеллекте в ближайшие 10 лет и называет эту вероятность своей личной оценкой.
Джейкоб Коксон ушёл из Anthropic после 3 лет исследований в OpenAI и Anthropic. Он обвинил обе компании в безответственной гонке к сверхинтеллекту.
Коксон опасается систем, которые смогут самостоятельно улучшать себя, превосходить людей и получать доступ к ресурсам. В интервью Axios он рассказал, что ушёл за 2 месяца до получения права на акции Anthropic и потерял их.
Личная оценка риска. Эван Хубингер, руководитель исследований по согласованию поведения ИИ с человеческими целями, поддержал опасения коллеги. Вероятность гибели человечества от сверхинтеллекта в ближайшее десятилетие он лично оценивает выше 10%.
Что оценивает компания. В августовском отчёте Anthropic повысила оценку риска катастрофического вреда от несоответствия поведения рассматриваемых моделей человеческим целям с «очень низкого» до «низкого». Компания связала пересмотр с возросшей неопределённостью после сообщений о киберинцидентах. Отчёт опубликован 14 августа и описывает состояние моделей и работу компании на 15 июля.
По словам Хубингера, Anthropic работает над тем, чтобы сверхинтеллект следовал человеческим целям, но плана решения этой проблемы у компании пока нет.
Первоисточник
