13 октября 2026 г.
Четыре модели статистически равны на вершине AA-3D: лидер Claude Sonnet 5.5 с 1194 Elo
Artificial Analysis 12 октября запустил бенчмарк AA-3D: 55 брифов, более 10 000 засчитанных голосов людей, 21 модель. Четыре модели идут вровень на вершине: Claude Sonnet 5.5 (1194 Elo), Claude Opus 5.5 (1190), GPT-6 Astra (1165) и Claude Fable 5.1 (1131).
Artificial Analysis
@artificialanlys
Мы измерили интеллект. Теперь пора посмотреть, что он умеет. Запускаем AA-3D: наш новый бенчмарк того, как ИИ-модели собирают интерактивные 3D-сцены. Каждая модель работает агентом в офлайн-песочнице и превращает письменное описание в веб-страницу на three.js. Живое жюри из людей сравнивает попарно сцены, собранные по одному и тому же описанию, и не знает, какая модель что сделала. Подробности AA-3D: ➤ 55 письменных брифов в семи областях: достопримечательности, машины, живые организмы, игры и космос. Бриф говорит, что должна показывать сцена и как с ней взаимодействовать, а остальное оставляет модели. ➤ У каждой модели до трёх часов и 250 ходов. В её песочнице есть Blender, физика Rapier, Python, безголовый браузер, чтобы проверять свою работу, и библиотека материалов, 3D-моделей и персонажей с лицензией CC0. ➤ Члены жюри смотрят на каждую сцену минимум 30 секунд, прежде чем проголосовать. Одно из каждых четырёх сравнений проверочное. ➤ Более 10 000 засчитанных голосов от более чем 1000 членов жюри ранжируют 21 модель по Elo, с 95-процентными доверительными интервалами. Ключевые находки: ➤ Четыре модели статистически равны на вершине: Claude Sonnet 5.5 (1194), Claude Opus 5.5 (1190), GPT-6 Astra (1165) и Claude Fable 5.1 (1131). Доверительные интервалы у остальных трёх перекрываются с интервалом Claude Sonnet 5.5. ➤ Elo в AA-3D растёт вместе с интеллектом: каждый пункт Artificial Analysis Intelligence Index стоит около 18 Elo (корреляция Пирсона 0,92). ➤ Лучшие из открытых весов, Kimi K3 (982) и MiMo-V2.6-Pro (977), идут 11-м и 12-м, более чем на 200 пунктов позади первого места. ➤ Сцена стоит от $0,20 до $32,08 в зависимости от модели. Самая дешёвая, GPT-6 Luna, занимает восьмое место. Больше результатов, сцен и описание того, как устроен AA-3D, пойдут в ветке ниже.
· 11,5 тыс. просмотров
Artificial Analysis уже измерил интеллект моделей индексом. Теперь он проверяет, что модели умеют строить. Модель работает агентом в офлайн-песочнице: получает письменный бриф и собирает веб-страницу на three.js. Жюри из людей вслепую сравнивает пары сцен, собранных по одному брифу.
Главное. Рейтинг растёт вместе с индексом интеллекта: каждый пункт индекса даёт около 18 Elo (корреляция Пирсона 0,92). Лучшая открытая модель, Kimi K3 (982), занимает 11-е место, более чем на 200 пунктов позади лидера.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Сцена стоит от $0,20 до $32,08 в зависимости от модели. Самая дешёвая, GPT-6 Luna, занимает восьмое место.
Больше результатов, сцен и описание методики обещают в следующих твитах ветки.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник