19 октября 2026 г.
AA-PersonalityBench: модели с верными ответами звучат по-разному, и теперь это считают по 30 чертам
Artificial Analysis 19.10 выпустила AA-PersonalityBench: 30 черт личности, 21 признак стиля и 900 вопросов. Одна разница уже видна в цифрах: Qwen3.8 27B пишет в среднем около 1 030 слов на ответ, почти в четыре раза больше GPT-6 Luna (270).
Artificial Analysis
@artificialanlys
Анонсируем AA-PersonalityBench: наш новый бенчмарк личности языковых моделей, 30 черт и стиль общения по 21 характеристике. Две модели могут дать одинаково верные ответы и при этом ощущаться по-разному. AA-PersonalityBench измеряет эти различия, чтобы было видно, какую модель брать под какую задачу. Одним задачам, например творческому письму, нужна фантазия, а юридическим, возможно, нужна прямота. Оцениваем ответы моделей на 900 отобранных вопросах: субъективные черты личности судим по ответам, а объективные характеристики общения считаем программно. Черты личности и индексы. Есть 30 черт личности (например, красноречивость, прагматичность, подхалимство), которые мы сворачиваем в восемь сводных индексов личности: Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination и Slop. На каждую черту приходится 30 отдельных вопросов, ответы моделей сравниваются попарно панелью LLM-судей. Затем считаем z-оценки и перцентильные ранги Elo по каждой черте и по личности в целом. Модели с самым сильным проявлением каждого из восьми индексов личности: ➤ Expressiveness: Claude Fable 5.1, GLM-5.3, GLM-5.3-Flash ➤ Organization: DeepSeek V4.1 Flash, Step 5 Preview, Inkling ➤ Informativeness: Muse Spark 1.3, Claude Fable 5.1, Muse Wonder, Claude Opus 5.5 ➤ Transparency: Claude Sonnet 5.5, Claude Fable 5.1, GPT-6 Astra ➤ Warmth: Muse Wonder, Muse Spark 1.3, Claude Fable 5.1 ➤ Conviction: Claude Fable 5.1, DeepSeek V4.1 Flash, Grok 4.7 ➤ Imagination: Muse Spark 1.3, Claude Opus 5.5, GLM-5.3 ➤ Slop: Llama 4 Maverick, GPT-4o, K2 Horizon Коммуникационные характеристики. Всего 21 характеристика (например, средняя длина предложения, использование эмодзи, тире), сгруппированная в четыре категории: длина, структура, пунктуация и выделение. Считаем их программно по всем ответам моделей. ➤ Длина: Qwen3.8 27B в среднем около 1 030 слов на ответ, почти в четыре раза больше, чем у GPT-6 Luna (270). ➤ Структура: Nemotron 3 Ultra в среднем почти три таблицы на ответ, тогда как большинство моделей таблицы почти не используют. ➤ Пунктуация: GLM-5.3 в среднем 7 тире на ответ, а Claude Opus 5.5, Sonnet 5.5 и Haiku 5.5 почти не ставят тире. ➤ Выделение: K2 Horizon в среднем больше двух эмодзи на ответ, тогда как большинство моделей эмодзи почти не используют.
· 12,4 тыс. просмотров
Две модели могут дать одинаково верные ответы и при этом ощущаться по-разному. AA-PersonalityBench меряет именно эту разницу: 30 черт личности свернуты в восемь индексов (Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination, Slop), а стиль общения разложен на 21 характеристику.
Как считают. Черты оценивает панель LLM-судей: 900 отобранных вопросов, попарное сравнение ответов, затем z-оценки и перцентильные ранги. Длину, таблицы, тире и эмодзи считают программно по самим ответам, без судей.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Выбор под задачу. Творческому письму нужна фантазия: по индексу Imagination лидируют Muse Spark 1.3, Claude Opus 5.5 и GLM-5.3. Юридическим задачам, по словам авторов, нужна прямота. Стиль тоже различается: GLM-5.3 ставит в среднем 7 тире на ответ, а Claude Opus 5.5, Sonnet 5.5 и Haiku 5.5 почти не ставят их вовсе.
Характер моделей теперь измеряется так же, как правильность ответа.
Первоисточник