Внешние учёные впервые копаются в живых разговорах с Claude: Stanford разобрал 249 834 диалога

Такие числа до сих пор считали только внутри самих лабораторий, и сверить их было не с чем. 26 августа Anthropic пустила к своему инструменту анализа посторонние команды.

Как устроено. Вопрос формулирует исследователь, данные собирает Anthropic, анализ делает снова исследователь. Сырые разговоры наружу не отдают, только агрегаты. На содержание выводов компания не влияла.

Раньше инструмент, до переименования известный как Clio, крутили внутри компании. Теперь срез на 250 000 разговоров Claude.ai и Claude Code за апрель и май 2026 года получили трое: Stanford SALT Lab, Oxford Human Information Processing Lab и некоммерческая METR.

Stanford в работе «Human–AI Collaboration at Scale» насчитал, что в 72% разговоров направление задавал человек, а Claude шёл ассистентом. Разговоры с высокими ставками тянулись в среднем 12,4 хода против 6,5 у одноразовых задач.

METR сверила оценки Claude «сколько заняла бы задача без ИИ» с реальными замерами времени у разработчиков: оценки сходятся с фактом, а новые модели ускоряют работу заметно сильнее старых.

Приватность инструмента проверяла третья сторона, Imperial College London, а перед передачей данных из выборки вычистили меньше 5% категорий и разговоров. Дыры у Clio находили и раньше: атака CLIOPATRA от UCL, UC Riverside и Google Research подсовывала отравленные чаты и вытаскивала медицинскую историю пользователя максимум в 65% попыток.

Данные уже лежат в открытом доступе. Агрегаты завершённых работ выложены на Hugging Face в CSV под лицензией CC-BY-4.0, от тысячи до десяти тысяч записей, и качаются без всякой заявки. Своё исследование предлагают через форму на сайте Anthropic.