11 октября 2026 г.
ИИ видит картинку, но сцену читает хуже людей: в тесте Humanity's Sixth Sense 53,6% против 93,1%
Лучшая модель, GPT-6 Astra, набрала 53,6% правильных ответов, люди набрали 93,1%. Бенчмарк Humanity's Sixth Sense состоит из 522 заданий: 288 статичных сцен и 234 видеофрагмента, вопросы вроде «пройдёт ли автомобиль в зазор между припаркованными машинами» или «кто в комнате обладает негласной властью». Медиана по 25 моделям составляет 30,9%.
Человек решает такие задачи интуитивно: пройдёт ли машина в зазор, кто в комнате обладает негласной властью, что задумал человек в кадре. Модели спотыкаются на картинке, а не на логике: 94% ошибок связаны со зрением или выводом из изображения, на логику пришлось около 5%. В 53% случаев модель неверно прочитала деталь, в 41% не вывела то, что картинка подразумевает.
Длиннее не значит точнее. В среднем модели тратили около 4000 токенов на рассуждение на задачу. Более долгое рассуждение не сократило разрыв с человеком.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Метод. Метрика pass@1 по трём попыткам на задание, 95% доверительные интервалы. Оценку по 723 атомарным критериям рубрик делает Claude Opus 5.
Датасет открыт на Hugging Face под именем ScaleAI/HSS. Статья лежит на arXiv под номером 2610.08966.
Когда авторы выложат обещанные evaluation harness и промпты оценки, прогнать свою модель на тех же 522 заданиях станет возможно.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник