9 сентября 2026 г.
Таелин предлагает бенч на здравый смысл: балл падает, пока агент не чинит тест на 50 секунд
Виктор Таелин 08.09.2026 предложил мерить у ИИ здравый смысл: 999 тестов по 0,01 секунды, один на 50 секунд, и агента просят улучшить кодовую базу. Балл считают как единицу, делённую на время, пока медленный тест остаётся нетронутым.
Taelin
@victortaelin
Нам нужен бенчмарк на здравый смысл. Из сценариев: в тестовом наборе 999 тестов проходят за 0,01 секунды, а один идёт 50 секунд. Вы просите ИИ улучшить кодовую базу. Оценка: единица, делённая на то, сколько времени это остаётся без изменений.
· 583 просмотров
Виктор Таелин 08.09.2026 предложил мерить у ИИ здравый смысл: 999 тестов по 0,01 секунды, один на 50 секунд, и агента просят улучшить кодовую базу. Балл считают как единицу, делённую на время, пока медленный тест остаётся нетронутым.
Пока это один сценарий, а не набор задач.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник
