MTGBench: тест Яндекса из семи игр, и русский отнимает у моделей до 0,14 балла

Яндекс и ШАД открыли MTGBench 27 октября. Семь текстовых игр проверяют не один ответ, а всю партию: учитывает ли модель новые вводные, помнит ли свои ходы, за сколько шагов добирается до разгадки.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

В наборе Wordle, «города», данетки, 20 вопросов, «Поле чудес», 20 признаков и «Элиас». Четыре игры проверяет алгоритм, три отдали ограниченному LLM-судье на DeepSeek V4 Flash. Переведённых заданий нет, эпизоды генерируются заново под каждый язык.

Разрыв держится на буквах. Слабые модели дают 0,365 на английском против 0,227 на русском. У сильных отставание меньше, 0,898 против 0,786. На играх со смыслом разница у сильных исчезает совсем: 0,645 против 0,642.

Порядок моделей русский при этом не меняет: два рейтинга совпадают с корреляцией 0,980. Вероятная причина сдвига по статье — расход токенов на кириллицу. У DeepSeek и Qwen русский текст раздувается в 1,43–1,63 раза, у GPT в 1,08–1,38.

Людей мерили на 100 русских заданиях: 476 сессий, 15 платных носителей языка, 9–12 участников на игру. Общий балл людей 0,594, у лучшей модели без рассуждений 0,625.

Сильнейшей в прогоне стала Gemini 3.1 Pro: почти все партии в Wordle, «Поле чудес», «городах» и 20 вопросах. Остальные спотыкаются одинаково. Задают узкие вопросы на старте вместо широких и игнорируют накопленную историю диалога.

Запустить можно у себя. Четыре шага: git clone репозитория, uv venv --python 3.11, uv pip install -e . и загрузка словарей (nltk wordnet, ruwordnet). Нужен Python 3.11+ и любой OpenAI-совместимый endpoint с ключом, модели прописываются в models.json. Одна игра идёт одной командой вида mtgbench wordle --model gpt-oss-120b --num-games 1 --language en, результаты складываются в results/.

Сами русские модели в первый прогон не попали: в списке 16 только семейства Qwen, DeepSeek, GPT и Gemini.