28 октября 2026 г.
Промпт на русском обходится вдвое дороже английского: 2,2 токена на слово против 1,23
CLEAR прогнала 203 языка через токенизаторы 19 семейств моделей: разрыв в цене между языками доходит до 17 раз.
Стартап в Бангалоре платит надбавку на каждом промпте. Его конкурент в Остине за те же слова не платит ничего.
Дело в токенизаторе. Модель считает деньги не словами, а токенами, кусками, на которые она рубит текст. Английское слово умещается в 1,23 токена, славянское занимает 2,2–2,5 (замер 25 языков Европы, 23.05.2026). Тот же смысл на русском обходится вдвое.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Разницу между Бангалором и Остином заметил инвестор Pratyush Choudhury из фонда Activate AI. Коалиция CLEAR подвела под неё числа: 203 языка корпуса FLORES-200, токенизаторы 19 семейств моделей, оценка каждому по разрыву между самым дорогим и самым дешёвым языком. Ни одна универсальная фронтир-модель не поднялась выше B, большинство получило F.
Оценки CLEAR (29.09.2026):
- Gemini 3.8 Flash и 3.1 Pro держат разрыв 5,1x. Единственная B среди фронтир-моделей. - Claude Fable 5 и Opus 4.8 дают 9,3x, оценка D. - GPT-5 рубит текст неровнее, 13,8x и F. Тот же токенизатор работает в ChatGPT. - Falcon 3 замыкает таблицу с 17,0x.
Русский попал в таблицу один раз. У Falcon 3 он оказался самым ресурсным языком, выпавшим из ровной группы, то есть дороже самого выгодного языка модели больше чем в 3 раза. У остальных 18 семейств эта граница начинается с греческого и ниже, у GPT-5 с бирманского.
Дробление съедает и окно контекста. В окне 128k носитель нко укладывает 11 781 слово против 105 108 английских (замер африканских языков, 23.06.2026).
Как проверить свой язык. Вставьте промпт в токенизатор OpenAI на platform.openai.com/tokenizer и сравните число токенов с тем же текстом по-английски. У фразы из исследования вышло 13 токенов по-английски и 78 на амхарском при почти равном числе символов. Код полного замера CLEAR выложила на GitHub.
Новая версия ровнее не делает. У Alibaba флагманский Qwen 3.6 рубит текст хуже прежнего Qwen 3, 13,1x против 10,5x.
Пока разрыв не закрыт на уровне токенизатора, надбавка за родной язык остаётся в каждом счёте за API.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник