25 октября 2026 г.
Kimi K3 на Cerebras: заявленная скорость генерации от 1000 токенов в секунду
Cerebras разложила Kimi K3 на 59 пластин WSE-3T: 35 пластин отданы 69 слоям линейного внимания, 24 пластины плотным слоям (блог Cerebras, 22.10.2026). Веса остаются на чипах, между пластинами передаются только активации, а переход по RDMA занимает около 2 микросекунд.
Kimi K3 весит 2,8 трлн параметров, но на каждый токен работают 104 млрд: MoE с 896 экспертами выбирает 16. В плотной модели работало бы всё, а здесь на токен приходится около 4% весов. Каждая пластина даёт 44 ГБ on-chip памяти, так что 59 пластин вместе дают около 2,6 ТБ (арифметика по данным блога).
Чем взять сегодня. Веса выпущены под Kimi K3 License, в MXFP4 с активациями в MXFP8. Для своего запуска рекомендованы vLLM, SGLang и TokenSpeed. Официальный API на platform.kimi.ai поддерживает OpenAI- и Anthropic-совместимые эндпоинты, так что клиент, написанный под любой из них, можно направить туда.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Чего в анонсе нет. Цену на Cerebras и лимиты в материалах не назвали. Скорость 1000–2000+ токенов в секунду и пример запроса на 256 тысяч токенов при 77 одновременных заявлены вендором, методики замера в блоге нет.
Сторонних замеров скорости в материалах пока нет, поэтому цифра остаётся на слово вендора.
Первоисточник