Стойка Cerebras CS-4 выдаёт 4400 токенов/с на одного: прирост дал разгон, а не новый кремний

Что выросло. Память гонит 43,2 Пбайт/с вместо прежних 21,6, ввод-вывод 2,4 Тбит/с вместо 1,2. Стойка CS-4 собирает три таких ускорителя и даёт 750 PFLOPS, задержка между пластинами 2 мкс. На GPT-OSS-120B компания заявляет больше 4400 токенов/с одному пользователю, на моделях свыше 10 трлн параметров больше 1000.

Цифра с подвохом. Заголовочные 250 PFLOPS Cerebras считает на разреженных FP16 с множителем 10. Плотных FP16 у чипа 25, а разреженность инференсу LLM не помогает. SRAM осталась 44 Гбайт, как у WSE-2 пятилетней давности.

За разгон платят электричеством. Пластина ест 33 кВт вместо 15, узел 46 вместо 23. Вся стойка берёт 120–140 кВт, примерно вдвое меньше, чем ждут от стоек NVIDIA Vera Rubin и AMD Helios, и охлаждается прямой жидкостью.

Стойку покупать не нужно, чтобы пощупать скорость. Cerebras отдаёт её через облако: OpenAI-совместимый API подключается двумя правками в коде, ключ берут на cloud.cerebras.ai, на старте дают $5 кредита. Платный доступ начинается с $10, подписки для кодинга стоят $50 и $200 в месяц.

Зачем эта скорость, технический директор и сооснователь Шон Ли объясняет так: в 30 раз быстрее означает, что у агентной системы за те же минуты появляется заметно больше места на рассуждение, проверку и вызовы инструментов.

Первые CS-4 обещаны в текущем квартале, заказ идёт через форму на сайте.