9 ноября 2026 г.
Чип для локальных языковых моделей потребует 5 Вт: DeepX готовит DX-M2
DeepX обещает запуск моделей с 20–100 млрд параметров на устройствах со скоростью 10–30 токенов в секунду.
DeepX передала проект DX-M2 в производство. Первые образцы ускорителя для роботов и компьютеров компания ожидает в марте 2027 года.
Предыдущий DX-M1 компания разрабатывала преимущественно для обработки изображений. DX-M2 рассчитан на языковые модели, у которых при генерации задействованы примерно 3–20 млрд параметров из общего объёма. Пропускную способность памяти DeepX увеличила втрое, с 50 до 150 ГБ/с.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Потребление с памятью. Заявленные 5 Вт относятся к самому чипу. Для предварительной версии модуля DX-M2M компания указывает те же 5 Вт уже вместе с 24 ГБ памяти, а для DX-M2M Pro с 48 ГБ заявляет 8,5 Вт.
Для подключения существующих приложений DeepX заявляет OpenAI-compatible API и поддержку llama.cpp и Ollama в своём SDK. Ускоритель компания планирует предлагать в форматах M.2 и PCIe.
Ускорение в симуляции. Вместе с Samsung DeepX тестирует память LPDDR5x-PIM, которая выполняет часть вычислений внутри микросхем памяти. В симуляции Llama 3.1 8B компания получила генерацию в 6,7 раза быстрее, чем на одном DX-M2, при росте общего энергопотребления в 2,7 раза. DeepX уже получила образцы памяти, а аппаратные модули для проверки ещё готовит.
Массовое производство DX-M2 DeepX планирует начать осенью 2027 года.
Первоисточник