19 октября 2026 г.
TorchNeuron: PyTorch-модель на чипах Amazon Trainium запустится после правки одной строки
С 20.10.2026 открыта публичная бета TorchNeuron: на Trainium Deepgram обрабатывает примерно на 60% больше аудиосекунд на доллар, чем на GPU. Исходники открыты под Apache 2.0.
Модели Hugging Face на Trainium требовали отдельного Neuron-софта и своей конфигурации. Теперь TorchNeuron делает чип нативным бэкендом Transformers и Diffusers: достаточно from_pretrained(..., device_map='neuron'), по словам Jeff Boudier из Hugging Face.
В TechCrunch та же цифра Deepgram приведена как 70%, в блоге PyTorch стоит 60%. Cartesia запустила стандартный инференс-пайплайн на Trainium с минимальными правками кода: мелкие операции идут нативно, NKI-ядра написаны только для часто вызываемых слоёв.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что не работает в первом релизе. Sparse-тензоры, NestedTensor, forward-mode autograd, динамические формы, per-channel квантование и attention-маски произвольного вида. Attention-маски работают только без маски или с causal. TorchAO и FP8 пока в приватной бете.
Запуск идёт на инстансах Trn2 или Trn3, с Python 3.12–3.14 и PyTorch 2.13 или 2.14.
Дальше ждём выход TorchAO и FP8 из приватной беты.
Первоисточник