20 октября 2026 г.
TorchTPU: PyTorch-приложения переезжают с Nvidia GPU на TPU без переписывания кода
Google выпустил TorchTPU, инструмент для переноса PyTorch-приложений с Nvidia GPU на TPU. Клиент Zenteiq.ai через GKE вырос с 1,47 до 5,97 млрд токенов в день на 1000 TPU v6e, примерно в четыре раза. Amazon анонсировал аналог TorchNeuron 19 октября, на день раньше Google.
Пакет torch_tpu 0.2.0 ставится из PyPI, нужен Python 3.11 или новее и CPU-сборка PyTorch. В Hugging Face Transformers v5 перенос модели делается одним параметром device_map со значением tpu. Для LLM-серверов есть бэкенды vLLM и SGLang, а Google заявляет, что приложения запускаются на TPU с простым изменением конфигурации. В материалах нет ни цены TPU, ни сравнения скорости с Nvidia GPU, поэтому выгоду по деньгам пока проверить нельзя.
Первые независимые замеры переноса с Nvidia GPU пока не опубликованы.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник