TPU 8i Max: Google удвоила вычислительную мощность при прежней площади стойки

Одна система вместо нескольких. В TPU 8tx Google соединила чипы TPU 8t, процессоры AMD и сеть Boardfly. Компания заявляет до 2 раз меньшую задержку относительно TPU 8t и защиту данных и весов во время вычислений. На одной системе можно запускать модели, дообучать их на закрытых данных, переносить навыки в меньшие модели и обучать с подкреплением без переноса чувствительных данных между отдельными кластерами.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Google также сделала Cloud Pathways общедоступным в GKE. Среда выполнения, которую компания использует для Gemini, управляет несколькими группами TPU через один контроллер для обучения и запуска моделей. Общедоступным стало и динамическое распределение TPU в GKE: Google заявляет ускорение запуска задач до 5 раз и восстановления после сбоев до 4,5 раза за счёт изменения соединений между ускорителями.

Запуск из PyTorch. Инструкция Google на 9 ноября предлагает установить `pip install torch_tpu`, выбрать устройство через `torch.device("tpu")` и компилировать модели командой `torch.compile`.

Для работы с TPU через ИИ-агентов Google предлагает TPU agent suite. Готовые архивы для Claude Code и Antigravity опубликованы в GitHub Releases, для Cursor и Codex инструкция предусматривает сборку из исходников.

Установка TPU agent suite требует Python 3.12 или новее и зависимостей из `requirements-client.txt`. Команда `python3 tpu-agent-suite-<harness>-v<version>/framework/installer.py install --destination /path/to/project` устанавливает набор в выбранный проект.

Вместе с апрельскими TPU 8t и TPU 8i Google впервые представила 4 TPU-системы за год.