21 октября 2026 г.
Обучение M**a держится на резерве: больше 11% ускорителей Prometheus сломаны или простаивают
По данным The Register от 20.10.2026, больше 11% ускорителей в суперкластере M**a Prometheus в Нью-Олбани (Огайо) либо вышли из строя, либо простаивают. Резерв нужен, чтобы обучение не останавливалось, когда откажет один из работающих чипов.
На 8000 ускорителей в первой фазе приходилось около 1000 прерываний в сутки. После оптимизаций осталось около 11, то есть на 99% меньше. Целевой показатель компании: 2 прерывания в сутки на 8000 ускорителей, то есть текущий уровень больше чем в пять раз выше цели.
Как держат работу. В каждой стойке NVL72 из 72 ускорителей 8 стоят горячим резервом. Если чип падает, запасной подхватывает работу, а задача перезапускается с последнего чекпоинта, не дожидаясь ремонта. Ещё около 2% стоек держат в резерве на случай отказа целой стойки. Средний интервал между прерываниями превысил 54 000 GPU-часов после исправлений прошивки (StorageReview, 19.10). На запусках Muse Wonder полезной работы машины занимают 85% времени при предобучении и 90% при обучении с подкреплением.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Цифры о резерве и надёжности идут от самой компании, через The Register.
Meta планирует довести Prometheus до 1 ГВт и примерно миллиона ускорителей.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник