Память стала главным расходом ИИ-чипа: 63% стоимости компонентов уходит на HBM

Данные тормозят. Производительность ИИ-акселераторов растёт примерно втрое за два года, а пропускная способность HBM за тот же срок не успевает удвоиться. В типичном GPU-пакете с восемью HBM4 площадь кремния памяти превышает площадь кристалла GPU более чем в 8 раз. При доле около двух третей сокращение перемещения данных становится важнее переноса логики на новый техпроцесс. Это разворачивает приоритеты отрасли после пятидесяти лет гонки за вычислениями.

Память считает. Samsung встроила вычисления в LPDDR5X-PIM. Пакет на 16 ГБ выдаёт 614 ГБ/с против 76,8 ГБ/с у обычной DRAM. В тесте Llama 3.1 8B с контекстом 320 токенов время выполнения сократилось с 12,3 до 5,4 секунды, а скорость выросла с 27 до 81,3 токена в секунду.

Ёмкость покупают ценой скорости. Oxmiq предлагает stacked flash для весов, которые модель читает время от времени. Такой подход даёт примерно в 14 раз больше ёмкости при чуть больше половины пропускной способности. HBM требует примерно втрое больше площади пластины, чем DDR5 для той же ёмкости, и Micron не ждёт, что разрыв сократится.

Цена растёт отдельно. Цена гигабайта DRAM на споте выросла примерно в семь раз, хотя объём отгрузок почти не изменился. Мощности пластин стоят на месте больше десяти лет, а новый завод строится дольше двух лет. При этом доля HBM выросла на 11 процентных пунктов одновременно с многократным ростом её цены, поэтому дорожать пришлось и остальным компонентам пакета. Для ИИ-инструментов память становится отдельной частью расчёта скорости и цены, а не фоном для процессора.

Дальше производители будут конкурировать не только размером логики, но и тем, сколько данных удаётся не перемещать между памятью и процессором.