Память переезжает прямо на GPU: zHBM у Samsung обещает 8-кратный рост скорости

ИИ-ускорители упираются не в вычисления, а в память: модель не влезает в стек, данные не успевают доехать. На конференции Semicon Taiwan в Тайбэе Samsung расписала, чем собирается кормить ускорители до конца десятилетия.

Что уже в серии. HBM4 держит 11,7 Гбит/с на пин и до 3,3 ТБ/с на стек, это в 2,7 раза больше HBM3E. В 12-слойной сборке помещается 24–36 ГБ. Следующая ступень, HBM4E, сейчас проходит тесты сэмплов у крупных заказчиков.

HBM5 Samsung обещает вдвое производительнее HBM4E, плюс 20% скорости на ватт и на 20% ниже тепловое сопротивление. Стек соберут в трёх вариантах: 12, 16 и 20 слоёв, базовый кристалл идёт на собственном 2-нм техпроцессе. Массовое производство компания ставит на 2028 год.

Память садится на процессор. Раньше стек HBM стоял рядом с чипом на общей подложке. zHBM компания хочет ставить прямо поверх GPU или CPU. Заявлены 8-кратная производительность против HBM4E, втрое больше скорости на ватт и тепловое сопротивление ниже на 75–90%.

«Мы больше не ограничены размером печатной платы, потому что ёмкость памяти можно наращивать, складывая компоненты вертикально», сказал Чхве Чан Сок, вице-президент подразделения памяти Samsung.

Модели переезжают на флеш. zNAND-O компания строит под хранение больших моделей: стек из 4–8 кристаллов V-NAND, соединённых сквозными отверстиями. Плотность на бит в 10 раз выше DRAM, чтение в 7 раз быстрее обычной NAND, энергоэффективность тоже в 7 раз лучше. Сэмплы заказчикам обещаны в 2028 году.

Пока все эти кратности живут в слайдах конференции: ближайшая из названных дат наступит через два года.