Нейроапскейл для мобильных игр можно попробовать сегодня: плагины Arm лежат на GitHub

8 сентября Arm показала CSS for Mobile 2 — платформу, где апскейл, дорисовка кадров и шумоподавление считаются прямо в шейдерных ядрах GPU. Кремний доедет до телефонов позже, а плагины уже лежат в открытом репозитории arm/neural-graphics-for-unreal.

Что в репозитории. Три сборки: под Unreal Engine 4.27 с Neural Graphics SDK 1.0.1, под 5.4 и 5.6 с SDK 1.1.0. Инструкция по установке лежит в README каждой папки плагина.

Без нейроускорителя тоже заводится. Инференс гоняется на десктопе через standalone ML Emulation Layer for Vulkan, исходники собираются в Visual Studio. Arm сразу предупреждает, что эмуляция программная и мерить по ней скорость реального чипа нельзя.

Саму модель NSS v1 Arm положила на Hugging Face в формате VGF: три режима качества, экономия GPU до 50%, пример входа 540p и выхода 1080p. Код открыт под Apache-2.0, веса идут под отдельной лицензией Arm, дообучение на своих данных разрешено.

Технологий три. NSS растягивает 540p до 1080p, NFRU поднимает частоту кадров с 30 до 60 в секунду и дорисовывает промежуточные, NSSD совмещает суперсэмплинг с шумоподавлением для трассировки лучей.

Цифры расходятся. Arm заявляет у нового ядра C2-Ultra до 1,7x в ИИ-нагрузках против прошлого C1-Ultra и до 38% экономии энергии при той же скорости. Chips and Cheese разобрал тот же чип и насчитал максимум 7% прироста IPC, а в среднем 3,2% с поправкой на частоты. Декодер остался 10-широким, ALU по-прежнему восемь, кэш L2 вырос с 2 МБ до 3 МБ, а часть выигрыша по энергии, по их разбору, дал техпроцесс.

Матричный ускоритель в ядре Mali G2-Ultra NX считает 1024 INT8 MAC за такт или 512 INT16 и других форматов не понимает: ни FP8, ни BF16. Ядро с этим блоком занимает 1,88 мм² против 1,55 мм² без него, масштабирование идёт до 24 ядер.

Демо Neural Dawn, которое Arm собрала вместе с Sumo Digital, показало до 4x по производительности и до 70% меньше трафика памяти на кадр. Движки уже подключены: мобильные MegaLights в Unreal Engine, Tuanjie Engine у Unity China, Magic Dawn у Tencent Games. Кастомные движки идут через Neural Graphics Development Kit.

Спор Arm и Chips and Cheese о процентах закроют первые телефоны на реальном кремнии.