Работу LLM можно разглядеть изнутри: один вопрос к Qwen3.8-27B прошёл 64 слоя в 3D

Числа в этом разборе настоящие. Вероятности, прочитанное вниманием и изменения его памяти сняты с живого запуска Qwen3.8-27B на домашнем компьютере, а не нарисованы для картинки.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Раньше смотрели схемы. Устройство трансформера объясняли статичными картинками, где слой нарисован прямоугольником со стрелкой. Теперь виден путь одного токена целиком, и каждый блок каждого слоя правит одну общую рабочую строку, которую модель тащит сквозь все 64 этажа.

Запустить можно у себя. Открытый 3D-разбор устройства LLM лежит в репозитории thesvj/llm-viz под лицензией MIT. В браузере работает живое демо, локально он поднимается командой `yarn && yarn dev` и открывается на localhost:3002/llm. С реальными весами и живыми активациями там крутятся три крошки от 76 656 до 132 528 параметров. Большие модели от GPT-2 до gpt-oss-20b показаны только формой, без весов.

Dense эту модель называет пост, а карточка Qwen3.8-27B на Hugging Face описывает её иначе (14.08.2026): 64 слоя сложены как 16 повторов из трёх линейных блоков Gated DeltaNet и одного Gated Attention. Полноценного внимания в модели 16 слоёв из 64.

Саму модель ставят в один клик через LM Studio. Рекомендуемый квант UD-Q4_K_XL весит 17,9 ГБ, аварийный Q3_K_XL 13,4 ГБ. Практический порог памяти такой: 24 ГБ минимум, 48 ГБ оптимум. M4 Mac mini на 32 ГБ выдаёт 5–6 токенов в секунду, RTX 5090 со спекулятивным декодингом больше 200.

Обещание обогнать модели с куда большим числом весов держится на цифрах самого вендора: GPQA-Diamond 89,2 против 91,3 у Opus 4.6 Max, SWE-bench Pro 61,7. Сторонние лаборатории эти результаты не повторяли.

Второй 3D-разбор этой же модели выложен 22.10.2026 в репозитории pma1/LLM-visualization, активации там сняты с vLLM.