Обучать модель дешевле по открытому коду Т-Технологий: LIMe сходится на 15,3% быстрее

За этим стоят две статьи, принятые на основную конференцию EMNLP 2026, и два открытых репозитория. Обе написаны в лаборатории Даниила Гаврилова, замеры опубликованы вместе с кодом.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Что делает LIMe. Обычный трансформер на каждом слое смотрит только в свои Key-Value. LIMe ставит обучаемый роутер, который смешивает буферы всех предыдущих слоёв, со своими весами на каждую голову и слой. Скрытое состояние и расход памяти при этом не растут.

На базовом трансформере LLaMA в 1 млрд параметров LIMe сходится на 15,3% быстрее по FLOPs и даёт perplexity на 1,15% ниже. В варианте с GQA выигрыш меньше: 8,9% и 0,91%. На ProsQA прибавка доходит до 8%, на арифметических reasoning-бенчмарках до 30%. Модели учили на 50 млрд токенов FineWeb-Edu, глубины 32, 64 и 128 слоёв.

KronSAE про другое. Это разреженный автоэнкодер, инструмент разбора того, что модель держит внутри. Латентное пространство раскладывается на головы через Кронекерово произведение, логическое И заменено гладкой нелинейностью mAND, сложность энкодера падает с O(Fd) до O(h(m+n)d).

Проверяли на Qwen-2.5-1.5B-Base, Pythia-1.4B-deduped и Gemma-2-2B при бюджетах от 125 млн до 2 млрд токенов. При равных FLOPs KronSAE держится на уровне TopK SAE по explained variance, а на Pythia-1.4B с большим словарём обходит его: 0,810 против 0,801. Feature absorption ниже на всех уровнях разреженности, на синтетике блочная структура восстанавливается с коэффициентом 0,3 против 0,12.

Как взять. Раньше цифры такой работы жили в статье, и повторить их можно было только своей реализацией. Теперь оба метода лежат в репозиториях corl-team/lime и corl-team/kronsae под Apache 2.0.

У LIMe путь короткий: клонировать, поставить зависимости через pip, прописать в config.py путь к дедуплицированному FineWeb-Edu и запустить train.py через accelerate с bf16 и флагом --multi_gpu. KronSAE просит Python 3.11 и CUDA-GPU. В комплекте идут конфиги под Qwen и Gemma на 16 384 фичи и 250 млн токенов, для Gemma сначала принимают лицензию на Hugging Face.

Цифры пресс-релиза шире статей. CNews пишет про 15% экономии у LIMe и более 40% у KronSAE. В самих статьях у LIMe стоит 15,3% по FLOPs до сходимости, а выигрыш KronSAE описан падением сложности энкодера, не процентом экономии.

Оба репозитория открыты под Apache 2.0, так что повторить замеры может любая команда с кластером.