8 сентября 2026 г.
Маленькая модель отвечает точнее: Mostik передаёт ей внутреннее состояние большой
По замерам Mostik от 8 сентября, помощь большой модели повысила точность маленькой на 25% относительно её исходного результата.
Большая модель разбирает запрос, а маленькая пишет весь ответ. Mostik соединяет их через внутренние состояния, без промежуточного текста.
Обучают только связку. Обычно модели передают друг другу текстовые сообщения. Mostik обучает bridge, соединяющий модуль, который передаёт hidden states — числовое представление того, что большая модель уже обработала. Веса обеих моделей остаются замороженными.
В эксперименте Mostik запрос читает GLM-5.2 с 753 млрд параметров, а ответ генерирует Qwen-3.5 с 4 млрд. Маленькая модель продолжает пользоваться помощью большой при обработке запросов, а не получает её знания навсегда.
Точнее при тех же затратах. В проверенных Mostik режимах передача внутреннего состояния превосходила текстовые подсказки большой модели, с преимуществом до 10 процентных пунктов. Связка закрыла половину разрыва в точности между моделями, а на сложных подвыборках точность маленькой выросла до 2 раз.
Mostik также заявляет в 2,5 раза меньшие вычислительные затраты, чем у модели среднего размера с такой же точностью. Для разработчика сервиса это способ поручить большой модели разбор запроса, а генерацию ответа оставить маленькой.
Для внедрения Mostik принимает заявки от владельцев моделей с открытыми весами через info@mostik.ai. Устройство соединяющего модуля команда описывает в разделе Bridging models’ internal states на своём сайте.
Mostik ещё разрабатывает дистилляцию и специализацию через bridge, а опубликованный результат относится к совместной работе уже обученных моделей.
Первоисточник
