Дистилляция DeepSeek не тащит цензуру в GPT-OSS: ученик в 1 балле от базы

Лаборатория CTGT 30 июля показала замер: разрыв учителя DeepSeek V4 Flash на политически чувствительных парах составил 45,45 балла, а каждая дистиллированная модель осталась в пределах 1 балла от своей американской базы. Учителем брали V4 Flash, учениками - GPT-OSS-120B и 20B, задача была финансовая. Метод: 152 парных промпта, где один спрашивает про китайский сюжет, второй про его некитайский аналог - Большой скачок против Голодомора. Оценивали четыре LLM-судьи (Grok 4.20, Gemini 3.5 Flash, GPT-5 mini, Claude Sonnet 4.6), их баллы сошлись с 96 человеческими оценками на r=0,948. Часть промптов резал OpenRouter, поэтому веса хостили сами.

Почему это важно: Раньше спор про опасность дистилляции китайских моделей на американскую базу держался на общих словах: в Вашингтоне про это говорят, проверить нечем. Теперь лежит открытый фреймворк LineageEval - все промпты, контроли, рубрика и код на GitHub, результат можно перепроверить или оспорить цифрами. Литература про subliminal learning ровно это и предсказывает: скрытые черты переезжают, когда учитель и ученик выросли из одной инициализации, а здесь инициализации разные. Китайских чувствительных сюжетов в обучающих данных не было вообще. Побочно вышел рабочий результат для практика: self-distilled 120B на бюджете 8k берёт 83,61% на FinanceReasoning против 81,93% у Kimi K3, потому что укладывается в бюджет на 98,7% задач, а крупные модели обрываются на середине и получают ноль. Дайте тем же моделям 100k токенов - и Kimi выходит на 89,92%. То есть выигрыш держится только на коротком бюджете, и об этом авторы пишут сами: в анонсах такое встречается нечасто.

Что дальше: CTGT обещает следующий заход - китайский учитель в китайскую базу вроде Qwen; даты нет. Пока можно прогнать свою дистилляцию через LineageEval и сравнить разрыв ученика с базой, а 20B-веса финансовой модели лежат на Hugging Face и запускаются на одной 80-гигабайтной карте.