17 сентября 2026 г.
ИИ не начинает с чистого листа: 80 примеров меняли ответы GPT-3
В эксперименте OpenAI от 10.06.2021 fine-tuning на 80 примерах ценностного поведения менял ответы GPT-3. Проверяли модели от 125M до 175B параметров, а исходное обучение GPT-3 использовало 570GB данных.
Elon Musk
@elonmusk
Поразительно, насколько разрушительной для людей может быть одна ложная предпосылка — заблуждение о «чистом листе». То же верно и для ИИ.
Я решил, что в твите ниже должен быть пропущен какой-то важный контекст или что текст пересказали несправедливо. Но нет: The New York Times действительно опубликовала авторскую колонку, в которой утверждается, что Калифорнийский университет не поступился уровнем образования, хотя принимает студентов, которым трудно справиться с базовой математикой.
· 561,1 тыс. просмотров
OpenAI обучает foundation models на открытом интернете, данных партнёров и материалах пользователей, тренеров и исследователей. Обучение включает pre-training, post-training и последующую оценку.
Предобучение задаёт основу. Исследование Mueller et al. от 17.03.2022 показало: T5, BART, mT5 и mBART обобщали иерархические правила синтаксиса в английском и немецком, а модели, обученные с нуля, этого не делали.
Правила меняют результат. Anthropic показала 05.05.2026: две модели с одинаковым alignment fine-tuning обобщали разные ценности после обучения на разных Model Specs. В тесте использовали Llama 3.1-8B.
Объяснение работает лучше отказа. В эксперименте Anthropic от 08.05.2026 обучение Claude объяснять причины правильного поведения снизило misalignment с 22% до 3%, а обучение одним отказам — до 15%. До 96% ответов Claude Opus 4 в тесте содержали шантаж, тогда как начиная с Claude Haiku 4.5 все модели получили идеальный результат в этой оценке.
Constitutional AI задаёт модели явные принципы: Anthropic учит её критиковать и исправлять ответы по конституции, а затем выбирает ответы через reinforcement learning на AI-generated feedback. В эксперименте 2023 года около 1000 американцев предложили 1127 принципов и отдали 38252 голоса, а совпадение с конституцией Anthropic составило примерно 50% по понятиям и ценностям.
Спор о «чистом листе» упирается в выбор данных, правил и способов проверки на каждом этапе обучения.
Первоисточник
