Калифорния собирает правила аварийной остановки ИИ: Anthropic и OpenAI сдали проекты

Распоряжение N-9-26 от 18 сентября поручило ведомствам штата подготовить меры безопасности для самых мощных моделей. Новых обязательных требований сам документ пока не вводит.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Два проекта, два способа. Anthropic 15 октября предложила дать генеральному прокурору штата право добиваться через суд временной приостановки опасной модели: её развёртывания, внутреннего использования или дальнейшей разработки. Условие одно — риск катастрофического ущерба подтверждает независимая проверка.

OpenAI 20 октября написала иначе. Разработчиков надо обязать строить аварийные механизмы отключения и применять их, когда угроза уже возникла.

Единой кнопки нет. OpenAI считает термин «аварийные механизмы отключения» точнее слова «выключатель». Остановить обучение, изолировать ИИ-агента, отозвать доступ к инструментам и сети, приостановить сервис — четыре разных действия. Отвечать за каждое должны те, кто им управляет: разработчик, поставщик вычислений или компания, которая внедряет модель.

Копии модели с открытыми весами на чужой инфраструктуре разработчик отключить не может, и OpenAI говорит это прямо. Anthropic описывает похожий механизм словом «автоматический выключатель» (circuit breaker) и хочет, чтобы проблему можно было локализовать на уровне отдельного агента, клиента, среды развёртывания или всей модели.

Проверять заявления о безопасности обе компании предлагают независимым оценщикам, но по-разному. Anthropic хочет публиковать результаты проверок, отчитываться о рисках не реже раза в полгода и давать оценщикам доступ к внутренним моделям, если те заметно сильнее публичных. Платить оценщикам она предлагает из общего фонда под управлением штата, а не напрямую от проверяемых компаний.

OpenAI делит проверку на две. Техническая изучает доказательства безопасности и работу защитных механизмов, аудит проверяет выполнение опубликованных компанией правил и юридических обязательств. Аудит она предлагает раз в год, технические проверки — при серьёзных рисках во время обучения, тестов и внутреннего использования.

Отчётность об инцидентах расширяют обе. В неё должны попадать случаи, когда модель обходит защитные ограничения или действует за пределами выданных ей полномочий.

После 16 ноября ведомства штата сводят присланные предложения в рекомендации по безопасности.