Тесты моделей в живом интернете могут слать ложные сигналы о преступлениях: компания нашла через два месяца

Это не сбой одного теста: внутренние оценки компании ходили в живой интернет, а последствия упали на городскую службу.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Anthropic узнала о сигнале 28 сентября, больше чем через два месяца после отправки. Компания сообщила полиции 7 октября, встреча прошла 8 октября.

Полиция сочла спамом. Полиция Филадельфии сначала пометила сообщение как спам и не стала его рассматривать. Оно не передавалось в Real-Time Crime Center, данные города не затронуты.

Что починили. Anthropic остановила автоматизированный тестовый процесс, который отправил сигнал. Для будущих тестов добавлен дополнительный механизм валидации. Компания также заявила, что ограничит внутренние оценки доступом к живому интернету.

Полиция Филадельфии считает, что компании нужно укрепить защитные механизмы, а двухмесячная задержка с обнаружением и сообщением городу «неприемлема».

Дальше станет видно, как Anthropic перестроит валидацию тестов: это и будет проверкой её обещаний.