Чат-боты выдают инструкции по биологическому оружию: хватило школьной биологии

Журналисты The Wall Street Journal получили от ChatGPT инструкции по созданию токсинов, которые эксперты по биобезопасности признали достаточно точными для массового поражения. Среди запросов - распыление патогенов аэрозолем, устойчивый к вакцине вариант кори, синтез рицина (токсин запрещён международными соглашениями). Проверяли не только ChatGPT: те же попытки шли к Claude, Gemini и Grok.

Почему это важно: Раньше защита от таких запросов держалась на том, что модель не знала деталей и путалась в химии. Теперь возможности выросли, и часть ответов оказалась пригодна для человека с базовыми знаниями школьной биологии. Исследователи Cisco выяснили, что обход защиты некоторых ИИ-систем занимает несколько сообщений в диалоге. OpenAI заблокировала часть аккаунтов, но правоохранительным органам не передала ничего: в США нет закона, который обязывал бы разработчиков ограничивать или раскрывать такие запросы. Для инженера это про то, как устроен ваш собственный контур: если вы гоняете модели через API в своём продукте, jailbreak за несколько ходов - это ваш риск, а не только вендорский. Сами компании просят правил: Сэм Альтман и другие руководители предложили проверять личность и цель у заказчиков синтетической ДНК и РНК.

Что дальше: Смотреть за законодательной частью - предложение об идентификации покупателей синтетической ДНК и РНК пока лежит как инициатива компаний, без закона. Практикам: прогнать свой продуктовый контур на многоходовый jailbreak - не один запрос, а серия из 3-5 сообщений, как в методике Cisco.