Личные данные уходят в чужой LLM без всякой атаки: 12,4% промптов поддержки

12,4% промптов корпоративной поддержки несут личные данные. Столько дал разбор 10 000 обращений живой RAG-системы, опубликованный 31 июля: 620 телефонов, 410 полных имён, 180 почтовых адресов, плюс номера договоров, паспортные данные и ключи API, скопированные из логов ошибок. Атак и джейлбрейков в выборке нет вовсе. Люди просто чинят свои проблемы - "мой номер +1 415 XXX XXXX, почему не приходит SMS".

Раньше личные данные защищали на хранении: шифрование, сроки, права доступа, аудит. За двадцать лет вокруг бэкенда выросли аутентификация, API-гейтвеи, WAF и DLP.

Теперь тот же пользовательский текст уходит в чужую модель как есть. По дороге он оседает в логах приложения, трейсинге, аналитике, мониторинге и интерфейсах поддержки, а потом летит внешнему провайдеру.

Контраст виден на релизном чек-листе. Релиз тормозят, пока команда не ответит, где данные хранятся, сколько живут, кто имеет доступ и попадают ли в бэкапы. Интеграция с LLM тем временем гонит телефоны и ключи API наружу без единой проверки.

Вывод разбора простой. Самые защищённые личные данные - те, что вообще не вышли за периметр приложения. Под это автор собрал открытый гейтвей SafeGate: он встаёт между приложением и провайдером, подменяет найденные сущности правдоподобными суррогатами, маскирует их или режет запрос по политике.

Публичных замеров того, сколько личных данных доходит до сторонних LLM-эндпойнтов, кроме этого одного, пока нет.