Дипфейк теперь выдаёт своего автора: SAGA вычисляет генератор по следам в кадрах

28 июля стало известно о системе SAGA: она называет не только факт подделки, но и конкретную нейросеть, которая сделала видео. Собрала её команда Калифорнийского университета - аспирант Рохит Кунду под руководством профессора Амита Рой-Чоудхури. К работе подключились специалисты YouTube и Google DeepMind.

Почему это важно: Раньше детекторы отвечали на один вопрос: настоящее видео или сгенерированное. Теперь команда Рой-Чоудхури учит машину называть автора. Метод назвали Temporal Attention Signatures, коротко T-Sigs: система смотрит не отдельный кадр, а то, как генератор ведёт свет, движение и мелкие детали при переходе между кадрами. По множеству роликов одного генератора она собирает усреднённый профиль, новое видео сверяет с базой таких профилей. Участие YouTube и DeepMind означает прицел на реальную площадку, а не на лабораторный стенд. О точности и о списке генераторов, которые система различает, в материале не говорят.

Что дальше: Ждать публикацию команды: пока нет ни цифр точности, ни кода, проверить SAGA на своих роликах не на чем. Первое, что стоит выцепить из статьи, - перечень генераторов, которые T-Sigs отличает друг от друга.