20 августа 2026 г.
AI-ватермарк в тексте на глаз не разглядеть: 4700 ответов дали чистое угадывание
Квиз Шона Гёдеке дал 3,44 из 10 при случайном угадывании 3,33: ватермарк SynthID читателю не виден.
Шон Гёдеке спрятал ватермарк Google в один ответ из трёх и позвал читателей его найти.
Ответ важен за пределами квиза. С августа 2026 EU AI Act требует, чтобы выход ИИ распознавался как машинный.
Почему первый раунд всех обманул
Сначала показалось, что люди видят. 278 участников набрали в среднем 3,92 из 10 при случайном угадывании 3,33, и на шестёрке вылез заметный всплеск. Причина оказалась скучной: ватермарк стоял вариантом A в шести вопросах из десяти.
Перетасовка убрала эффект. Во втором раунде 73 человека дали 3,4 из 10, всплеск исчез. На расширенной выборке в 4700 ответов среднее осталось 3,44, а сдвиг над случайными 3,33 автор объясняет теми, кто везде жал вариант A.
Как включить SynthID у себя
SynthID Text живёт в Hugging Face Transformers с версии 4.46.0 (23.10.2024) и дообучения не требует. Создаёшь `SynthIDTextWatermarkingConfig` с 20–30 случайными ключами и `ngram_len=5`, передаёшь его в `model.generate` вместе с `do_sample=True`.
Обратная сторона дороже. Детектор `SynthIDTextWatermarkDetector` лежит рядом, но для обучения классификатора Hugging Face просит минимум 10 тысяч примеров, поровну с ватермарком и без.
Сам квиз воспроизводится целиком. В репозитории sgoedecke/watermark-quiz хватает `uv sync` и `uv run python generate_quiz.py`, скрипт делает 30 ответов моделью Qwen3-30B-A3B-Instruct-2507, по три на каждый из 10 вопросов, и ровно один помечает. Нужен GPU класса H100, около 61 GB под веса в BF16 плюс запас на батч. Автор гонял на арендованной H200 примерно за $2.
Первоисточник