AI-ватермарк в тексте на глаз не разглядеть: 4700 ответов дали чистое угадывание

Ответ важен за пределами квиза. С августа 2026 EU AI Act требует, чтобы выход ИИ распознавался как машинный.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Почему первый раунд всех обманул

Сначала показалось, что люди видят. 278 участников набрали в среднем 3,92 из 10 при случайном угадывании 3,33, и на шестёрке вылез заметный всплеск. Причина оказалась скучной: ватермарк стоял вариантом A в шести вопросах из десяти.

Перетасовка убрала эффект. Во втором раунде 73 человека дали 3,4 из 10, всплеск исчез. На расширенной выборке в 4700 ответов среднее осталось 3,44, а сдвиг над случайными 3,33 автор объясняет теми, кто везде жал вариант A.

Как включить SynthID у себя

SynthID Text живёт в Hugging Face Transformers с версии 4.46.0 (23.10.2024) и дообучения не требует. Создаёте `SynthIDTextWatermarkingConfig` с 20–30 случайными ключами и `ngram_len=5`, передаёте его в `model.generate` вместе с `do_sample=True`.

Обратная сторона дороже. Детектор `SynthIDTextWatermarkDetector` лежит рядом, но для обучения классификатора Hugging Face просит минимум 10 тысяч примеров, поровну с ватермарком и без.

Сам квиз воспроизводится целиком. В репозитории sgoedecke/watermark-quiz хватает `uv sync` и `uv run python generate_quiz.py`, скрипт делает 30 ответов моделью Qwen3-30B-A3B-Instruct-2507, по три на каждый из 10 вопросов, и ровно один помечает. Нужен GPU класса H100, около 61 GB под веса в BF16 плюс запас на батч. Автор гонял на арендованной H200 примерно за $2.

Качество текста не проседает. Google замерила это в бою: на 20 млн ответов Gemini разница в доле «палец вверх» между моделью с ватермарком и без составила 0,01%, а латентность у Gemma 7B-IT выросла на 0,57%.

Снимается такая метка перефразированием или заменой символов на Unicode-гомоглифы вроде U+2004.

Проверить текст на ватермарк без ключей и детектора вендора по-прежнему нельзя.