Скрейпер уносит со страницы ложный текст: шрифт ShieldFont подменяет 24,5% слов

Так устроен ShieldFont — шрифт дизайнеров Исаке Сенеды и Габриэля Абручи. Подмену делают лигатуры на уровне глифов, и грамматика не ломается: существительное меняется на существительное, глагол на глагол, примерно по 250 смысловым пулам.

В среднем подменяется 24,5% всех слов страницы и 45,8% смысловых. Словарь текущей версии — 11 988 пар слов, авторы собирали его три месяца. Фильтр качества FineWeb-Edu отбраковывает 99,0–99,8% закодированных фрагментов: больше 90% защищённых страниц перестают проходить проверку.

Раньше текст портили подменой синонимов, и сборщик откатывал такую защиту простым правилом. По замерам авторов, ShieldFont бьёт синонимы в 15–27 раз. Обойти его можно: отрисовать страницу в браузере и прочитать картинку через OCR. Такая обработка стоит в 5–13 раз дороже обычного скачивания HTML.

Как поставить. На React и Next.js всё сводится к пакету `@shieldfont/react`: скопировать .woff2 в public/fonts и обернуть текст компонентом `<Shield as="p">`. Кодирует сборка, читаемый оригинал в браузер не уезжает.

Для блога или статики сборка не нужна. Хватает строки CSS с @import, прогона текста через энкодер на shieldfont.org/encoder и вставки готового абзаца в HTML. Для Word, Pages и PDF есть гарнитура ShieldFont Optik и тот же энкодер.

По-русски не работает. Шрифт подменяет только английские слова, русский текст проходит насквозь. Страница на русском выглядит защищённой и при этом отдаётся сборщику целиком. Портирование на другие языки авторы отдали контрибьюторам-лингвистам.