30 октября 2026 г.
Модель читает токены, а не буквы: Opus не смог написать flowerbed
Opus не смог записать по буквам слово flowerbed: текст модель видит кусками-токенами, а не отдельными символами. Байт-модели читают тот же текст по байтам, поэтому буквы для них различимы.
Opus не смог записать по буквам слово flowerbed: текст модель видит кусками-токенами, а не отдельными символами. Байт-модели читают тот же текст по байтам, поэтому буквы для них различимы.
Дальний план такой переделки - модели, которым токенизатор не нужен вовсе.
Первоисточник