Скриншот интерфейса модель не убеждает: на кнопке-призраке она верит коду в 99% случаев

Ставка на скриншот вместо текстового дерева интерфейса упирается ровно в это. Модель смотрит на картинку, а действует по структуре, и один промах на первом шаге хоронит всю многошаговую задачу в 97–100% случаев (arXiv 2607.04334, 18.07.2026).

Замер спора. Zhang с соавторами прогнали 735 проб на 38 живых сайтах и нашли 225 мест, где картинка расходится со структурой. По одной картинке модели отвечают верно в 85–93% случаев.

При конфликте картинки и кода они идут за кодом в 41–79% случаев. Люди в том же тесте верят коду в 3%. На протухших данных послушание структуре держится на 38–88%.

Как включить картинку. Playwright MCP по умолчанию работает на текстовом снапшоте доступности. Один флаг в конфиге открывает клики по координатам со скриншота: «@playwright/mcp@latest», «--caps=vision».

Chrome DevTools MCP держит оба входа, но кликать по скриншоту там нечем — uid элемента для click и fill приходит только из снапшота, и доки просят предпочитать снапшот. Ставится он одной записью в mcp.json через npx chrome-devtools-mcp@latest.

Цена картинки. Один кадр съедает примерно 1000–1800 входных токенов, и в длинных прогонах кадры копятся (доки Anthropic, 04.09.2026). Разрешение просят держать на 1280×720 для десктопа и 1366×768 для веб-приложений, выше 1920×1080 не подавать.

Текстовое дерево тоже не бесплатное. A11y-Compressor на 358 задачах OSWorld сжал наблюдение до 22% токенов сырого дерева и поднял долю решённых задач на 5,1 процентного пункта (ACL SRW, 01.05.2026). Почти четыре пятых дерева оказались лишними.

Доки Playwright называют показания к скриншотам прямо: canvas и WebGL, карты, редакторы изображений, графики и кастомные виджеты без ARIA. На обычном вебе дефолтный снапшот надёжнее и дешевле по токенам.

Скриншотный режим в Playwright MCP так и остаётся флагом --caps=vision, а не настройкой по умолчанию.