3 октября 2026 г.
ИИ выбирает значок по описанию: API Cloudflare помогает найти место для клика
Разработчик связал вероятности из API Cloudflare с выбором значка по команде «нажми на монитор в строке меню».
ThePrimeagen
@theprimeagen
У меня, по сути, API принятия решений от Cloudflare помогает управлять компьютером. Я взял идею Noul, возвёл вероятности в определённые степени, а затем применил вероятностное центрирование. В результате получается клик по нужному значку. «Нажми на значок монитора в строке меню» даёт результат, который вы видите.
· 2,6 тыс. просмотров
3 октября разработчик ThePrimeagen описал приём для управления компьютером: преобразовать вероятности и по ним определить место клика.
Он использовал идею Noul, возвёл вероятности в степени и применил вероятностное центрирование. По его описанию, такой расчёт приводит к клику по нужному значку. Noul возвращает вероятность ответа true, а координаты разработчик получает уже своим приёмом.
Теперь со скриншотами. Раньше модель Cloudflare Jev классифицировала только текст. Выпущенная 1 октября Clef принимает изображения, поэтому ей можно передать снимок интерфейса вместе с вопросами. Это модель через API, которую нужно встроить в свою программу управления компьютером.
Как подключить Clef. В dashboard Cloudflare нужно открыть Workers AI → Use REST API → Create a Workers AI API Token и скопировать токен вместе с Account ID. Запрос отправляется через POST `/accounts/{ACCOUNT_ID}/ai/run/@cf/cloudflare/clef` с Bearer-токеном и полями `model`, `state`, `questions`. Документация содержит примеры curl, Python и Workers.
Скриншоты передаются прямо в запросе: Clef принимает до 4 изображений PNG, JPEG или WebP. Ссылки на удалённые изображения API не принимает.
Cloudflare также опубликовала веса Clef и Python-пример для локального запуска.
Первоисточник