17 ноября 2026 г.
GitHub Copilot Evals: скилл можно проверить до и после правок на 2 сохранённых запусках
GitHub Copilot Evals с 17 ноября доступен в публичном превью для проверки скиллов, ИИ-агентов и MCP tools.
Поменяли инструкцию для агента — результат можно сравнить с прежним на тех же сохранённых заданиях.
GitHub Copilot получил Evals в виде плагина для CLI и расширения для VS Code. Вы задаёте критерии успеха и сохраняете проверенные кейсы. До изменения скилла или агента выполняете исходный запуск, после изменения повторяете тест.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Сравнение результатов. В Evals Canvas можно сопоставить два сохранённых запуска, в том числе со скиллом и без него. Например, проверить, стал ли агент выполнять ваши требования после изменения инструкции.
Установка и запуск. Плагин доступен в официальном репозитории GitHub Evals. В Copilot CLI установка и первый тест выглядят так:
1. Добавьте каталог командой `copilot plugin marketplace add github/evals`. 2. Установите плагин: `copilot plugin install eval@github-copilot-evals`. 3. Включите экспериментальный режим: `/settings experimental on`. Он нужен для `/eval` и Evals Canvas. 4. Выполните `/eval create`, выберите skill, custom agent или MCP tool, опишите критерии успеха и сохраните проверенные кейсы. 5. Запустите `/eval run`, затем откройте результаты через `/eval review`. Справка доступна по `/eval help`.
Для VS Code установите расширение `GitHub.copilot-evals` от GitHub из Visual Studio Marketplace. Откройте локальный проект, подтвердите доверие папке, войдите в Copilot и выполните `GitHub Copilot Evals: Set up test runner`. Расширение работает на Windows, macOS и Linux, требуется VS Code 1.138.0 или новее.
Для установки нужны следующие зависимости:
- Node.js 24.0.0 для CLI Plugin или 22.14.0 для расширения VS Code. - `@microsoft/vally-cli` 0.19.0. - Copilot CLI 1.0.85 и Git 2.28.0 для непосредственного выполнения custom agents и MCP tools.
Для тестирования MCP поддерживается один локальный Node.js stdio server на запуск. Python-серверы и удалённые MCP-серверы в этот режим не входят.
Запуск теста или модели-оценщика может расходовать токены и кредиты. Evals показывает стоимость перед подтверждением.
Проверка файлов и сравнение сохранённых результатов не вызывают модели.
Первоисточник