GitHub Copilot Evals 公开预览:为技能、智能体与 MCP 工具提供可重复评测
GitHub 于 2026 年 11 月 17 日宣布 GitHub Copilot Evals 进入公开预览。该功能面向希望自行优化 Copilot 配置的用户,针对技能、智能体和 MCP 工具建立可重复的 AI 行为测试,并借助本地评测引擎 Vally 执行,帮助判断提示、模型、技能与工具变化后 Copilot 是否仍符合预期。
评测对象与核心思路
Copilot Evals 的定位是让用户为自己使用的 Copilot 做优化。GitHub 在说明中提出的问题是:当提示、模型、技能和工具不断变化时,用户是否还能从 Copilot 获得最佳效果。Evals 针对的正是用户配置中的技能、智能体和 MCP 工具,用户可创建评测、观察其行为,再依据结果决定改进方向。
所谓 eval,是一套可重复的 AI 行为测试:给智能体一个贴近真实的任务,描述什么样的结果算好,然后同时检查最终结果和智能体达成结果的路径。GitHub 强调,AI 输出每次运行都可能变化,因此单次得到好答案并不能说明某项定制对用户有效;在修改技能、智能体或 MCP 之后重跑同一评测,才能确认关心的行为是否保持、是否出现回归。
创建、运行与结果对比
用户可以用自己的话向 Copilot 描述需求,也可以使用 /eval 命令,为项目中的技能、自定义智能体或 MCP 工具创建评测。创建后可运行评测,查看哪些检查通过、哪些失败。GitHub 明确,每次运行开始前都需要用户批准。
评测结果不仅给出通过与否,还能帮助用户弄清某项检查失败的原因,进而决定在 Copilot 配置中改什么。对于定制改动,用户可对比改动前后的多次运行,判断这次调整是否真的带来改善。这一流程把“改完再试一次”变成可重复、可对照的验证过程。
评测引擎与安装入口
GitHub Copilot Evals 以 Vally 作为评测引擎,GitHub 将其描述为可扩展的本地评测工具。用户可在已经使用 Copilot 的环境中安装该功能,目前给出三个入口。
在 Visual Studio Code 中,可从 Visual Studio Marketplace 安装 GitHub Copilot Evals 扩展;在 Copilot CLI 中,按安装说明安装 GitHub Copilot Evals 插件;在 GitHub Copilot 应用中,打开 Customize,添加 github/evals 市场并安装 GitHub Copilot Evals 插件。
套餐范围与反馈渠道
该功能当前处于公开预览阶段,覆盖 Copilot Individual、Copilot Business 和 Copilot Enterprise 三类套餐。GitHub 建议用户查阅 GitHub Copilot Evals 文档了解更多,并可通过提交 issue 或在 GitHub Community 参与讨论的方式反馈意见。
原文未披露评测数量上限、单次运行成本或正式上线时间等细节,这些方面目前没有可引用的公开信息。
知序观察
观察:Copilot Evals 把评测从模型厂商侧下放到用户自己的配置层,针对技能、智能体和 MCP 这类高度个性化的扩展做回归验证,这与 Copilot 生态中定制项增多后的可维护性需求相呼应。其价值取决于用户是否愿意为定制维护测试集;公开预览阶段尚未披露成本与规模上限,实际采用节奏仍待观察。