AI 编程开发

GitHub Copilot Evals 公开预览:为技能、智能体与 MCP 工具提供可重复评测

GitHub 于 2026 年 11 月 17 日宣布 GitHub Copilot Evals 进入公开预览。该功能面向希望自行优化 Copilot 配置的用户,针对技能、智能体和 MCP 工具建立可重复的 AI 行为测试,并借助本地评测引擎 Vally 执行,帮助判断提示、模型、技能与工具变化后 Copilot 是否仍符合预期。

评测对象与核心思路

Copilot Evals 的定位是让用户为自己使用的 Copilot 做优化。GitHub 在说明中提出的问题是:当提示、模型、技能和工具不断变化时,用户是否还能从 Copilot 获得最佳效果。Evals 针对的正是用户配置中的技能、智能体和 MCP 工具,用户可创建评测、观察其行为,再依据结果决定改进方向。

所谓 eval,是一套可重复的 AI 行为测试:给智能体一个贴近真实的任务,描述什么样的结果算好,然后同时检查最终结果和智能体达成结果的路径。GitHub 强调,AI 输出每次运行都可能变化,因此单次得到好答案并不能说明某项定制对用户有效;在修改技能、智能体或 MCP 之后重跑同一评测,才能确认关心的行为是否保持、是否出现回归。

创建、运行与结果对比

用户可以用自己的话向 Copilot 描述需求,也可以使用 /eval 命令,为项目中的技能、自定义智能体或 MCP 工具创建评测。创建后可运行评测,查看哪些检查通过、哪些失败。GitHub 明确,每次运行开始前都需要用户批准。

评测结果不仅给出通过与否,还能帮助用户弄清某项检查失败的原因,进而决定在 Copilot 配置中改什么。对于定制改动,用户可对比改动前后的多次运行,判断这次调整是否真的带来改善。这一流程把“改完再试一次”变成可重复、可对照的验证过程。

评测引擎与安装入口

GitHub Copilot Evals 以 Vally 作为评测引擎,GitHub 将其描述为可扩展的本地评测工具。用户可在已经使用 Copilot 的环境中安装该功能,目前给出三个入口。

在 Visual Studio Code 中,可从 Visual Studio Marketplace 安装 GitHub Copilot Evals 扩展;在 Copilot CLI 中,按安装说明安装 GitHub Copilot Evals 插件;在 GitHub Copilot 应用中,打开 Customize,添加 github/evals 市场并安装 GitHub Copilot Evals 插件。

套餐范围与反馈渠道

该功能当前处于公开预览阶段,覆盖 Copilot Individual、Copilot Business 和 Copilot Enterprise 三类套餐。GitHub 建议用户查阅 GitHub Copilot Evals 文档了解更多,并可通过提交 issue 或在 GitHub Community 参与讨论的方式反馈意见。

原文未披露评测数量上限、单次运行成本或正式上线时间等细节,这些方面目前没有可引用的公开信息。

知序观察

观察:Copilot Evals 把评测从模型厂商侧下放到用户自己的配置层,针对技能、智能体和 MCP 这类高度个性化的扩展做回归验证,这与 Copilot 生态中定制项增多后的可维护性需求相呼应。其价值取决于用户是否愿意为定制维护测试集;公开预览阶段尚未披露成本与规模上限,实际采用节奏仍待观察。

留下你的想法

欢迎交流。你的邮箱地址不会公开。