我们如何利用 Copilot 加速机密保护工程
了解 Secret Protection 工程团队如何与 GitHub Copilot 编码代理合作,以扩大有效性检查覆盖范围。
不小心将密钥提交到源代码是每个开发者都害怕犯的错误——而且这种错误很容易发生。GitHub Secret Protection 正是为应对这种情况而设计的,它可以帮助团队在泄露的凭据造成损害之前将其捕获。
秘密保护的工作原理是针对代码中发现的敏感凭证创建警报,并且它提供了多种功能来帮助进一步减少泄露。
-
推送保护通过阻止任何包含敏感数据的提交,并确保凭据不会进入代码库,从而帮助防止泄露发生。
-
有效性检查通过指出哪些密钥处于活动状态且需要立即处理,帮助用户对警报进行分类。
-
合作伙伴计划允许服务提供商获悉特定类型令牌在公共存储库中泄露的情况。一旦检测到此类令牌泄露,服务提供商可以立即对泄露的密钥采取措施(例如立即撤销令牌、实施隔离策略、发出通知)。
-
Copilot 秘密扫描功能可以检测通用秘密,例如密码或连接字符串等可能与特定提供商无关的信息。
-
自定义模式允许您定义用于检测特定于您的项目或组织的秘密信息的表达式。
在 GitHub 工作期间,我和 Aaron 对有效性检查进行了大量的研究。它已成为我们产品的核心组成部分,许多用户每天都会依赖它来进行故障排查和修复工作流程。Secret Protection 通过将泄露的凭证与令牌提供商关联的非侵入式 API 端点进行测试来计算其有效性。
我们在 2023 年发布了这项功能,首先针对我们发现代码中泄露的最常见令牌类型(例如 AWS 密钥、GCP 凭证、Slack 令牌)添加了有效性检查支持。Secret Protection 的验证能力达到了约 80% 的新建警报验证率。虽然不太常见的令牌类型仍然(并将继续)很重要,但我们的团队调整了工作重点,以确保为客户带来最大价值。
2024年底至2025年初,我们逐渐见证了智能体人工智能的出现,编码代理也很快开始流行起来。今年早些时候,我们的团队聚在一起思考:我们能否成功地利用编码代理来弥补这一差距?
增强可重复的工作流程
为了找出自动化机会,我们首先仔细审视了现有流程,该流程旨在为新的令牌类型添加验证支持。这个基于框架的工作流程针对每种令牌类型都包含以下步骤:
-
我们对提供商进行了调查,以确定验证相关令牌的合适端点。
-
我们编写了代码(一个验证器)来实现这一改变。
-
我们对验证器进行了暗传,这样我们就可以根据发现的错误更新我们的实现。
-
我们通过移除 darkship 配置,完全发布了验证器。

该流程中的编码和发布部分(第二步和第四步)显然是自动化的首选。
上述第一步是找到合适的端点来验证新的令牌类型。我们通常会使用 /me现有的(或等效的)端点。有时这些端点确实存在,但它们隐藏在文档深处,不易查找。我们尝试将这项研究交给 Copilot,但它有时表现不佳。它无法可靠地找到工程师会选择的侵入性最小的端点。我们还发现,创建和测试实时令牌以及解读细微的 API 变更仍然是经验丰富的工程师最擅长的任务。
Copilot 在代码修改方面表现出色。人工驱动的研究任务的输出结果被导入到一个手动分发的 GitHub 工作流中,该工作流会创建一个详细的 issue,我们可以将其分配给编码代理。该 issue 提供了一个全面的提示,包括项目背景、API 文档链接以及各种示例。我们发现编码代理有时难以打开链接,因此我们添加了一个额外的字段,用于记录任何其他备注。

将问题分配给 Copilot 后,编码代理会自动生成拉取请求,立即将我们的研究和规划转化为可执行、可接收反馈的代码。我们对待代理生成的代码与团队编写的代码一视同仁:它经过自动化测试、人工审核,最终由工程师部署。GitHub 提供了一个简化的流程,方便我们向代理请求更改——只需在拉取请求中添加评论即可。代理并非完美无缺,它也确实犯了一些错误。例如,我们预期 Copilot 会遵循提示中的文档链接,并在实现更改时引用其中的信息,但实际上我们发现它有时会遗漏细节,或者没有按预期遵循文档。
我们的框架包含对验证器进行“暗船”操作的功能。也就是说,我们可以在不将有效性推断写入数据库的情况下观察新代码的运行结果。我们的工程师经常会遇到 API 文档与实际行为之间存在一些偏差的情况。这个阶段让我们能够安全地修复所有错误。当我们准备正式发布变更时,我们会请 Copilot 进行一个小的配置更改,将新的验证器从“暗船”模式中移除。
结果
在我们进行人工智能实验之前,进展虽然稳步但缓慢。我们当时正在验证 32 种合作伙伴代币类型。由于工程师们需要在日常功能开发和新增验证机制之间取得平衡,我们花了几个月的时间才达到这个目标。而借助 Copilot,我们仅用了几周时间就成功上线了近 90 种新的代币类型,这要归功于我们的工程实习生 @inshalak 和 @matthew-tzong 指导 Copilot 完成了整个流程。
编码代理是利用自动化加速框架驱动的可重复工作流程的可行方案。在我们的案例中,Copilot 确实起到了倍增器的作用。能够将 N 个研究任务的输出并行分配给 N 个代理,这意义重大。Copilot 提供了速度和规模优势,但它无法取代人类的工程判断。务必审查、测试和验证它生成的代码。我们通过将 Copilot 集成到该框架的特定部分而取得了成功。
要点和提示
我们使用 Copilot 编码代理的实验取得了显著成效:我们大幅提升了对标记类型的覆盖率,并行化了工作流程中最耗时的部分,并使工程师能够专注于更细致的研究和审查阶段。Copilot 并不能取代深思熟虑的工程设计,但它确实成为了框架驱动型、可重复性工程任务的强大助手。
我们在此过程中学到了一些东西:
-
自动化增强了可重复性:如果你的流程步骤明确,编码代理可以帮助你扩大工作规模并倍增影响。
-
将 Copilot 视为团队成员:它的贡献需要像任何人类编写的代码一样,经过仔细审查、测试和反馈。
-
及时提供高质量信息可带来成果:详细、示例丰富的提示(有时还有额外的注释)帮助 Copilot 交付了更高质量的拉取请求。
-
不断迭代你的流程:提示信息通常需要改进,工作流程也受益于一些小的调整,因为我们从中了解到什么才是最有效的。
-
并行化是一项超能力:通过正确的设置,我们可以同时分配多个任务,并解除原本会积压在单个工程师身后的工作。
我们认为,在存在可重复性工程任务的领域,编码代理具有巨大的潜力。我们正在项目中的其他入职流程中尝试类似的方法。我们相信,业内许多其他团队和项目也拥有类似的框架驱动型工作流程,这些流程非常适合采用这种自动化方式。
如果你想在自己的工作流程中引入自动化,那就利用已经可重复的环节,投资于好的提示,并始终将协作和审查放在中心位置。