我们与埃森哲的开发人员进行了研究，以了解 GitHub Copilot 在企业组织中的实际影响。
自 GitHub Copilot 上市以来，我们开展了多项实验室研究，旨在探索其对开发者效率、满意度和整体代码质量的影响。研究发现，我们的 AI 结对编程工具能够帮助开发者将编码速度提升高达55%，并使85% 的开发者对自己的代码质量更有信心。随着我们在 2023 年推出首个面向企业和组织的 GitHub Copilot 产品（以及最近推出的GitHub Copilot Enterprise），衡量 GitHub Copilot 在真实大型工程组织中的影响变得愈发重要。
为了更深入地了解情况，我们与埃森哲合作，研究开发人员如何将 GitHub Copilot 集成到他们的日常工作流程中，我们发现多个方面都有显著改进，包括：
- 开发者满意度提升。90 % 的开发者在使用 GitHub Copilot 后表示工作更有成就感，95% 的开发者表示在 Copilot 的帮助下，他们更享受编码的过程。
- GitHub Copilot迅速被开发者接受。超过 80% 的埃森哲参与者成功采用了 GitHub Copilot，初始用户的成功率高达 96%。43% 的用户认为它“极其易用”。此外，67% 的参与者每周至少使用 5 天 GitHub Copilot，平均每周使用 3.4 天。
方法论
在本研究中，我们与埃森哲合作开展了一项大规模的随机对照试验（RCT）。参与者包括日常从事各种软件开发任务的开发人员，这些任务涵盖工程、设计和测试等多个方面，涉及各类软件产品和服务。他们在各自组织中担任不同的职位，从入门级职位到团队管理职位不等，并且根据项目和团队的具体情况，他们可能以协作或独立的方式工作。
在本次试验中，开发人员被随机分为两组。一组开发人员可以使用 GitHub Copilot，而另一组则不能。我们的目标是评估 GitHub Copilot 对企业环境中开发人员体验的影响，在企业环境中，开发人员需要协作完成多方面的项目。我们收集了 DevOps 遥测数据，分析了多个输出性能指标，这些指标反映了开发人员的日常编码活动。
除了最初的实验之外，我们还进行了全公司范围的采用率分析，考察了安装率、生成的代码接受率以及开发者接受 GitHub Copilot 首个代码建议所需的时间。成功与否取决于他们是否接受了 GitHub Copilot 的建议。
此外，我们还对埃森哲的 GitHub Copilot 用户进行了调查，以更好地了解开发人员如何看待 GitHub Copilot 对其工作流程的影响。这项调查不仅揭示了开发人员使用 GitHub Copilot 的方式和时间，还表明开发人员的满意度得到了显著提升，而我们知道，开发人员满意度是开发人员体验 (DevEx)的关键组成部分。遥测数据和调查信息的结合，使我们能够全面了解 GitHub Copilot 在企业层面的影响。
我们的研究结果
开发者很快发现了 GitHub Copilot 的价值，并将其纳入了日常工具包中。
目前已有超过 5 万家组织采用了 GitHub Copilot，但我们尚不清楚这些采用率在个人层面上的具体情况。当我们深入分析埃森哲开发人员使用 GitHub Copilot 的模式时，67% 的受访者表示每周至少使用 5 天，平均每周使用 3.4 天。此外，高达 70% 的受访者使用 GitHub Copilot 来执行他们熟悉的编程语言的编码任务。这表明 GitHub Copilot 已高度融入开发人员的日常工作流程，凸显了其作为一款重要的工程工具和资源的价值。
我们还观察到，开发者们对使用 GitHub Copilot 非常感兴趣。81.4 % 的开发者在收到许可证的当天就安装了 GitHub Copilot IDE 扩展。他们不仅乐于使用，而且入门也非常简单，没有任何门槛。
事实上，96% 安装了 IDE 扩展的用户在当天就开始接收并接受建议。平均而言，开发者从看到第一个建议到接受另一个建议仅需一分钟。用户调查进一步证实了这一点，43% 的用户认为 GitHub Copilot “极其易用”，51% 的用户认为它“极其有用”。
作为 GitHub Copilot 服务的一部分，我们为客户提供衡量指标的功能，以便他们自行评估 Copilot 带来的收益。为了生成本报告中的许多洞察，我们利用了 GitHub 和 Azure DevOps 提供的公共 API。其中，GitHub 提供了GitHub Copilot Metrics API，旨在为用户提供有关组织内 Copilot 使用情况的信息。您还可以探索Copilot 学习路径，了解 GitHub Copilot 如何帮助您的企业实现更多目标。继续阅读，了解更多关于如何开展您自己的 GitHub Copilot 影响研究的信息。
开发者使用 GitHub Copilot 提高了代码质量
按照惯例，拉取请求代表可部署的代码变更（例如，新功能、错误修复或代码重构）。从总体上看，每位开发人员的拉取请求数量可以用来衡量团队的吞吐量或速度。最终，拉取请求数量的增加代表交付价值的增加，埃森哲的开发人员的拉取请求数量增加了 8.69%。由于每个拉取请求都必须经过代码审查，因此拉取请求合并率是衡量代码质量的绝佳指标，可以从维护者或同事的角度进行评估。埃森哲的拉取请求合并率提高了 15%，这意味着随着拉取请求数量的增加，通过代码审查的拉取请求数量也随之增加。
但我们不想只是把问题往下游转移，也不想让系统被低质量代码拖垮。团队成员评估代码质量是一回事，而新代码能够成功通过持续集成（CI）运行，并在测试自动化过程中根据确定性指标评估代码质量，则是另一回事。在埃森哲，我们发现成功构建次数增加了 84%，这不仅表明通过系统的拉取请求数量更多，而且根据人工审核和测试自动化的评估，这些请求的质量也更高。
GitHub Copilot 让开发者能够保持专注并流畅工作，从而在不牺牲质量的前提下提升速度。我们的研究结果也证实了这一点。
在我们的研究中，开发者采纳了 GitHub Copilot 约 30% 的建议。90 % 的开发者表示他们提交了 GitHub Copilot 建议的代码，而91% 的开发者表示他们的团队合并了包含 GitHub Copilot 建议代码的拉取请求。分析还显示，采纳的代码使用率很高——例如，开发者在编辑器中保留了 88% 的 GitHub Copilot 生成的字符。
通过提高构建成功率，开发人员可以降低出错的可能性。
GitHub Copilot 提升了整体开发者体验
我们对埃森哲开发人员进行的调查揭示了令人信服的结果，表明 GitHub Copilot 显著提升了开发人员的整体满意度。高达90% 的开发人员表示，使用 GitHub Copilot 后，他们对自己的工作更有成就感；更惊人的是，95% 的开发人员表示，利用 GitHub Copilot 的功能后，他们更享受编码的过程。
工作满意度的提升可以让开发者将精力集中在他们最感兴趣的任务上，例如解决方案设计或团队协作。此外，我们的分析表明，开发者满意度的提升与他们使用 GitHub Copilot 的程度直接相关。每周使用 GitHub Copilot 少于两天时，满意度仅略有提升；但每周使用超过两天时，满意度则显著提升。
70% 的开发者表示，使用 GitHub Copilot 后，他们在重复性任务上花费的脑力显著减少，54% 的开发者表示，他们查找信息或示例的时间也减少了。认知负荷的降低使开发者能够更有效地分配认知资源，从而减少倦怠。GitHub Copilot 还帮助开发者保持专注，大多数开发者表示，他们在使用该工具时能够保持心流状态，这是优秀开发者体验 (DevEx) 的标志。这些影响远不止于任务优化，它还能最大限度地利用开发者资源，并营造有利于创新和发展的良好环境，从而为企业带来竞争优势。
在对 GitHub Copilot 的影响进行了多次实验室研究之后，我们现在正在努力了解 GitHub Copilot 如何影响开发人员在真实环境中的工作日——而这得益于我们在企业和公司组织中看到的巨大采用。
通过这项研究，我们发现了令人信服的证据，表明 GitHub Copilot 能够显著提升开发者在实际企业环境中的体验、满意度和整体工作成就感。借助 GitHub Copilot，开发者可以增强自身技能，更熟练地掌握组织的代码库，最终提高团队的贡献水平，同时又不牺牲代码质量。
