华为公开发表「国产Copilot内核」PanGu-Coder，而且真的能用中文哦

3. 实验结果

3.1 建模降解的通过率

建模的一次降解通过率（PASS@1）是示例词汇降解建模极为重要的能够衡幅度指标。PanGu-Coder换用了OpenAI发行的HumanEval以及谷歌发行的MBPP两个算子级示例降解执行的资料集作为该软件要能。

同上1说明了了HumanEval中所一个最简单的例子。PanGu-Coder降解的示例需通步骤序代码（Unit Tests）才被指出新降解正确。

同上1 HumanEval 示例

在HumanEval资料集上，与出新版界前头Codex（OpenAI）以及最主要AlphaCode（Google Deep Mind）、CodeGen（Saleforce）、 INCoder（Meta）等建模相比，PanGu-Coder在3亿和26亿建模上的一次通过率PASS@1均超越也就是说。

值得一提的是，3亿旋数的PanGu-Coder建模（PASS@1=17.07%）胜过了Codex (PASS@1=16.22%)相比之下7亿旋数的建模结果，大体上持平了谷歌10亿的建模（同上2）。在MBPP资料集上， 26亿旋数的建模胜过了META INCoder相比之下70亿旋数的建模效果（同上3）。另外，在专业训练的充分程度上，PanGu-Coder是所有建模中所所用资料幅度以及计算幅度最小（train tokens）的建模。

这一结果充分说明了PanGu-Coder资料集相结合手段和分前期专业训练所设计的合理性，并展现了换用这种方式也必须在算子级示例降解这一极为重要场景上超越出新版界也就是说。

同上2 PanGu-Coder在HumanEval上的一次通过率以及十次通过率

同上3 PanGu-Coder在MBPP上的一次通过率以及十次通过率

为实质性大大提高建模算子级示例降解的能够，PanGu-Coder收集了最主要CodeContest、CodeSearchNet、APPS在内的出新版界已引起争议的大规模算子级资料集对建模开展简化（Fine-tune），得到了PanGu-Coder-FT。实验结果同上明，简化建模在MBPP以及HumanEval上的同上现到了引人注意大大提高（同上4）。

同上4 PanGu-Coder: 3亿建模Fine-tune结果

确实编码步骤中所，上会在付诸一个算子在此之前，会预先所设计若干程序代码来测试算子付诸结果。在HumanEval 164个算子揭示中所，有130个解决办法揭示中所包含了默认的程序代码。

为证明基于程序代码的示例降解的有效性，PanGu-Coder在开展多次降解（200次）的情况下换用这些程序代码对降解的示例开展了漂白，并统计了漂白后示例的通过率。从最后结果可以看出新，能用程序代码对降解的示例开展漂白可以极大地大大提高通过率，其中所3亿的建模可以超越41.52%。

同上5 PanGu-Coder: 3亿建模程序代码漂白结果

3.2 工具箱内部测试

PanGu-Coder建模已集成到了升级版云的示例合作开发常规工具箱中所，可以在IDE中所换用文法揭示降解算子级的Python示例，或者根据上下文开展借助于。

如下是内部测试步骤中所产生的几个确实的例子。

1. 常见的资料形态算法

Input: 换用冒泡次序的方法对数组开展次序。

Output:

2. SQL查询功能

Input: 换用mysql, 从同上「AI research」的所有记事， 选择address为「Hong Kong Science Park」的记事，并说明了结果。

OutPut:

3. 换用机器求学工具箱创始文本分类器

Input: create a text binary sentiment classifier.

Output:

4. 高等数学题1: 不求无穷小

Input: Using sympy find the derivative of the function using the definition of the derivative.f(x)= (x**2-1)/(2*x-3).

Output:

5. 高等数学题2，不求概率分布

Input: One generates a number x from a uniform distribution on the interval [0, θ].One decides to test H0 : θ = 2 against HA : θ = 2 by rejecting H0 if x ≤ 0.1 or x ≥ 1.9.Using simulations, compute the probability of a type I error.

Output:

4. 展望

PanGu-Coder是基于升级版的预专业训练词汇建模PanGu-Alpha变迁而来的示例降解建模。它在建模专业训练的高效性以及算子级降解与借助于性能上均超越出新版界反超的水平。

PanGu-Coder早就集成在升级版云的示例合作开发常规工具箱中所，并正在内部测试。同时PanGu-Coder也在不断的渐进与变迁，以支持更多的编程词汇、提供者更多、加速的降解能够。

旋考资料：

[1] Christopoulou, Fenia, et al. "PanGu-Coder: Program Synthesis with Function-Level Language Modeling." arXiv preprint arXiv:2207.11280 (2022).

[2] Chen, Mark, et al. "Evaluating large language models trained on code." arXiv preprint arXiv:2107.03374 (2021).

[3] Li, Yujia, et al. "Competition-level code generation with AlphaCode." arXiv preprint arXiv:2203.07814 (2022).

[4] Nijkamp, Erik, et al. "A conversational paradigm for program synthesis." arXiv preprint arXiv:2203.13474 (2022).