大模型一对一战斗 75 万轮，GPT-4 夺冠，Llama 3 位列第五

关于 Llama 3，又有测试结果新鲜出炉 —— 大模型评测社区 LMSYS 发布了一份大模型排行榜单，Llama 3 位列第五，英文单项与 GPT-4 并列第一。

不同于其他 Benchmark，这份榜单的依据是模型一对一 battle，由全网测评者自行命题并打分。

最终，Llama 3 取得了榜单中的第五名，排在前面的是 GPT-4 的三个不同版本，以及 Claude 3 超大杯 Opus。

而在英文单项榜单中，Llama 3 反超了 Claude，与 GPT-4 打成了平手。对于这一结果，Meta 的首席科学家 LeCun 十分高兴，转发了推文并留下了一个“Nice”。

PyTorch 之父 Soumith Chintala 也激动地表示，这样的成果令人难以置信，对 Meta 感到骄傲。

Llama 3 的 400B 版本还没出来，单靠 70B 参数就获得了第五名……
我还记得去年三月 GPT-4 发布的时候，达到与之相同的表现几乎是一件不可能的事。
……
现在 AI 的普及化实在是令人难以置信，我对 Meta AI 的同仁们做出这样的成功感到非常骄傲。

那么，这份榜单具体展示了什么样的结果呢？

近 90 个模型对战 75 万轮

截至最新榜单发布，LMSYS 共收集了近 75 万次大模型 solo 对战结果，涉及的模型达到了 89 款。

其中，Llama 3 参与过的有 1.27 万次，GPT-4 则有多个不同版本，最多的参与了 6.8 万次。

下面这张图展示了部分热门模型的比拼次数和胜率，图中的两项指标都没有统计平局的次数。

榜单方面，LMSYS 分成了总榜和多个子榜单，GPT-4-Turbo 位列第一，与之并列的是早一些的 1106 版本，以及 Claude 3 超大杯 Opus。

另一个版本（0125）的 GPT-4 则位列其后，紧接着就是 Llama 3 了。不过比较有意思的是，较新一些的 0125，表现还不如老版本 1106。

而在英文单项榜单中，Llama 3 的成绩直接和两款 GPT-4 打成了平手，还反超了 0125 版本。

中文能力排行榜的第一名则由 Claude 3 Opus 和 GPT-4-1106 共享，Llama 3 则已经排到了 20 名开外。

除了语言能力之外，榜单中还设置了长文本和代码能力排名，Llama 3 也都名列前茅。不过，LMSYS 的“游戏规则”又具体是什么样的呢？

这是一个人人都可以参与的大模型测试，题目和评价标准，都由参与者自行决定。而具体的“竞技”过程，又分成了 battle 和 side-by-side 两种模式。

battle 模式下，在测试界面输入好问题之后，系统会随机调用库中的两个模型，而测试者并不知道系统到底抽中了谁，界面中只显示“模型 A”和“模型 B”。

在模型输出答案后，测评人需要选择哪个更好，或者是平手，当然如果模型的表现都不符合预期，也有相应的选项。

只有在做出选择之后，模型的身份才会被揭开。side-by-side 则是由用户选择指定的模型来 PK，其余测试流程与 battle 模式相同

不过，只有 battle 的匿名模式下的投票结果才会被统计，且在对话过程中模型不小心暴露身份就会导致结果失效。

按照各个模型对其他模型的 Win Rate，可以绘制出这样的图像：

△ 示意图，较早版本

而最终的排行榜，是利用 Win Rate 数据，通过 Elo 评价系统换算成分数得到的。

Elo 评价系统是一种计算玩家相对技能水平的方法，由美国物理学教授 Arpad Elo 设计。

具体到 LMSYS，在初始条件下，所有模型的评分（R）都被设定为 1000，然后根据这样的公式计算出期待胜率（E）。

随着测试的不断进行，会根据实际得分（S）对评分进行修正，S 有 1、0 和 0.5 三种取值，分别对应获胜、失败和平手三种情况。

修正算法如下式所示，其中 K 为系数，需要测试者根据实际情况调整。

最终将所有有效数据纳入计算后，就得到了模型的 Elo 评分。

不过实际操作过程中，LMSYS 团队发现这种算法的稳定性存在不足，于是又采用了统计学方法进行了修正。

他们利用 Bootstrap 方法进行重复采样，得到了更稳定的结果，并估计了置信度区间。

最终修正后的 Elo 评分，就成了榜单中的排列依据。

Llama 3 已经可以在大模型推理平台 Groq（不是马斯克的 Grok）上跑了。

这个平台的最大亮点就是“快”，之前用 Mixtral 模型跑出过每秒近 500 token 的速度。

跑起 Llama 3，也是相当迅速，实测 70B 可以跑到每秒约 300 Token，8B 版本更是接近了 800。

参考链接：

本文来自微信公众号：量子位（ID：QbitAI），作者：克雷西

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。