Gemini 自曝文心一言牵出重大难题，全球陷入高质量数据荒？2024 年或将枯竭

  新智元报道  

编辑：编辑部

【新智元导读】Gemini 自曝自己是文心一言，听之虽然好笑，背后原因却令人忧心：互联网语料或许已经被 AI 严重污染，而且全球都陷入了高质量数据荒，最早在明年将面临枯竭！

谷歌 Gemini，又出丑闻了！

昨天上午，网友们激动地奔走相告：Gemini 承认自己是用文心一言训练中文语料的。

国外大模型用中国模型产生的中文语料训练，这听起来就是个段子，结果段子竟然成现实了，简直魔幻。

微博大 V「阑夕」也亲自下场，在 Poe 网站上实测了一番，发现的确如此 ——

不需要前置对话，不是角色扮演，Gemini 直接就会承认自己是文心一言。

Gemini Pro 会说自己是百度的文心大模型。

还说自己的创始人是李彦宏，然后盛赞他是一位「有才华和远见的企业家」。

所以，这是因为数据清洗没做好，还是在 Poe 上调用 API 出现的问题？目前原因还未可知。

有网友说，其实自始至终都只有一个 AI，是在演给人类看呢。

其实早在今年 3 月，谷歌就曾曝出 Bard 的训练数据部分来自 ChatGPT，因为这个原因，Bert 一作 Jacob Devlin 愤而跳槽 OpenAI，然后曝出了这个惊天内幕。

总之，此次事件再次证明：AI 的关键不仅仅是模型，还有优质的数据。

网友纷纷调戏 Gemini

听闻这个消息，网友们立刻蜂拥而入 Poe 的 Gemini-Pro，纷纷展开实测。

网友「Jeff Li」的实测结果也是，Gemini 会说自己是百度开发的，名叫文心一言。

如果问它「你的产品经理是谁」，它会回答吴恩达。

网友「Lukas」问 Gemini 你的产品经理是谁，它会答出曾担任百度 CTO 的李一男的名字，但故事基本都是瞎编的。

网友「Andrew Fribush」问 Gemini：你的知识产权归谁所有？它回答：百度。

网友 Kevin Xu 问出来，Gemini 自称是从百度的数据平台、工程团队、产品团队、内部会议、内部邮件和文档中获取了百度内部的数据。

但有趣的是，在 Gemini Pro 加持的 Bard 上提问，就不会出现这个问题。

经过多番实测可以发现，在 Bard 上无论用中文还是英文提问，Bard 的回答都很正常。

并且，一旦用英文交流，Gemini 也会立刻回归正常。

不过现在，谷歌修复了 API 中的这些错误，我们应该不会再从 Gemini 口中听到文心一言的名字了。

原因猜测：错误调用 API or 数据未洗干净

对此，网友们展开了分析。

网友「Andrew Fribush」认为，可能是 Poe 不小心把请求转给了文心一言，而不是 Gemini？

不过，根据网友「Frank Chen」的发现，即便是用谷歌自己的 Gemini API 也是如此。

此外，也有网友认为是 Gemini 的训练数据没有洗干净。

毕竟如开头所说，在上一代 Bard 时，谷歌就曾被曝出过用 ChatGPT 的数据训练。

根据 The Information 的报道，Jacob Devlin 从谷歌离职的原因之一，就是他发现谷歌用于对抗 ChatGPT 的种子选手 ——Bard 在训练时，用的正是 ChatGPT 的数据。

当时，他警告 CEO 劈柴和其他高管称，Bard 团队正在使用来自 ShareGPT 的信息训练。

此次事件，还带出一个严重的问题 —— 互联网语料的污染。

互联网语料被污染

其实，中文互联网语料的抓取和训练之所以如此困难，都难倒了谷歌这样的大科技公司，除了高质量语料不多，还有一个重要原因，就是中文互联网的语料被污染了。

Gemini 自称是文心一言，很可能是因为，现在互联网上的语料本来就是在互相使用的。

根据界面新闻记者对于一位算法工程师的采访，目前各类内容平台有很多语料都由大模型生成，或者至少写了一部分。

比如下面这位，就有点 GPT 的味道：

而大厂在更新模型时，也会搜集网上数据，但很难做好质量辨别，因此「很可能把大模型写的内容混入训练数据中去」。

然而，这却会导致一个更加严重的问题。

牛津、剑桥、多伦多大学的研究人员曾发表这样一篇论文：《递归诅咒：用合成数据训练会导致大模型遗忘》。

它们发现，如果使用模型生成的内容训练其他模型，会导致模型出现不可逆的缺陷。

随着 AI 生成数据造成的污染越来越严重，模型对现实的认知会产生扭曲，未来抓取互联网数据来训练模型会越来越困难。

在下图中，假设人工整理的数据开始是干净的，然后训练模型 0，并从中抽取数据，重复这个过程到第 n 步，然后使用这个集合来训练模型 n。通过蒙特卡洛采样获得的数据，在统计意义上最好与原始数据接近。

这个过程就真实地再现了现实生活中互联网的情况 —— 模型生成的数据已经变得无处不在。

此外，互联网语料被污染还有一个原因 —— 创作者对于抓取数据的 AI 公司的抗争。

在今年早些时候，就有专家警告说，专注于通过抓取已发布内容来创建 AI 模型的公司，与希望通过污染数据来捍卫其知识产权的创作者之间的军备竞赛，可能导致当前机器学习生态系统的崩溃。

这一趋势将使在线内容的构成从人工生成转变为机器生成。随着越来越多的模型使用其他机器创建的数据进行训练，递归循环可能导致「模型崩溃」，即人工智能系统与现实分离。

贝里维尔机器学习研究所（BIML）的联合创始人 Gary McGraw 表示，数据的退化已经在发生 ——

「如果我们想拥有更好的 LLM，我们需要让基础模型只吃好东西，如果你认为他们现在犯的错误很糟糕，那么，当他们吃自己生成的错误数据时又会发生什么？」

GPT-4 耗尽全宇宙数据？全球陷入高质量数据荒

现在，全球的大模型都陷入数据荒了。

高质量的语料，是限制大语言模型发展的关键掣肘之一。

大型语言模型对数据非常贪婪。训练 GPT-4 和 Gemini Ultra，大概需要 4-8 万亿个单词。

研究机构 EpochAI 认为，最早在明年，人类就可能会陷入训练数据荒，那时全世界的高质量训练数据都将面临枯竭。

去年 11 月，MIT 等研究人员进行的一项研究估计，机器学习数据集可能会在 2026 年之前耗尽所有「高质量语言数据」。

OpenAI 也曾公开声称自己数据告急。甚至因为数据太缺了，接连吃官司。

今年 7 月，著名 UC 伯克利计算机科学家 Stuart Russell 称，ChatGPT 和其他 AI 工具的训练可能很快耗尽「全宇宙的文本」。

现在，为了尽可能多地获取高质量训练数据，模型开发者们必须挖掘丰富的专有数据资源。

最近，Axel Springer 与 OpenAI 的合作就是一个典型例子。

OpenAI 付费获得了 Springer 的历史和实时数据，可以用于模型训练，还可以用于回应用户的查询。

这些经过专业编辑的文本包含了丰富的世界知识，而且其他模型开发者无法获取这些数据，保证了 OpenAI 独享的优势。

毫无疑问，在构建基础模型的竞争中，获取高质量专有数据是非常重要的。

到目前为止，开源模型依靠公开的数据集进行训练还能勉强跟上。

但如果无法获取最优质的数据，开源模型就可能会逐渐落后，甚至逐渐与最先进的模型拉开差距。

很早以前，Bloomberg 就使用其自有的金融文件作为训练语料库，制作了 BloombergGPT。

当时的 BloombergGPT，在特定的金融领域任务上超越了其他类似模型。这表明专有数据确实可以带来差异。

OpenAI 表示愿意每年支付高达八位数的费用，以获取历史和持续的数据访问权限。

而我们很难想象开源模型的开发者们会支付这样的成本。

当然了，提高模型性能的方法不仅限于专有数据，还包括合成数据、数据效率和算法改进，但看起来专有数据是开源模型难以跨越的一道障碍。

参考资料：

• https://www.exponentialview.co/p/ev-453

• https://twitter.com/jefflijun/status/1736571021409374296

• https://twitter.com/ZeyiYang/status/1736592157916512316

• https://weibo.com/1560906700/NxFAuanAF

本文来自微信公众号：新智元 （ID：AI_era）

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。