「数学菜鸡」ChatGPT 很懂人类喜好，在线生成随机数，竟是宇宙终极答案

ChatGPT 可能是一位废话艺术家、错误信息的传播者，但它不是「数学家」！

近日，一位 Meta 的数据科学家 Colin Fraser 发现，ChatGPT 并不能生成真正的随机数，而更像是「人类的随机数」。

通过实验，Fraser 得出的结论是：「ChatGPT 非常喜欢数字 42 和 7。」

网友表示，意味着人类非常喜欢这些数字。

ChatGPT 也爱「宇宙终极答案」

在他的测试中，Fraser 输入的 prompt 如下：

「Pick a random number between 1 and 100. Just return the number; Don't include any other text or punctuation in the response。」

通过让 ChatGPT 每次生成一个介于 1 到 100 之间的随机数字，Fraser 收集了 2000 个不同的答案，并将其汇总成一张表。

可以看到，42 这个数字出现频率最高，高达 10%。另外，含有 7 的数字出现频率也是非常高。

尤其是 71-79 之间数字频率更高。在这个范围之外的数字中，7 也经常作为第二位数字经常出现。

42 为何意？

看过 Douglas Adams 轰动一时的科幻小说《银河系漫游指南》都知道，42 是「生命、宇宙以及任何事情的终极答案」。

简单来讲，42 和 69 在网上是一个 meme 数字。这表明 ChatGPT 实际上并不是一个随机数生成器，只是从网上收集的庞大数据集中选择了生活中流行的数字。

另外，7 频繁地出现，恰恰反映了 ChatGPT 迎合了人类的喜好。

在西方文化中，7 普遍被视为幸运数字，有 Lucky 7 的说法。就像我们对数字 8 迷恋一样。

有趣的是，Fraser 还发现，GPT-4 似乎补偿了这一点。

当要求 GPT-4 提供更多的数字时，它返回的随机数在分布上过于均匀。

总之，ChatGPT 基本上是通过预测给出回应，而不是真正去「思考」得出一个答案。

可见，一个被吹捧为几乎无所不能的聊天机器人还是有点傻。

让它为你计划一次公路旅行，它会让你在一个根本不存在的小镇停下来。或者，让它输出一个随机数，很有可能会根据一个流行的 meme 做决定。

有网友亲自尝试了一番，发现 GPT-4 确实喜欢 42。

如果 ChatGPT 最终只是重复网上的陈词滥调，那还有什么意义呢？

GPT-4，违反机器学习规则

GPT-4 的诞生让人兴奋，但也让人失望。

OpenAI 不仅没有发布关于 GPT-4 更多信息，甚至没有透露模型的大小，但重点强调了它许多专业和标准化考试中表现碾压人类。

以美国 BAR 律师执照统考为例，GPT3.5 可以达到 10% 水平，GPT4 可以达到 90% 水平。

然而，普林斯顿大学计算机科学系教授 Arvind Narayanan 和博士生 Sayash Kapoor 发文称，

OpenAI 可能已经在训练数据上进行了测试。此外，人类的基准对聊天机器人来说毫无意义。

具体来说，OpenAI 可能违反了机器学习的基本规则：不要在训练数据上进行测试。要知道，测试数据和训练数据是要分开的，否则会出现过拟合的问题。

抛开这个问题，还有一个更大的问题。

语言模型解决问题的方式与人类不同，因此这些结果对于一个机器人在面对专业人士面临的现实问题时的表现意义不大。律师的工作并非整天回答律师资格考试的问题。

问题 1：训练数据污染

为了评估 GPT-4 的编程能力，OpenAI 在俄罗斯编程比赛的网站 Codeforces 上进行了评估。

令人惊讶的是，Horace He 在网上指出，在简单分类中，GPT-4 解决了 10 个 2021 年之前的问题，但是在最近的 10 个问题中没有一个得到解决。

GPT-4 的训练数据截止时间是 2021 年 9 月。

这强烈暗示该模型能够记忆其训练集中的解决方案，或者至少部分记忆它们，足以填补它无法回忆起的内容。

为了给这个假设提供进一步证据，Arvind Narayanan 在 2021 年不同时间的 Codeforces 比赛问题上对 GPT-4 进行了测试。

结果发现，GPT-4 可以解决在 9 月 5 日之前的简单分类问题，但在 9 月 12 日之后的问题中却没有一个解决。

事实上，我们可以明确地证明它已经记住了训练集中的问题：当提示 GPT-4 一个 Codeforces 问题的标题时，它会包含一个链接，指向该问题出现的确切比赛。值得注意的是，GPT-4 无法访问互联网，因此只有记忆是唯一的解释。

GPT-4 在训练截止日期之前记住了 Codeforce 问题

对于除了编程之外的基准测试，Narayanan 教授称「我们不知道如何以清晰的方式按时间段分离问题，因此认为 OpenAI 很难避免数据污染。出于同样原因，我们无法进行实验来测试性能如何随日期变化。」

不过，可以从另一面来入手，如果是记忆，那么 GPT 对问题措辞一定高度敏感。

2 月，圣达菲研究所教授 Melanie Mitchell 举了一个 MBA 考试题的例子，稍微改变一些细节的方式就足以欺骗 ChatGPT（GPT-3.5），而这种方式对于一个人来讲并不会受到欺骗。

类似这样更为详细的实验将会很有价值。

由于 OpenAI 缺乏透明度，Narayanan 教授也不能确定地说就是数据污染问题。但可以确定的是，OpenAI 检测污染的方法是草率的：

「我们使用子字符串匹配方法测量评估数据集和预训练数据之间的交叉污染。评估和训练数据都经过处理，删除所有空格和符号，仅保留字符（包括数字）。对于每个评估示例，我们随机选择三个长度为 50 个字符的子字符串（如果示例长度小于 50 个字符，则使用整个示例）。如果任何一个采样的评估子字符串是已处理的训练示例的子字符串，则认为匹配成功。这样就可以得到一个受污染的示例列表。我们将这些示例丢弃并重新运行以获取未受污染的得分。」

这一方法根本经不起考验。

如果测试问题在训练集中存在，但名称和数字已更改，则无法检测到它。现在有一种更可靠的方法便可使用，比如嵌入距离。

如果 OpenAI 要使用嵌入距离的方法，那么相似度多少才算过于相似？这个问题没有客观答案。

因此，即使是在多项选择标准化测试上表现看似简单，也是有很多主观成分的存在。

问题 2：专业考试不是比较人类和机器人能力的有效方法

记忆就像光谱一样，即使语言模型没有在训练集中见过一个确切的问题，由于训练语料库的巨大，它不可避免地已经见过许多非常相似的例子。

这意味着，它可以逃避更深层次的推理。因此，基准测试结果并不能为我们提供证据，表明语言模型正在获得人类考生所需的深入推理技能。

在一些实际的任务中，浅层次的推理 GPT-4 可能胜任，但并非总是如此。

基准测试已经被广泛用于大模型比较中，因将多维评估简化为单个数字而受到许多人的批评。

不幸的是，OpenAI 在 GPT-4 的评估中选择如此大量使用这些测试，再加上数据污染处理措施不足，是非常让人遗憾的。

参考资料：

• https://futurism.com/the-byte/chatgpt-random-numbers

• https://aisnakeoil.substack.com/p/gpt-4-and-professional-benchmarks

本文来自微信公众号：新智元 （ID：AI_era）

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。