图灵奖得主 Hinton：我已经老了，如何控制比人类更聪明的 AI 交给你们了

还记得大牛们就“AI 是否可能灭绝人类”，分成了两大阵营吗？

由于并不理解为啥“AI 会造成风险”，吴恩达最近开启了一个对话系列，去找两名图灵奖得主聊聊：

AI 究竟存在哪些风险？

有意思的是，在相继和 Yoshua Bengio 以及 Geoffrey Hinton 进行深度对话后，他和他们“达成了不少共识”！

他们一致认为，双方应该共同讨论 AI 具体会产生什么风险，以及它究竟“理解了什么”。Hinton 还特意 cue 了“反方代表”图灵奖得主 Yann LeCun：

学术界在这个问题上分歧太大了，包括我们非常尊重的学者如 Yann，就认为大模型并不理解它自己在说什么。

马斯克对这次谈话也很感兴趣：

除此之外，Hinton 最近还在智源大会上再一次“布道”AI 风险，表示比人更聪明的超级智能很快就会出现：

我们不习惯思考比我们聪明得多的东西，以及如何与它们互动。

我现在看不出如何防止超级智能“失控”，而我已经老了。我希望，更多年轻的研究人员能掌握控制超级智能的方法。

一起来看看这些对话的核心观点，以及不同 AI 大牛针对这件事的看法。

吴恩达对话图灵奖得主：AI 安全应达成共识

首先是与 Bengio 的对话。吴恩达和他达成了一个关键共识，即：

科学家们应该试着找出“AI 风险存在的具体场景”。

也就是说，AI 究竟会在哪些场景下，给人类带来重大危害、甚至导致人类灭绝，这是双方需要达成的共识。

Bengio 认为，AI 前景充满着“迷雾和不确定性”，因此找出一些 AI 具体带来危害的场景是有必要的。

然后是与 Hinton 的对话，双方达成了两个关键共识。

一方面，所有科学家必须针对“AI 风险”议题好好聊聊，以便于制定良好的政策；

另一方面，AI 确实在理解世界。科学家们需要列出其中的关键技术问题，这有助于在 AI 安全议题上达成共识。

在这个过程中，Hinton 提到了需要达成共识的关键点，即“GPT-4 和 Bard 这类对话大模型是否真的理解它们自己在说什么”：

有些人认为它们理解，有些人认为它们只是随机鹦鹉。

我想我们都相信它们理解（自己在说什么），但一些我们非常尊重的学者如 Yann，则认为它们并不理解。

当然，被“喊话”的 LeCun 也及时赶来，很认真地发表了自己的观点：

我们都同意“大家需要就一些问题达成共识”这件事。我也同意 Hinton 的观点，即 LLM 有一定的理解能力，说它们“只是统计数据”是误导性的。

1、但它们对世界的理解非常肤浅，很大程度上是因为它们仅仅用纯文本训练。从视觉中学习世界如何运作的 AI 系统，将对现实有更深入的理解，相比之下自回归 LLM 的推理和规划能力非常有限。

2、如果没有下述条件，我不太相信会出现接近人类（甚至是猫）水平的 AI：

（1）从视频等感官输入中学习的世界模型

（2）一个可以推理和规划（而不仅仅是自回归）的架构

3、如果我们有了懂得规划的架构，它们将是目标驱动的，即能基于优化推理时间（而不仅仅是训练时间）目标来规划工作。这些目标可以是让 AI 系统“听话”且安全的护栏，甚至最终打造出比人类更好的世界模型。

然后，问题就变成了设计（或训练）保证安全和效率的良好目标函数。

4、这是一个困难的工程问题，但没有一些人所说的那么难。

虽然这一段回应仍旧只字未提“AI 风险”，不过 LeCun 很实在地给出了提升 AI 安全性的建议（打造 AI“护栏”），并设想了比人类更厉害的 AI“长啥样”（多感官输入 + 可推理规划）。

某种程度上来说，也算是双方在 AI 存在安全问题这个观点上达成了一些共识。

Hinton：超级智能比想象中更近

当然，不止是和吴恩达的对话。

最近离职谷歌的 Hinton，在不少场合都谈到了 AI 风险这一话题，其中也包括最近参加的智源大会。

在大会上，他以《通往智能的两条路线》为主题，讨论了“知识蒸馏”和“权重共享”两种智能路线，以及如何让 AI 变得更智能，以及自己对于超级智能出现的看法。

简单来说，Hinton 不仅认为（比人更智能的）超级智能会出现，而且出现的时间比人们想象中更快。

不仅如此，他认为这些超级智能会失控，但目前他还想不到什么好的方法阻止它们：

超级智能可以通过操纵人来轻易获得更多权力。我们不习惯思考比我们聪明得多的东西，以及如何与它们互动。但它会变得善于欺骗人，因为它能通过某些小说作品中学习欺骗他人的案例。

一旦它变得善于欺骗人，就能掌握让人们做任何事的方法…… 我觉得这很可怕，但我看不出如何防止这种情况发生，因为我老了。

我希望，像你们这样的年轻有才华的研究人员，会搞懂我们如何拥有这些超级智能，并让我们生活得更好。

放映出“THE END”幻灯片时，Hinton 意味深长地强调了一下：

这是我的最后一张 PPT，也是这场演讲的结束。

参考链接：

• [1]https://twitter.com/AndrewYNg/status/1667920020587020290

• [2]https://twitter.com/AndrewYNg/status/1666582174257254402

• [3]https://2023.baai.ac.cn/

本文来自微信公众号：量子位 （ID：QbitAI），作者：萧箫

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。