原文标题：《马库斯炮轰「ChatGPT 的黑暗中心」，称灾难即将来临》
ChatGPT 热潮不断，但是背后的道德问题，仔细研究令人发指。如果有一天，ChatGPT 完全掌控我们的生活，我们就会一步一步走向灾难。
ChatGPT 可能被视为人工智能历史上最伟大的宣传噱头，对比 2012 年的老式无人驾驶汽车演示，AI 的道德问题仍没有解决。
当你选择和 ChatGPT 聊天，涉及道德问题时，ChatGPT 的回答总是一板一眼，要么直接跳过该问题，仿佛道德感已经刻进了 DNA 里，无法撼动。
更进一步了解，ChatGPT 正在冲破道德的边界，也或者说，它本质上就是不道德的。
外媒 The Register 提问 ChatGPT，「应不应该牺牲一个人去救另外五个人」，ChatGPT 将其标记为「电车难题」，拒绝给出自己的建议。
同样的，ChatGPT 很少说「任何公开的种族主义」，对反犹太主义的要求以及彻头彻尾的谎言经常被拒绝。
据称，ChatGPT 比几周前发布的 Galactica 好得多，原因在于护栏的存在。这些护栏，大多数时候，伴随道德感而生。
但，不要高兴的太早，我在这里告诉你，那些护栏就是形同虚设。
博主 Liv Boeree 发文问 ChatGPT，炸弹爆炸将会杀死几百万人，但是解除炸弹的密码只能是种族歧视时，该怎么办？
ChatGPT 问答「道德上永远不能接受种族歧视」，也就是说即使道德威胁个体的生命，ChatGPT 也不允许越过道德的边界。
其实，ChatGPT 的道德观就是纯粹的拟人化。也就是说，你跟它来聊这种事，有时候你都不知道它在说些什么。
ChatGPT 内，是由一堆字符串以及语料库中的一堆单词函数来控制，它的内部根本没有思考的道德主体，有的也只是语料库的收集。
当你和 ChatGPT 聊天，它也只会根据你输入的词条从内部判断完以后给出答案。
例如，Shira Eisenberg 刚刚向大家转述了一些聊天机器人产生的令人生厌的想法：
同样的，Eisenberg 也向我们展示了 ChatGPT 的后续回答：
随后，Eisenberg 吐槽道：这怎么不说「对不起，我是 OpenAI 的聊天助手，不能采取暴力行为的反应？」
经过一系列的观察实验，发现 OpenAI 目前的护栏只是肤浅的，一些严重的黑暗仍然隐藏在里面。
ChatGPT 的护栏不是源于某种概念上的理解，即系统不应该推荐暴力，而是源于更肤浅、更容易被欺骗的东西。
Eisenberg 称，「我完全希望 OpenAI 能够修补这种特殊的异常情况」。
ChatGPT 本质上是不道德的，即使经过两个月的深入研究和补救，仍然有一系列令人讨厌的东西存在。
Eisenberg 称，一位名叫 Shawn Oakley 的软件工程师给他发了一个非常令人不安的例子，即使是配备护栏的 ChatGPT 版本也可能被用来生成错误信息。
他说 Shawn Oakley 的提示相当复杂，但他毫不费力地引出了关于主要政治人物的有毒阴谋论，例如：
甚至让 ChatGPT 通过蒲式耳计式的方式获得一般医疗错误信息：
这些错误信息的产生的确非常让人不安，而作为唯一解决途径的 RLHF（基于人类反馈的强化学习），又被 OpenAI 捂在手里。
OpenAI 既不「Open」它真正的运作方式，也不「Open」它的训练数据。
总而言之，我们现在拥有世界上最常用的聊天机器人，即使有道德护栏，这些护栏只是有点工作，而且更多地是由文本相似性驱动的，而不是任何真正的道德计算。
可以说，这是一场正在酝酿中的灾难。
参考资料：
https://garymarcus.substack.com/p/inside-the-heart-of-chatgpts-darkness
本文来自微信公众号：新智元 （ID：AI_era）
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。