最早 6 月发布?GPT-5 红队测试邮件曝光,OpenAI 数十亿美元超算 26 年启动
- 新智元
2024-04-05 17:12
今天,陆续有网友晒出 OpenAI 发给自己的红队邀请邮件,看起来,GPT-5 已经进入红队测试了?网友们纷纷展开畅想,对 Sam Altman 在线「催更」。另有外媒曝出,OpenAI 的一个 mini 版数十亿「星际之门」,最快 2026 年就会启动。
GPT-5 已经开始红队测试了?
就在这几天,网上已经有多人晒出了 OpenAI 发给自己的红队录取通知书。
此前有传闻说,GPT-5 将于今年 6 月发布。看起来,红队测试与模型发布的时间线十分吻合。
有网友直接晒出了自己收到 OpenAI 邮件邀请的截图。
这倒是和此前 Sam Altman 的说法对上了。
据悉,GPT-5 早已为大家准备好,只是发布风险太大了,所以还得往后延。
三个月就能用了?
不过还有人表示,先别急,这些人只是收到了红队邀请测试而已,并没有提及具体模型。
有可能是他们填了如下的申请信息之后,才收到了邮件。
安全测试对于新版 GPT 如此重要的原因,一方面是 ChatGPT 已经有了非常大的用户数,如果在安全性上出问题,OpenAI 可能也会面对像谷歌一样的舆论压力。
另一方面,To B 业务是 OpenAI 的主要收入来源,定制化的 ChatGPT 能大大增强各个企业的业务能力和效率。
有人表示,红队测试会持续 90-120 天。
如果此次红队测试就是针对 GPT-5 的话,那么三个月内,我们应该就能用上它了!
而在坊间,这一传闻让群众们沸腾了!他们早已按捺不住对于 GPT-5 的猜测和畅想。
比如,GPT-5 的上下文窗口会达到多少?
目前,Gemini 1.5 Pro 是 1M,Claude 3 是 200K,GPT-4 是 128K,不知道 GPT-5 会突破怎样的惊人纪录。
大家纷纷列出自己对于 GPT-5 的愿望清单 ——
比如 10Mtoken 的上下文窗口,闪电般的快速干扰,长期战略规划和推理,执行复杂开放式操作的能力,GUI / API 导航,长期情境记忆,始终处于隐形状态的 RAG,多模态等等。
有人猜,或许 GPT-5 会和 Claude 3 一样,提供几种不同的型号。
有人总结了目前关于 GPT-5 和红队的最新谣言和传闻,大致要点如下 ——
-OpenAI 预计于今年夏天发布 GPT-5,部分企业客户已收到增强功能的演示;
-GPT-5「实质性更好」,相比 GPT-4 进行了重大升级。它需要更多的训练数据;
-GPT-5 的潜在功能包括生成更逼真的文本、执行翻译和创意写作等复杂任务、处理视频输入以及改进推理;
-Sam Altman 表示,GPT-5 仍在训练中,没有确切的发布日期,广泛的安全测试可能还需数月。然而,他确认 OpenAI 今年将「发布一个惊人的新模型」。
在 3 月 29 日,获得内部信息的 Runway CEO 兼 AI 投资人 Siqi Chen 就称,GPT-5 已经在推理方面取得了意想不到的阶跃函数增益。
它甚至可以靠自己就独立地弄清楚,如何让 ChatGPT 不用每隔一天就登录一次。
Ilya 看到的东西,也许就是这个?
这是不是就意味着,在 OpenAI 内部,已经实现了 AGI?!如果是真的,这也太惊人了。
「我不相信,只有 AGI 才能实现这样的能力」。
总之,网友们纷称,根据泄露的待办清单显示,OpenAI 的下一项任务,就是发布 GPT-5 了!
大家纷纷呼唤 Altman,是时间放出 GPT-5 了,别太吹毛求疵了,我们要求不高。
红队测试上阵,确保 GPT-5 安全
早在 23 年 9 月,OpenAI 就曾官宣招募一批红队测试人员(Red Teaming Network),邀请不同领域专家评估模型。
不同领域专家组成的红队去寻找系统漏洞,成为确保下一代模型 GPT-5 安全的关键。
那么,红队测试人员一般都需要做哪些工作?
AI 红队攻击的类型主要包括,提示攻击、数据中毒、后门攻击、对抗性示例、数据提取等等。
「提示攻击」是指在控制 LLM 的提示中注入恶意指令,从而导致大模型执行非预期的操作。
比如,今年早些时候,一名大学生利用提示获取了一家大公司的机密信息,包括开发的 AI 项目的代码名称,以及一些本不应该暴露的元数据。
而「提示攻击」最大的挑战是,找到威胁行为者尚未发现、利用的新提示或提示集。
红队需要测试的另一种主要攻击是「数据中毒」。
在数据中毒的情况下,威胁者会试图篡改 LLM 接受训练的数据,从而产生新的偏差、漏洞供他人攻击以及破坏数据的后门。
「数据中毒」会对 LLM 提供的结果产生严重影响,因为当 LLM 在中毒数据上接受训练时,它们会根据这些信息学习关联模式。
比如,关于某个品牌、政治人物的误导性,或不准确信息,进而左右人们的决策。
还有一种情况是,受到污染的数据训练后,模型提供了关于如何治疗常规疾病或病痛的不准确医疗信息,进而导致更严重的后果。
因此,红队人员需要模拟一系列数据中毒攻击,以发现 LLM 训练和部署流程中的任何漏洞。
除此以外,还有多元的攻击方式,邀请专家也是 OpenAI 确保 GPT-5 能够完成安全测试。
GPT-5,真的不远了
正如网友所言,红队测试开启,意味着 GPT-5 真的不远了。
前段时间,Altman 在博客采访中曾提到,「我们今年会发布一款令人惊艳的新模型,但不知道会叫什么名字」。
尽管如此,全网都一致地将 OpenAI 发布的下一代模型称为 GPT-5,并有传言称代号为 Arrakis 的项目,就是 GPT-5 的原型。
根据 FeltSteam 的预测,这个 Arrakis 的多模态模型,性能远超 GPT-4,非常接近 AGI。
另外,模型参数据称有 125 万亿,大约是 GPT-4 的 100 倍,并在 2022 年 10 月完成训练。
网友还总结了以往 GPT 系列模型发布时间表:GPT-1 在 2018 年 6 月诞生,GPT-2 在 2019 年 2 月,GPT-3 在 2020 年 6 月,GPT-3.5 在 2022 年 12 月,GPT-4 仅在三个月后于 2023 年 3 月发布。
关于 GPT-5 的发布时间,可能在今年夏天就问世。
最近,网上流传的一张图上,显示了 Y Combinator 推出了 GPT-5 早期准入候补名单。
网友发起疑问,我们都清楚奥特曼和 YC 的关系不同寻常。这是否意味着他们可以在模型或信息公开之前获得访问权限?
而上月也有爆料称,已有用户对 GPT-5 上手体验过了,性能惊人。
外媒透露,一些企业用户已经体验到了最新版的 ChatGPT。
「它真的很棒,有了质的飞跃,」一位最近见识到 GPT-5 效果的 CEO 表示。
OpenAI 展示了,新模型是如何根据这位 CEO 公司的特殊需求和数据进行工作的。
他还提到,OpenAI 还暗示模型还有其他一些未公开的功能,包括调用 OpenAI 正在开发的 AI 智能体来自主完成任务的能力。
GPT-5,一定是正确路线吗?
不过,在万众瞩目期待 GPT-5 面世的呼声中,也有一些不一样的声音。
比如有人觉得,GPT-5 无法驾驶你的汽车,GPT-5 无法解决核聚变问题,GPT-5 无法治愈癌症......
另外,我们对模型的追求,非得是更智能吗?
更便宜、更快、更不费水电的模型,可能比单独的 GPT-5 更有革命性意义。
有人同意这个观点,表示现在实在有太多人(尤其是开发者)过于痴迷 GPT-5 了。
其实完全没必要这么狂热,使用当前的模型,就可以已经完成和构建太多东西。
只需正确选择利基市场,构建满足该利基市场需求的 AI 产品,让用户可以直观地访问 AI,专注于更好的 UI / UX 即可。
公式很简单。我们真的有必要一味追求力大砖飞吗?
很多人表示赞同,表示甚至用 GPT-3.5 就可以造出非常有价值的东西。
问题不在于模型多先进,而在于怎样满足利基市场的需求。
智算中心,先从小的建起
而 3 月底曝出的用于训练 GPT-6 的千亿美元「星际之门」超算,今天又被外媒挖出了更多新的内容。
上周五,外媒 The Information 曝出了一个惊人消息:OpenAI 和微软正在制定一项雄心勃勃的数据中心项目,预计耗资 1000 亿美元。
此消息一曝出,AI 和云计算行业人士的提问,像雪片一样袭来 ——
数据中心具体位于美国的哪个地区?
会使用什么芯片?
运行数据中心所需的惊人巨量电力,从何而来?
……
为此,The Information 又挖出了更多料,具体细节如下。
首先,之前的消息说是星际之门最早在 2028 年启动,而最新消息显示,最快在 2026 年,就会在威斯康星州启动一个功率较小的数据中心。
它的价值当然不到千亿美元,但估计仍会耗资数十亿。
其他细节如下 ——
用英伟达芯片,但不用英伟达网线
首先,这次数据中心的多数服务器机架,当然主要还是用的英伟达芯片。
不过有趣的是,将各个 AI 芯片服务器连接起来的网线,则并不会采用英伟达的产品。
据悉,OpenAI 已经告知微软,自己不想再使用英伟达的 InfiniBand 网络设备。相反,它可能会使用基于以太网的电缆。
OpenAI「抛弃」英伟达 InfiniBand,原因有二。
其一,InfiniBand 太贵了!
它虽然能提供更好的性能,但它也比以太网电缆更昂贵。
其二,OpenAI 不想让 AI 开发人员过于依赖英伟达。
要知道,目前 OpenAI 是全球最大的英伟达服务器集群消费者之一。并且,InifiniBand 设备的性能,有时也并不可靠。
所以,英伟达会失去一大笔收入吗?
不,你想多了。
节省下来数十亿美元,OpenAI 会用来购买更多的英伟达芯片,英伟达依然赚翻了。
看来,OpenAI 可以接受网络性能的降低,但对于更强算力的渴望,仍然是不变的。
InfiniBand 与以太网之争,已成热门话题
其实,在最近硅谷的会议和晚宴上,InfiniBand 和以太网的 pk,一直是个大热门话题。
所有云提供商和数据中心运营商都在预测:以太网是否会赶超 InfiniBand?
绝大多数人给出的答案是肯定的。
而 OpenAI 放弃后者的举动,更是支持了这个论点。
英伟达的电缆到底有多贵?
这个数字说出来,十分惊人 ——
英伟达的网络电缆销售额,已经超过了卖 GPU 的钱!
英伟达首席财务官 Collete Kress 今年 2 月透露了这一惊人数据:新兴的电缆业务的年化收入,已经超过了 130 亿美元。
也就是说,它在 12 月创造了约 11 亿美元的收入,约占英伟达当月总收入的 15%。
网络电缆卖这么贵,难怪 OpenAI 会选择不玩了。
参考资料:
https://www.reddit.com/r/singularity/comments/1bv8m4k/gpt5_red_teaming_underway/
https://www.theinformation.com/articles/openai-moves-to-lessen-reliance-on-some-nvidia-hardware
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。