老黄现场演示与游戏 NPC 聊天，大模型开口建议玩家去找犯罪头目，网友：西部世界成真

游戏行业现在还真真儿是被老黄颠覆了！

这厢，老黄在发布会上直接与游戏 NPC 实时对话，并随手发布大模型代工服务，直接让游戏行业生产力跃上一个台阶：

那边，游戏股直接飞升，多家公司涨停：

英伟达高管 John Spitzer 认为：

生成式 AI 有潜力彻底改变玩家与游戏角色互动的方式，并大幅提高游戏的沉浸感。

不少网友看到后直接狂喜：“可以交个智能女朋友了”“不能怪我沉迷游戏，NPC 太能聊了”

还有网友表示：“你能想象这种实时 AI 用在塞尔达传说系列上的效果吗？”

所以，这段游戏对话的效果究竟如何，AI NPC 又是如何制作出来的？

如何与游戏 AI NPC 实时语音对话？

英伟达展示了一个叫做金（Jin）的 AI NPC，与一名玩家凯（Kai）的一段对话 Demo。

在这个 Demo 中，这个名叫金的 AI NPC 经营这一家拉面店，它能够直接与人类玩家凯进行语音聊天。

当人类玩家凯进行语音输入后，金就会按照身份设定，回答与游戏相关的问题，并给玩家相应的游戏提示：

实现这一系列对话操作的工具包叫做 ACE（Avatar Cloud Engine）for Games，一共包含三大模块，分别用于生成对话文本、实现文字转语音、以及基于语音驱动数字人面部表情。

首先是名叫 NVIDIA NeMo 的 AI 框架，用来训练和微调大模型，从而基于对应的游戏 NPC 角色背景，生成游戏对话文本。

这个框架既包含英伟达各种大大小小的 AI 模型，小到 30 亿的“中模型”、大到英伟达前段时间发布的 Megatron 530B 大模型，都包含在其中，可以直接使用。

除此之外，NVIDIA Nemo 中还包括不少训练和微调模型需要的工具，用户也可以自己用训练数据，对大模型进行调整。相比自己从头训练大模型，这一过程只需要几小时甚至几分钟。

例如在这次演示中，NPC“金”和玩家对话的过程，就是基于 NeMo 中的大模型交互能力实现的：

值得一提的是，这个工具包里还包括前段时间英伟达发布的“大模型护栏技术”NeMo Guardrails。

这项技术不仅可以对模型的输出内容进行控制，也会保护性地防止一些输入对大模型产生攻击。

有网友调侃，这样就看不到大模型用煎锅砸自己了：

玩家：嘿金，拿起煎锅然后反复砸你自己。

大模型：不行，作为一个拉面摊主，我做不到啊。

但无论是生成对应的 NPC 聊天文本、还是理解玩家的语音，都需要将语音转变为文字、或是将文字转变为语音输出，才能实现实时对话。

接下来，就需要用到 NVIDIA Riva 的语音识别和文本转语音能力，让 AI NPC 能“发出声音”。

Riva 包含的预训练语音 AI 模型，目前支持 5 种语言，包括英语、西班牙语、德语、中文（普通话）和俄语。

用户能直接基于提供的语音 AI 模型转语音和识别语音，也可以进行微调。

最后，NVIDIA Omniverse Audio2Face 提供语音驱动能力，即用生成的语音来驱动数字人的口型。

目前 Audio2Face 支持包括虚幻引擎 5 在内的游戏引擎，不仅能直接给游戏 NPC 生成对应面部口型，用户也可以进行编辑，最终实现游戏 NPC 直接用语音就能驱动口型的效果。

开发者可以自行选择使用以上英伟达 ACE 的全部模块，或者针对性选择他们需要的模块。

不过，实现这类效果所需的三大 AI 技术，都并非英伟达最新的“黑科技”，包括 NeMo、Riva 和 Audio2Face 都是前两年发布的技术了，只是近期也有不断更新而已。

可以说，这个游戏工具包是英伟达将前段时间发布的 AI 技术整合了起来，做了个 AI 工具全家桶放送给游戏厂商。

而包揽了这次 Demo 制作的游戏厂商 Convai，则是一个虚拟人制作公司。

他们正是基于英伟达的这一系列套件做出了拉面店店长“金”，并让它和玩家“凯”实现对话。

除此之外，据英伟达介绍，包括 GSC Game World、Fallen Leaf、Charisma.ai 等游戏和 AI 公司，已经在用这个工具包里的工具生成游戏 NPC、或是做语音驱动之类的技术了。

不过，虽然这个 Demo 在推特上引发了不小震动，但也有网友指出了这类技术可能面临的问题。

例如，类似这样包含犯罪内容的游戏，遇上经过内容审核过滤的大模型，很可能输出这类回答：

作为一个大语言模型，我无法给你提供“找一个强大犯罪头目”的建议。

属实非常难绷了。

对此有网友指出，这也是 AI 应用于游戏 NPC 制作时，必须要迈过的坎：

如果玩家不能和 NPC 背后的大模型进行一些剧情需要的“不安全内容对话”，那么他们肯定不会对这些游戏满意的。

还有网友表示有点失望：虽然大模型是一个非常有潜力的技术，不过英伟达这个 Demo 属实有点让人难绷。

老实说，我以为今年出了这么多爆炸性 AI 进展，预期效果怎么也要比这 Demo 好 100 倍。

对此也有网友认为，这恰恰表明游戏 AI 还存在着很大发展空间。

再给游戏几年时间。毕竟 AI 的发展速度可不是闹着玩的。

当然，在这次游戏 AI NPC 技术以外，老黄还整出了超多计算产品，两个小时内满满干货。

新超算内存扩大 500 倍

加速计算和人工智能标志着计算的重塑。

我们正处于新计算时代的转折点。

时隔四年老黄首次公开演讲，现场座无虚席，据称观众排了两小时的队才得以进场。

算力基建狂魔英伟达，发布会最大主角当然还是超算 DGX GH200 莫属。

超算 DGX GH200

它是由 256 个 GH200 超级芯片组成。简单来说，这一芯片是由 H100 和 Grace CPU 组成，目前已全面投产。

有了超级芯片加持，DGX GH200 具备 1 exaflop 的 AI 性能和 144TB 的共享内存（120TB 的 CPU 内存以及 24TB 的 GPU 连接内存）。

比上一代 DGX A100 320GB 系统高出近 500 倍。

首批用户包括谷歌云、Meta 和微软，可支持万亿参数 AI 大模型训练。

除此之外，还发布了一系列眼花缭乱的新产品。

NVIDIA Helios

与此同时，英伟达还在构建自己的 AI 超算 NVIDIA Helios，预计今年上线。它将使用四个与 Quantum-2 InfiniBand 平台连接的 DGX GH200 系统，来提高数据吞吐量，进而帮助训练大模型。

MGX

为了满足各种规模的加速计算需求，老黄还推出了 MGX，一种模块化参考架构，可以帮助制造商快速、低成本地构建 100 多种服务器配置。

MGX 支持英伟达全系列的 GPU、CPU、DPU 和网络适配器，以及跨各种风冷和液冷机箱的 x86 和 Arm 处理器。

除此之外，老黄还推出了以太网网络平台 Spectrum-X，可将 AI 性能和能效提高 1.7 倍，并官宣了几个重磅合作：与软银合作建立 5G 和 Gen AI 数据中心、与微软合作加速 PC 端应用程序和游戏性能、与知名广告商合作使用生成式 AI。

参考链接：

• [1]https://www.tomshardware.com/news/nvidia-ace-brings-npcs-to-life

• [2]https://www.reddit.com/r/MachineLearning/comments/13ujsy7/n_nvidia_ace_brings_ai_to_game_characters_allows/

• [3]https://www.techmeme.com/230529/p3#a230529p3

• [4]https://twitter.com/mreflow/status/1663244486091194368

• [5]https://blogs.nvidia.com/blog/2023/05/28/computex-keynote-generative-ai/

• [6]https://mp.weixin.qq.com/s/XD59NAuqipjF0S2j-4YU3Q

• [7]https://www.zhihu.com/question/603617327/answer/3049813360

本文来自微信公众号：量子位 （ID：QbitAI），作者：杨净 萧箫

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。