用酷睿轻薄本运行本地大语言模型，英特尔 AIGC PC 体验有惊喜

过去我们常听说“AI 改变世界”，但从普通用户的角度来说，感知似乎并不明显，因为 AI 更多是被用在专业领域。

直到最近，生成式 AI 大模型浪潮席卷全球，AIGC 产品喷薄而出，“AI 改变世界”这句话，才仿佛第一次带来了真实、可感知的震撼。它让我们普通人也能通过简单直观的“输入-输出”，就可以用 AI 解疑答惑、甚至是快速生产创作。AI 时代，真的在轰鸣而至了。

不过，我们平时使用各种 AIGC 大模型产品，都需要联网，换句话说，它是部署在云侧的，尽管这样在性能、模型、算法等方面不用担心，但问题也很明显，一方面是服务商需要投入大量的成本，另一方面用户在使用时也存在延迟、隐私等方面的不足。

而且，说到 AIGC 变革生产力，但现阶段我们的核心生产力平台还是在 PC 而非手机等终端，因此，终端侧的生成式 AI，特别是 AI PC，正在受到整个行业越来越多的关注。而这其中，作为芯片巨头的英特尔就一直是终端侧 AI PC 的前沿探索者。

早在 2018 年，英特尔就提出要在 PC 上引入 AI，还推出了“AI on PC Developer Program”的 AI PC 开发者计划。而当生成式 AI 基本本确定为 AI 2.0 时代后，为了让 AIGC 能够更好地在 PC 本地端运行，英特尔也做了很多努力。

比如，在我们传统的认知里，运行类似 ChatGPT 这种大语言模型必须要有大显存的显卡支持。但这种情况已经被英特尔改变。英特尔为了让 12、13 代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验，构建了 BigDL-LLM 库，这个库专门针对 Intel 硬件的低比特量化设计，支持 INT3、INT4、INT5、INT8 等各种低比特数据精度，性能更好，内存占用也更少。

通过这个库，英特尔对各种大语言模型进行了优化和支持，包括一些开源的、可以在本地运行的大语言模型。这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 160 亿的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。

英特尔也表示，目前的优化主要是针对 CPU，接下来他们还会更加注重对 GPU 核显性能的优化，让 GPU 也能在终端侧 AIGC 任务中扮演更重要的角色。比如英特尔下一代酷睿处理器 Meteor Lake 中，除了 CPU 架构有重大升级，GPU 核显性能也会得到强势提升，将拥有 8 个 Xe GPU 核心 128 个渲染引擎，更增加了 8 个硬件的光追单元，还会引入 Arc 显卡的异步拷贝，乱序采样等功能，也对 DX12U 做了优化。

不仅如此，英特尔还在 Meteor Lake 中加入了集成式 NPU 单元，实现更高效能的 AI 计算，它包含了 2 个神经计算引擎，能够更好地支持包括生成式 AI、计算机视觉、图像增强和协作 AI 方面的内容。

而且，Meteor Lake 中的 NPU 不是单一孤岛式的架构，除了 NPU，CPU 和 GPU 也都可以进行 AI 运算，不同场景下会用不同的 AI 单元去应对，彼此协调，如此一来，其整体能耗比相比前代最多可以提升 8 倍之多。

说了这么多，实际体验到底怎么样？今天IT之家也为大家做一番测试。这里我们选择了一台通过英特尔 Evo 平台认证的轻薄本：华硕破晓 Air，这款轻薄本搭载英特尔 13 代酷睿 i7-1355U 处理器，16GB LPDDR5 内存。

测试时，我们关闭笔记本的网络，使用英特尔推出的大语言模型 Demo，来看看轻薄本在本地运行 AIGC 体验到底怎么样。

英特尔大语言模型的 Demo 安装过程很简单，安装完成后打开界面我们可以看到左侧可以选择聊天内容、调整模型参数和查看运算延迟，右侧则是聊天框。

测试时，小编首先在聊天助手功能下问它“酒桌上领导让我陪客户喝酒，但我不能喝，应该如何婉言拒绝？”这款大模型的回答很是出色，而且回答这么长的一段话响应速度也很快，只用了 786.57ms 就完成了响应。

接着小编调到情感分析功能，让大语言模型分析一段散文所表达的思想情感，在华硕破晓 Air 上离线运行，很快就给出了答案。大模型对这段散文文案的思想情感理解还是比较准确的，而且逻辑自洽。

在运算过程中我们可以看到，英特尔 13 代酷睿 i7-1355U 处理器占用率达到了 100%，内存占用达到了 9.1GB（58%），Xe 核显占用也达到了 35%。看来这个运算过程确实是在本地进行的。看来在英特尔不断的优化和 13 代酷睿处理器算力的提升下，确实能够在轻薄本上实现 AIGC 的落地。

然后小编又使用中文翻译功能做了测试，英特尔大语言模型的表现同样让人惊喜，它的翻译质量相当高，速度也很快，整个文段基本上没有什么翻译错误的情况。

接下来再测试一下英特尔大语言模型的故事创作能力，小编让他写一个关于孙悟空和葫芦娃联手大战外星人的故事，AI 同样是很快就写了出来，延迟只用了 850.37ms，而故事整体有开始有过程也有结尾，时间地点人物事件都很齐全，大体上没什么问题。

生成大纲方面，小编让这个大语言模型帮我生成一片关于朱自清《荷塘月色》的教学大纲，它同样很快就列出了一套逻辑清晰完整，内容详尽的大纲出来。这确实是一个非常实用的功能，尤其是当它能够在终端侧离线运行后，对于工作有提炼大纲需求的人，比如说老师，即便在没有网络的情况下，也能利用 AI 辅助教学工作，非常方便。

最后，小编让 AI 给出一份去杭州旅游的攻略指南。大模型的生成结果同样能够让人满意，把杭州最主要值得去的景点都列了出来，跟着这份指南去游玩不会有什么问题。

总体来看，IT之家使用华硕破晓 Air 这款英特尔 Evo 轻薄本进行大语言模型的本地化测试，从体验上来说还是比较令人满意的，别看他只是一款轻薄本，运行有着 160 亿参数的大模型并不吃力，在响应速度和答案的靠谱性方面，和小编平时使用那些云端大模型产品几乎没太大差别，有些时候响应速度甚至更快，因为云端大模型在高峰期网络拥堵的时候，还会出现响应缓慢甚至生成失败需要重新生成的情况，但在使用华硕破晓 Air 运行英特尔本地大模型时，就不会出现这种情况。

可以说，凭借 13 代酷睿强劲的算力和不断的算法优化，英特尔是成功地把 AIGC 大规模地引入到了 PC 上，并且能够在终端侧离线运行，让 PC 用户们随时随地都能获得来自 AIGC 的创作主力，而不受网络、峰谷时期的限制，充分证实了他们在 AIGC 领域的领先地位和不断创新的能力。他们致力于为用户提供更智能、高效的计算体验，推动人工智能技术的发展和应用。相信随着技术的不断进步和完善，我们可以期待在未来看到更多更强来自英特尔在终端侧的 AIGC 应用和解决方案。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。