英特尔发布 Gaudi 3 AI 芯片：性能超越英伟达 H100，第三季度上市

IT之家 4 月 9 日消息，在今晚的 Vision 2024 活动中，英特尔发布了新一代 Gaudi 3 AI 芯片，并将于 2024 年第三季度通过 OEM 系统大批量上市。

据介绍，新款 Gaudi 3 与英伟达 H100 相比训练性能提高了 170%，推理能力提高了 50%，效率提高了 40%，但成本却低得多（IT之家注：H100 已经是英伟达上一代产品，英特尔并未与最新的 Blackwell 系列产品进行对比）。

此外，英特尔还为其数据中心 CPU 产品组合推出了全新品牌命名：原代号为 Granite Rapids 和 Sierra Forest 的芯片现在将被称为 “Xeon 6” 系列。这些芯片计划于今年上市，并将支持全新性能提升的标准化 MXFP4 数据格式。

英特尔同时宣布正在开发用于以太网网络的 AI NIC ASIC 以及 AI NIC 小芯片。这些小芯片将用于其未来 XPU 和 Guadi 3 处理器，并将通过英特尔代工厂提供给外部客户，不过英特尔并未透露更多关于这些网络产品的细节。

英特尔全新 Gaudi 3 AI 加速器采用 5nm 工艺打造，FP8 性能是上一代产品的两倍，BF16 性能是上一代产品的四倍，网络带宽是上一代产品的 2 倍，内存带宽是上一代产品的 1.5 倍，并提供 Mezz 卡、板载和 PCIe 三种形态。

Gaudi 3 提供 64 个第五代张量处理核心和 8 个矩阵计算引擎，并搭载 128GB 速率达 3.7TB / s 的 HBM 内存和 96MB 速率达 12.8TB / s 的 SRAM。连接方面支持 24 条的 200GbE 符合 RoCE 标准的以太网总线以及最高 16 条 PCIe 5.0 总线。

板载版本 Gaudi 3 型号为 HLB-325，由八颗 Gaudi 3 Mezz 卡组成，提供 14.6PFLOPS FP8 性能，1TB 带宽速率达 29.6TB / s 的 HBM2e 内存，64 个线性计算引擎，192 条 200GbE 网络总线，9.6TB / s 吞吐能力。

PCIe 版本型号为 HL-338，提供单卡 1835TFLOPS FP8 峰值性能，128GB HBM2e 内存，8 个线性计算引擎，24 条 200GbE 网络总线，600W TDP，整张卡占据两卡槽高度。

Gaudi 3 单个节点（8 个 Gaudi 3 AI 加速器）可以提供 14.7PF FP8 计算性能，128GB 内存及 8.4TB / s 网络读写速度；64 节点集群（512 个 Gaudi 3 AI 加速器）提供 940 PF FP8 计算性能，65.5TB 内存及 76.8TB / s 的网络读写能力；512 节点集群（4096 个 Gaudi 3 AI 加速器）提供 7.52EF FP8 计算性能，525.3TB 内存及 614TB / s 网络读写速度；1024 节点集群（8192 个 Gaudi 3 加速器）则提供 15EF FP8 计算性能，1PB 内存及 1.229PB/s网络读写能力。

具体来看，英特尔 Gaudi 3 与主要的竞品英伟达 H100 在相同节点数量下，相关大模型训练时间对比上至高有 1.7 倍优势，其中，LLAMA2 70 亿参数对比有 1.5 倍于 H100 的优势，LLAMA2 130 亿参数最高有 1.7 倍的优势，GPT 3 1750 亿参数有 1.4 倍优势。推理速度和能效表现上，Gaudi 3 相比于 H100 也有较大幅度提升。

软件生态方面，英特尔 Gaudi 3 针对生成式 AI 提供端到端全栈 AI 软件解决方案，包括嵌入式软件、软件套件、AI 软件、AI 应用。

通过 Gaudi 3 可以支持基于还支持多模态、大语言模型、增强检索生成核心能力的 3D 生成、文本生成、视频图片生成、内容总结、翻译、问答、分级等常见 AI 功能。依靠丰富的 AI 软件生态，Gaudi 3 也支持常见的 AI 框架库、使用场景和工具，并对有代表性的模型进行支持。英特尔还提供 Gaudi 软件套件，提供对底层硬件的支持。

英特尔在 Vision 2024 上也公布了 Gaudi 3 生产节点，2024 年一季度将率先推出风冷版样品，二季度推出液冷版样品，并在今年第三、第四季度分别批量交付风冷版和液冷版。Gaudi 3 将由戴尔、惠与、联想和超微四家 OEM 提供。

在此基础上，英特尔也宣布 Gaudi 3 今年下半年可在英特尔 Developer Cloud 获得。除了英特尔 Gaudi 3 加速器之外，英特尔还提供了关于其在企业 AI 各个领域的下一代产品和服务的更新。

全新英特尔 Xeon 6 处理器作为英特尔全新品牌首次亮相，它主要针对生成式 AI 计算，Xeon 6 处理器包含高效核心 E-core 和性能核心 P-core。Xeon 6  E-core 代号 Sierra Forest，相比第二代英特尔 Xeon 处理器，性能每瓦提高 2.4 倍，并且机架密度提高 2.7 倍。对于英特尔的客户而言，可以以接近 3 比 1 的比例替换老旧系统，大幅降低能耗，推动实现可持续发展目标。Xeon 6  P-core，代号 Granite Rapids，支持 MXFP4。

PC、边缘端和连接方面，英特尔酷睿 Ultra 处理器 AI PC 产品作为生产力、安全性和内容创作的工具，预计今年将发货 4000 万台 AI PC。除此之外，英特尔宣布了一系列新的边缘芯片，涵盖了英特尔酷睿 Ultra、英特尔酷睿、英特尔凌动处理器和英特尔 Arc GPU，目标市场包括零售、工业制造和医疗保健。这些新品将在本季度推出。

另外，英特尔计划与 Ultra Ethernet Consortium 合作推出 AI 以太网解决方案，解决庞大数据量下 AI 大模型网络问题。这一产品计划将在 2026 年推出。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。