.hd-box .hd-fr

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

2024-04-09 23:49IT之家(问舟)22评
感谢IT之家网友HH_KK的线索投递!

IT之家 4 月 9 日消息,在今晚的 Vision 2024 活动中,英特尔发布了新一代 Gaudi 3 AI 芯片,并将于 2024 年第三季度通过 OEM 系统大批量上市。

据介绍,新款 Gaudi 3 与英伟达 H100 相比训练性能提高了 170%,推理能力提高了 50%,效率提高了 40%,但成本却低得多(IT之家注:H100 已经是英伟达上一代产品,英特尔并未与最新的 Blackwell 系列产品进行对比)。

此外,英特尔还为其数据中心 CPU 产品组合推出了全新品牌命名:原代号为 Granite Rapids 和 Sierra Forest 的芯片现在将被称为 “Xeon 6” 系列。这些芯片计划于今年上市,并将支持全新性能提升的标准化 MXFP4 数据格式。

英特尔同时宣布正在开发用于以太网网络的 AI NIC ASIC 以及 AI NIC 小芯片。这些小芯片将用于其未来 XPU 和 Guadi 3 处理器,并将通过英特尔代工厂提供给外部客户,不过英特尔并未透露更多关于这些网络产品的细节。

英特尔全新 Gaudi 3 AI 加速器采用 5nm 工艺打造,FP8 性能是上一代产品的两倍,BF16 性能是上一代产品的四倍,网络带宽是上一代产品的 2 倍,内存带宽是上一代产品的 1.5 倍,并提供 Mezz 卡、板载和 PCIe 三种形态。

Gaudi 3 提供 64 个第五代张量处理核心和 8 个矩阵计算引擎,并搭载 128GB 速率达 3.7TB / s 的 HBM 内存和 96MB 速率达 12.8TB / s 的 SRAM。连接方面支持 24 条的 200GbE 符合 RoCE 标准的以太网总线以及最高 16 条 PCIe 5.0 总线。

板载版本 Gaudi 3 型号为 HLB-325,由八颗 Gaudi 3 Mezz 卡组成,提供 14.6PFLOPS FP8 性能,1TB 带宽速率达 29.6TB / s 的 HBM2e 内存,64 个线性计算引擎,192 条 200GbE 网络总线,9.6TB / s 吞吐能力。

PCIe 版本型号为 HL-338,提供单卡 1835TFLOPS FP8 峰值性能,128GB HBM2e 内存,8 个线性计算引擎,24 条 200GbE 网络总线,600W TDP,整张卡占据两卡槽高度。

Gaudi 3 单个节点(8 个 Gaudi 3 AI 加速器)可以提供 14.7PF FP8 计算性能,128GB 内存及 8.4TB / s 网络读写速度;64 节点集群(512 个 Gaudi 3 AI 加速器)提供 940 PF FP8 计算性能,65.5TB 内存及 76.8TB / s 的网络读写能力;512 节点集群(4096 个 Gaudi 3 AI 加速器)提供 7.52EF FP8 计算性能,525.3TB 内存及 614TB / s 网络读写速度;1024 节点集群(8192 个 Gaudi 3 加速器)则提供 15EF FP8 计算性能,1PB 内存及 1.229PB/s网络读写能力。

具体来看,英特尔 Gaudi 3 与主要的竞品英伟达 H100 在相同节点数量下,相关大模型训练时间对比上至高有 1.7 倍优势,其中,LLAMA2 70 亿参数对比有 1.5 倍于 H100 的优势,LLAMA2 130 亿参数最高有 1.7 倍的优势,GPT 3 1750 亿参数有 1.4 倍优势。推理速度和能效表现上,Gaudi 3 相比于 H100 也有较大幅度提升。

软件生态方面,英特尔 Gaudi 3 针对生成式 AI 提供端到端全栈 AI 软件解决方案,包括嵌入式软件、软件套件、AI 软件、AI 应用。

通过 Gaudi 3 可以支持基于还支持多模态、大语言模型、增强检索生成核心能力的 3D 生成、文本生成、视频图片生成、内容总结、翻译、问答、分级等常见 AI 功能。依靠丰富的 AI 软件生态,Gaudi 3 也支持常见的 AI 框架库、使用场景和工具,并对有代表性的模型进行支持。英特尔还提供 Gaudi 软件套件,提供对底层硬件的支持。

英特尔在 Vision 2024 上也公布了 Gaudi 3 生产节点,2024 年一季度将率先推出风冷版样品,二季度推出液冷版样品,并在今年第三、第四季度分别批量交付风冷版和液冷版。Gaudi 3 将由戴尔、惠与、联想和超微四家 OEM 提供。

在此基础上,英特尔也宣布 Gaudi 3 今年下半年可在英特尔 Developer Cloud 获得。除了英特尔 Gaudi 3 加速器之外,英特尔还提供了关于其在企业 AI 各个领域的下一代产品和服务的更新。

全新英特尔 Xeon 6 处理器作为英特尔全新品牌首次亮相,它主要针对生成式 AI 计算,Xeon 6 处理器包含高效核心 E-core 和性能核心 P-core。Xeon 6  E-core 代号 Sierra Forest,相比第二代英特尔 Xeon 处理器,性能每瓦提高 2.4 倍,并且机架密度提高 2.7 倍。对于英特尔的客户而言,可以以接近 3 比 1 的比例替换老旧系统,大幅降低能耗,推动实现可持续发展目标。Xeon 6  P-core,代号 Granite Rapids,支持 MXFP4。

PC、边缘端和连接方面,英特尔酷睿 Ultra 处理器 AI PC 产品作为生产力、安全性和内容创作的工具,预计今年将发货 4000 万台 AI PC。除此之外,英特尔宣布了一系列新的边缘芯片,涵盖了英特尔酷睿 Ultra、英特尔酷睿、英特尔凌动处理器和英特尔 Arc GPU,目标市场包括零售、工业制造和医疗保健。这些新品将在本季度推出。

另外,英特尔计划与 Ultra Ethernet Consortium 合作推出 AI 以太网解决方案,解决庞大数据量下 AI 大模型网络问题。这一产品计划将在 2026 年推出。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论