采用 CoWoS 封装，消息称英伟达中国特供版 H20 在 LLM 推理中比 H100 更快

2023-11-09 20:05IT之家 - 故渊

IT之家 11 月 9 日消息，国外科技媒体 Semianalysis 近日发布付费文章，表示三款中国特供版 AI 芯片之一，在 LLM 推理中，要比 H100 快 20% 以上。

IT之家此前报道，英伟达即将推出 HGX H20、L20 PCle 和 L2 PCle 接口芯片，这三款芯片均基于英伟达 H100 改良而来，官方已经生产出这些 GPU 样品，并预估下月投入批量生产。

消息称英伟达预计最快将于 11 月 16 号之后公布，国内厂商最快将在这几天拿到样品。

这篇付费文章中详细介绍了英伟达 H20、L20 和 L2 的详细信息，涉及 FLOPS 数据、NVLink 带宽、功耗、内存带宽、内存容量、芯片尺寸等。

文章中写道：

更为重要的是，在这三款中国特供版 GPU 中，其中一款（并未明确是哪款，但应该是指 H20）在 LLM 推理中要比 H100 快 20%，而且性能接近于英伟达明年年初发布的新款 GPU。

报道中还提及的一点是，英伟达 HGX H20 采用 HGX 格式，采用台积电的 CoWoS 封装。而另外两款芯片主要基于 Ada，面向游戏领域，不需要复杂的封装。

该文章还预测了英伟达 2024 和 2025 财年业绩，此前消息称由于美国不断地加码，英伟达丢失了超过价值 50 亿美元的订单，而借助这些中国专供 GPU，会改善英伟达的业绩表现。