大模型带来了哪些算力新需求?

2023-11-27 14:44之家网站 - -

11 月 24 日,投资 60 个亿的中国联通长三角(芜湖)智算中心项目开工;

11 月 22 日,面向汽车研发的阿尔特(无锡)智算中心正式启用;

11 月 21 日,首期规划 1000PFLOPS 智算能力的中国移动智算中心(武汉)落地;

11 月 20 日,首个国产化智算中心项目在贵安正式签约;

此外,如鄂尔多斯、南昌等地,均有智算相关的土地规划出炉…… 在过去一周中,几乎每一天都有智算相关项目消息传出。而这,几乎是最近一年来的常态,智算中心建设已经进入了爆发期。

智算的火爆,背后是 AI 大模型兴起,以及其对算力带来的全新需求。

大模型算力消耗有多恐怖?

随着人工智能技术的快速发展,AI 大模型已成为当今世界计算力需求增长的主要驱动力。这些模型不仅在理论研究上取得突破,也在实际应用中发挥着越来越重要的作用。日渐普及的 AI 大模型正推动着全球及中国的算力基础设施变革。

AI 大模型需要多少算力,我们可以从 ChatGPT 的训练算力消耗中窥得一斑。OpenAI 的报告显示,训练一次 1746 亿参数的 GPT-3 模型需要的算力约为 3640PFlops-day。虽然 ChatGPT 4 的细节没有公布,但据 ARK Invest 估算,GPT-4 参数量最高达 15000 亿个,算力需求最高可达 31271 PFlops-day。

这仅仅是 ChatGPT 的训练需求 —— 在 ChatGPT 引发了广泛关注后,世界各国都在杀入大模型领域,各类大模型产品层出不穷。在不到一年的时间里,仅我国国内,就发布了不下 200 个大模型产品。

可想而知,这些大模型需要的算力将有多么恐怖。

算力基础设施面临的挑战

算力需求的暴增,对算力基础设施带来了两个方向的挑战。

一方面是计算力生产的挑战。随着摩尔定律在物理法则层面的极限到来,依赖单芯片的算力已经无法满足超大规模算力的需求,因此需要更多的芯片联合工作,就此数据中心的规模越来越大,以集群式的算力中心建设已经成为常态。

一方面是生产算力所需环境的挑战。在算力中心超大规模化发展的情况下,算力中心能源供给的充足和稳定,以及庞大能源消耗带来的热量如何有效的散发,也成为了一个需要面对的现实话题。

而这些也仅仅是 AI 大模型训练中需要的算力,随着大模型产品的落地和普及,推理型的算力需求将进入增长期,其增量将超过训练需求,长远看其算力需求总量或将与训练需求平齐甚至超越。

因此,AI 大模型带来的算力新需求不仅是技术挑战,也是基础设施发展的重要机遇。特别是在中国市场,数据中心行业的迅猛增长预示着巨大的潜力和机遇。在 12 月 12 日-14 日举办的第十八届中国 IDC 产业年度大典上,将设置多个会场和议题,邀请来自快手、世纪互联、超聚变、科大讯飞、智谱 AI、比亚迪等智算产业上下游专家、企业,共同探讨如何面对算力挑战

————

第十八届中国 IDC 产业年度盛典(IDCC2023)将于 2023 年 12 月 12-14 日在北京国家会议中心隆重举行,大会主题为“算力进化 数字开物”,聚焦算力产业热点话题,汇聚业内精英人士,共同探讨数字经济的发展方向和未来趋势。欢迎报名,现场参与!

扫码立即报名

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      一大波评论正在路上
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享