Meta 人工智能开发失误,不用 GPU 导致落后对手
4 月 25 日消息,一份内部备忘录显示,2022 年夏末,Meta 首席执行官马克・扎克伯格(Mark Zuckerberg)召集公司高管团队,分析公司计算能力长达五个小时,特别是处理尖端人工智能的能力。
备忘录指出,尽管 Meta 在人工智能研究方面进行了高调的投资、并且公司越来越依赖人工智能来支持其增长,但在主要业务采用昂贵的人工智能优化软硬件系统上,这家社交媒体巨头的速度比较缓慢,这妨碍了其在规模扩张中跟上创新步伐的能力。如果要支持人工智能工作,Meta 需要“从根本上改变我们的物理基础设施设计、软件系统以及提供稳定平台的方法”。
据公司披露,此次改组使 Meta 的资本支出每季度增加了约 40 亿美元(IT之家备注:当前约 276 亿元人民币),几乎是 2021 年的两倍,并导致其暂停或取消了在四个地点建立数据中心的计划。
而 Meta 正面临着严峻财务困境,自去年 11 月以来,该公司一直在进行规模空前的裁员。
与此同时,去年 11 月 ChatGPT 横空出世,引发了科技巨头之间的竞争,它们纷纷发布生成式 AI 产品。而五位消息人士称,生成式 AI 需要大量的计算能力,这加剧了 Meta 扩容的紧迫性。
消息人士透露,Meta 在人工智能上应用 GPU 较为缓慢是主要问题之一。GPU 芯片非常适合人工智能处理,因为它们可以同时执行大量任务,缩短了处理数十亿条数据所需的时间。然而消息人士称,GPU 芯片价格较高,芯片制造商 Nvidia 控制着 80% 的市场,并在相应的软件方面保持领先地位。
直到去年,Meta 主要使用大量普通 CPU 来运行 AI 工作负载。CPU 是计算机世界的主力芯片,虽然已经称霸数据中心几十年,但其在人工智能工作方面表现不佳。
这导致竞争对手在 AI 领域的发展超过了 Meta。他们使用 GPU 芯片并拥有更好的 AI 软件,因此能够更快地开发新的 AI 产品和服务。
据两位消息人士透露,Meta 公司还开始使用自己内部设计的定制芯片来训练 AI。但到了 2021 年,这种双管齐下的方法被证明比以 GPU 为核心构建的方法更慢、效率更低效。GPU 芯片在运行不同类型的模型方面也比 Meta 的芯片更加灵活,这两位消息人士说。
后来,随着扎克伯格将公司转向元宇宙,算力不足使得公司无法应对威胁,包括 TikTok 的崛起和苹果主导的广告隐私变化。
这些问题引起了前 Meta 董事会成员彼得・蒂尔(Peter Thiel)的关注。2022 年初,他辞去了职务,没有解释原因。据两位知情人士透露,在他离任前的一次董事会会议上,蒂尔指出扎克伯格和他的高管们过于专注于元宇宙的发展,而忽视了 Meta 的核心社交媒体业务,这让公司容易受到 TikTok 等竞争对手的挑战。
Meta 曾计划在 2022 年推出定制芯片,但后来放弃,转而在同年订购了数十亿美元的 Nvidia GPU 芯片。此时 Meta 已经落后于谷歌等同行,后者在 2015 年开始部署自己定制的 GPU 版本,称为 TPU。
Meta 接下来开始重组人工智能部门,任命了两位新的工程师领导。在这段时间内,数十位高管离开了 Meta 公司,几乎全部更换了人工智能基础设施领导层。
接下来,Meta 公司开始改造其数据中心,以适应引进的 GPU,这些芯片需要更多的功率和产生更多的热量,必须紧密地聚集在一起,并在它们之间进行专门的网络连接。这项工作需要大量的网络容量和新的液冷系统来管理集群的热量,因此需要对它们进行“完全重新设计”。
随着工作的推进,Meta 开始内部计划开发一款更为雄心勃勃的新型芯片,类似于 GPU,既能训练人工智能模型,又能进行推理。两位消息人士透露,该项目将于 2025 年左右完成。
Meta 的发言人 Jon Carvill 拒绝就芯片项目发表评论。
虽然 Meta 正在扩大 GPU 规模,但微软和谷歌等公司正在推广商业生成式人工智能产品,而 Meta 在这方面没有太多实质性进展。
Meta 首席财务官在二月份承认,公司目前没有将大部分计算能力用于生成式工作。她说:“基本上我们所有的人工智能能力都用于广告、动态消息和 Reels。”Reels 是 Meta 公司类似于 TikTok 的短视频,广受年轻用户欢迎。
据四位消息人士透露,Meta 公司直到 ChatGPT 在去年 11 月份推出后,才开始优先考虑开发生成式人工智能产品。虽然公司的 AI 研究部门自 2021 年底以来一直在发布技术原型,但没有专注于将其转化为产品。然而,随着投资者的兴趣不断高涨,扎克伯格在今年 2 月份宣布成立了一支新的高层次生成式人工智能团队,他说这个团队将“加速”该公司在这一领域的工作。
首席技术官安德鲁・博斯沃思也在本月表示,生成式人工智能是他和扎克伯格花费最多时间的领域,并预测 Meta 公司将在今年推出新产品。
两位熟悉新团队的人士表示,该团队的工作处于早期阶段,主要是构建基础模型,这是一种核心程序,以后可以进行微调和适应不同的产品。
Meta 公司发言人 Carvill 表示,该公司已经在不同的团队上开发生成式人工智能产品超过一年了。他确认,在 ChatGPT 推出后的几个月里,这项工作加速了。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。