.hd-box .hd-fr

Cerebras 推出全球最快 AI 推理解决方案,速度是英伟达方案的 20 倍

2024-08-28 09:51IT之家(远洋)6评

IT之家 8 月 28 日消息,Cerebras Systems 今日宣布推出 Cerebras Inference,官方称这是全球最快的 AI 推理解决方案。该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token,为 Llama 3.1 70B 提供每秒 450 个 token,速度是微软 Azure 等超大规模云中提供的基于英伟达 GPU 的 AI 推理解决方案的 20 倍。

除了令人难以置信的性能之外,这款新型推理解决方案的定价也比流行的 GPU 云低得多,起价仅为每百万个 token 10 美分,从而为 AI 工作负载提供 100 倍更高的性价比。

该方案将允许 AI 应用程序开发人员构建下一代 AI 应用程序,而不会影响速度或成本。该方案使用了 Cerebras CS-3 系统及其 Wafer Scale Engine 3(WSE-3)AI 处理器,其中 CS-3 的内存带宽是 Nvidia H100 的 7000 倍,解决了生成式 AI 的内存带宽技术挑战。

据IT之家了解,Cerebras Inference 提供以下三个层级:

Cerebras 团队称:“凭借创纪录的性能、业界领先的定价和开放的 API 访问,Cerebras Inference 为开放的 LLM 开发和部署设定了新标准。作为唯一能够同时提供高速训练和推理的解决方案,Cerebras 为 AI 开辟了全新的可能性。”

AI 领域正在迅速发展,虽然英伟达目前在 AI 市场占据主导地位,但 Cerebras 和 Groq 等公司的出现预示着行业动态可能发生变化。随着对更快、更具成本效益的 AI 推理解决方案需求的不断增加,这些挑战者在颠覆英伟达的霸主地位,尤其是在推理领域方面。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论