.hd-box .hd-fr

商汤绝影行业首发原生多模态大模型车端部署:80 亿参数、每秒 40 Tokens

2024-07-19 10:44IT之家(沛霖(实习))13评

IT之家 7 月 19 日消息,商汤科技联合创始人、首席科学家王晓刚 17 日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内推理速度 40 Tokens / 秒,覆盖主流算力平台。

商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。

商汤绝影称 HyperPPL针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。

据IT之家此前报道,商汤绝影此前表示,深圳首条自动驾驶公交线路采用其车辆与技术所有驾驶操作都无需人员介入。

明年上千 TOPS 算力的车载芯片(英伟达 Thor)就会问世。基于更高算力的计算平台,商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低,推理速度进一步提高。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论