.hd-box .hd-fr

华为计算:KunLun AI Space 基于昇腾实现 DeepSeek V3.1 FP8 推理,成本减半

2025-10-28 20:38IT之家(归泷)0评
感谢IT之家网友Autumn_Dream的线索投递!

IT之家 10 月 28 日消息,近期发布的 DeepSeek V3.1 大模型,因搭载了 FP8 精度格式(UE8M0 FP8)引发业界关注。据华为计算今日消息,河南昆仑技术有限公司(简称“昆仑技术”)基于昇腾 AI 的 Ascend C 算子编程语言,研发出软 FP8 解决方案

据介绍,FP8 精度格式对比传统的 FP16 / BF16 精度能让模型的显存需求直接减半,降低服务器硬件压力;对比常见的 INT8 量化精度,推理精度更高、数据表示范围更广,解决了“降成本”与“保效果”的矛盾。

▲ 图源:KunLun AI Space 官网截图

该方案实现了“精度无损、成本减半”双重核心突破:

昆仑技术的软 FP8 解决方案拥有三大核心技术:自研 FP8 反量化算子,显存与内存带宽双减半;算子整图下发,推理效率提升 32%;生态级兼容:主流模型无缝支持。

IT之家从华为计算获悉,KunLun AI Space 软 FP8 解决方案全面兼容 DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3 等主流 FP8 量化模型。同时,该方案具备很好的扩展性,可以快速支持后续新出的模型。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论