.hd-box .hd-fr

揭秘开源大模型背后的算力底座“飞星一号”

2024-02-01 14:40之家网站(-)0评

2023 年 10 月 24 日,科大讯飞携手华为,宣布首个支撑万亿参数大模型训练的万卡国产算力平台“飞星一号”正式启用。启用后的 90 多天里,讯飞星火步履不停,基于“飞星一号”,启动了对标 GPT-4 的更大参数规模的大模型训练,带来了 1 月 30 日这场讯飞星火 V3.5 升级发布。

首个基于全国产算力训练的全民开放大模型讯飞星火 V3.5 在语言理解、文本生成、知识问答、逻辑推理、数学能力、代码能力和多模态能力七个方面进行了全面升级。其中语言理解、数学能力超过 GPT-4 Turbo,代码达到 GPT-4 Turbo 96%,多模态理解达到 GPT-4V 91%。

此外,发布会上刘总宣布,深度适配国产算力的讯飞星火开源大模型“星火开源-13B”首次发布,场景应用效果领先,昇思 MindSpore 开源社区联合首发上线。iFlytekSpark-13B 拥有 130 亿参数,它在多个标准评估中展现出了卓越的性能,这些成绩的背后都离不开强大稳定的国产自主创新大模型算力底座“飞星一号”平台。

揭秘“飞星一号“

“飞星一号“是科大讯飞和华为联合发布基于昇腾生态的国内首个可以训练万亿浮点参数大模型的大规模算力平台,也是国内首个已经投产使用的全国产大模型训练集群,采用昇腾 AI 硬件训练服务器和大容量交换机构建参数面无损 ROCE 组网,配置高空间的全闪和混闪并行文件系统,可支撑万亿参数大模型高速训练。

科大讯飞在 2019 年开始投入大量的精力开展国产化移植优化的工作,并且承担了国家的多个人工智能国产化攻关经验,积累了大量的国产 AI 芯片上的模型算法移植优化经验。今年 4 月起,科大讯飞与华为联合攻关国产算力紧缺问题,讯飞发挥多年积累的算法优势,深度参与大模型底层算子库开发和优化、大模型算法迁移和超大规模集群智能化运维软件开发等工作。2023 年 6 月 2 日,讯飞与华为联合攻关行动正式启动,双方经历百日攻坚,完成了阶段成果的发布。

2023 年 8 月 15 日,科大讯飞在发布会上正式发布星火一体机。短短两个月之后,2023 年 10 月 24 日讯飞开发者节上,科大讯飞与华为联合发布首个支持万亿浮点参数大模型训练的国产万卡智能算力平台。飞星一号,正式投入使用。

“飞星一号”的关键突破

“飞星一号”的关键突破在于超大规模组网、性能极致优化和长时稳定运行三个方面。

超大规模组网:

算、存、运、管四位一体,首个支持训练万亿浮点参数大模型的大规模算力平台

基于开放的 RoCE 无损协议组网,实现流量动态负载优化

挑战极短时间内完成高复杂度集群建设工作

性能极致优化:

单机算效提升 50%

通信带宽利用率提升 40%

并行训练算法优化提升 10%

讯飞自研高性能大模型训练框架,基于昇腾芯片的大模型训练性能对标友商

长时稳定运行:

自研支持异构算力调度的大模型训练平台,实现万卡集群多机多卡的亲和调度

故障感知和自动排障能力,实现对 200 + 种软硬件故障自动分析和分级处理

打造运维自动化工具集,实现整集群升级 1 小时更新、4 小时交付

随着大模型算力需求的持续增长,“飞星一号”的进一步升级也将持续进化。基于此平台,结合各行业专有数据,可以进一步打造行业大模型,赋能千行百业。科大讯飞已联合中国人保、交通银行、中国移动、广汽、奇瑞、万科等各行业龙头发布了金融、运营商、汽车、工业、住建、文旅等 12 个行业大模型。建设城市智算平台可加速通用人工智能落地,助力产业数字化转型。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论