.hd-box .hd-fr

字节跳动豆包大模型团队开源MoE架构优化技术,训练成本节省40%

2025-03-10 17:42IT之家(远洋)7评
感谢IT之家网友HH_KK某咸鱼的小号的线索投递!

IT之家 3 月 10 日消息,字节跳动豆包大模型团队官宣开源一项针对 MoE(混合专家模型)架构的关键优化技术,可将大模型训练效率提升 1.7 倍,成本节省 40%。据悉,该技术叫做 COMET,已实际应用于字节的万卡集群训练,累计帮助节省了数百万 GPU 小时训练算力。

IT之家注意到,早前豆包团队发布了新一代稀疏架构 UltraMem,将模型推理成本砍掉 83%,此次,又开源了 COMET,向模型训练成本出手。

目前,COMET 核心代码已开源,并计划兼容 Triton 等编译生态。

论文链接:https://arxiv.org/pdf/2502.19811

开源地址:https://github.com/bytedance/flux

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论