.hd-box .hd-fr

蚂蚁百灵开源 Ling-3.1-flash AI 模型,最高支持 1M 上下文

2026-10-16 06:58IT之家(沁沧(实习))7评
感谢IT之家网友Alita的迷弟的线索投递!

IT之家 10 月 16 日消息,蚂蚁百灵昨日宣布开源 Ling-3.1-flash 模型,Ling-3.1-flash 总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。

在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41、输出速度约为每秒 210 Token。

针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约534GB 降至 292GB。在对应的 Hopper GPU 测试配置中,服务部署由8 卡降至 4 卡,让具备服务器级 GPU 的团队以更少卡数运行模型;实际需求仍随上下文、并发量和服务配置而变。

针对长资料处理,团队提供长上下文并行推理方案(PCP / DCP);工具调用也加强了对 JSON Schema 的支持,方便与现有业务接口对接。

企业知识问答、办公助手常要先读取较长资料,用户仍希望尽快看到回复。团队通过算子融合与 DSpark 投机解码减少推理开销:在平均输入约 25.47K Token、输出约 224 Token、缓存命中率为 76% 的模拟生产请求中,8 卡 Hopper配置下的平均首 Token 时间为604 毫秒,相邻输出 Token 平均间隔为3.28 毫秒。这为长资料输入后的交互响应提供测试参考。

持续提供服务的业务系统,还需要在固定 GPU 预算内评估单实例能承接多少请求。在平均输入约 8.5K Token、输出约 800 Token 的4 卡 Hopper吞吐测试中,模型达到约1.36 QPS,同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的测试约束。这为自有部署的容量规划提供参考。

在线体验方面,Ling-3.1-flash 目前提供限时 2.5 折优惠,优惠后价格如下:

IT之家附开源链接:

相关阅读:

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论