苹果 iPhone 上最快本地 AI 模型:Maple-Preview-20B-A1B 登场,可达 127 tokens/s

2026-08-06 14:21 IT之家 - 故渊

IT之家 8 月 6 日消息,美国独立 AI 研究实验室 DeepGrove 昨日(8 月 5 日)发布博文,发布名为 Maple-Preview 的轻量 AI 模型,在 iPhone(原文并未明确具体机型)上运行可以达到 127 tokens/s,是 Bonsai 27B (9.6 tokens/s) 的约 13 倍

IT之家附上相关对比视频如下:

Maple-Preview 模型输出约为 127 tokens/s

Bonsai 27B(9.6tokens/s)

在模型规模方面,Maple-Preview 的总参数量为 202 亿个,采用混合专家(MoE)架构,激活参数量为 14.9 亿个。

DeepGrove 表示,目前 AI 行业针对本地端侧主要依赖量化技术,但这种方式存在根本性问题,严重影响模型的性能和效率。

DeepGrove 公司提出“三值权重”(ternary-weight)方案,将权重约束并量化为三值({-1, 0, 1})),大幅降低了内存占用与计算带宽需求,该模型包含 24 层、256 个专家(8 个活跃专家),并采用 3:1 SWA-512:GA 混合注意力机制。

在能力展示上,Maple-Preview 在 MacBook Pro(M5 Pro)上完成 IMO 2024 P1,结果为 7/7,运行速度 281.5 tokens/s。

在长上下文场景下,Maple-Preview 也强调内存控制能力。相关图表把 context length(上下文长度)与维持上下文所需的额外内存占用放在同一坐标系中。结果显示,即便处理 131,000 tokens,Maple-Preview 的内存占用仍只有 7.69GB。

DeepGrove 表示,Maple-Preview 目前仍处于 preview stage(预览阶段),后续还会继续改进。公司同时希望构建一套系统,让 AI 模型能根据对话内容自动调整,并针对单个用户做优化。

文章价值:
人打分
有价值 还可以 无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      一大波评论正在路上
        取消 发送
        分享成功

        长按关注IT之家公众号
        阅读更多精彩文章

        查看更多原创好文
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享