英伟达发布 80 亿参数新 AI 模型:精度、效率高,可在 RTX 工作站上部署

2024-08-23 07:32IT之家 - 故渊

IT之家 8 月 23 日消息,英伟达于 8 月 21 日发布博文,发布了 Mistral-NeMo-Minitron 8B 小语言 AI 模型,具备精度高、计算效率高等优点,可在 GPU 加速的数据中心、云和工作站上运行模型。

英伟达携手 Mistral AI 上月发布开源 Mistral NeMo 12B 模型,在此基础上英伟达再次推出更小的 Mistral-NeMo-Minitron 8B 模型,共 80 亿个参数,可以在搭载英伟达 RTX 显卡的工作站上运行。

英伟达表示通过宽度剪枝(width-pruning)Mistral NeMo 12B,并知识蒸馏(knowledge distillation)轻度重新训练后获得 Mistral-NeMo-Minitron 8B,相关成果发表在《Compact Language Models via Pruning and Knowledge Distillation》论文中。

剪枝通过去除对准确率贡献最小的模型权重来缩小神经网络。在 "蒸馏" 过程中,研究小组在一个小型数据集上重新训练剪枝后的模型,以显著提高通过剪枝过程而降低的准确率。

就其规模而言,Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中遥遥领先。这些基准涵盖了各种任务,包括语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。IT之家附上相关测试结果如下:

参考

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      一大波评论正在路上
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享