B站开源轻量级 Index-1.9B 系列模型:2.8T 训练数据,支持角色扮演

2024-06-20 08:50IT之家 - 清源

IT之家 6 月 20 日消息,B站昨日开源了轻量级 Index-1.9B 系列模型,包含基座模型、对照组、对话模型、角色扮演模型等多个版本。

IT之家附官方简介:

  • Index-1.9B base : 基座模型,具有 19 亿非词嵌入参数量,在 2.8T 中英文为主的语料上预训练,多个评测基准上与同级别模型比处于领先。

  • Index-1.9B pure : 基座模型的对照组,与 base 具有相同的参数和训练策略,不同之处在于严格过滤了该版本语料中所有指令相关的数据,以此来验证指令对 benchmark 的影响。

  • Index-1.9B chat :基于 index-1.9B base 通过 SFT 和 DPO 对齐后的对话模型,由于预训练中引入了较多互联网社区语料,聊天的趣味性明显更强。

  • Index-1.9B character :在 SFT 和 DPO 的基础上引入了 RAG 来实现 fewshots 角色扮演定制。

据介绍,该模型在预训练阶段使用了 2.8T 规模的数据,中英比例为 4:5,代码占比 6%。目前,角色扮演模型内置了角色“三三”,用户也可以按需创建自己的角色。

项目地址:https://github.com/bilibili/Index-1.9B/blob/main/README.md

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      一大波评论正在路上
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享