.hd-box .hd-fr

谷歌推出 Cappy “打分”框架,可评估 AI 准确性“教模型更聪明”

2024-03-17 16:18IT之家(漾仔)3评

IT之家 3 月 17 日消息,据谷歌官方新闻稿,谷歌近日推出了一项名为 Cappy 的模型打分框架,该框架以 RoBERTa 语言模型为基础,主要用于检测模型输出的内容,并为相关内容打分,之后相关分数将会作为参考基准让模型学习,从而让模型更聪明

▲ 图源 谷歌官方新闻稿(下同)

此外,Cappy 框架也可以作为大语言模型的“候选机制”,该框架可以内置在模型中,并对模型预输出的内容生成分数,并选择分数最高的回应作为最终输出,以提高大语言模型输出内容的正确性。

研究人员提到,相对于业界其他方案,Cappy 框架的 RAM 用量更低,这是由于相关框架无需访问模型参数,因此该框架也能够兼容各种闭源大模型,包括仅支持通过 Web API 访问的模型。

IT之家从报告中得知,研究人员使用 PromptSource 的 11 项语言理解分类任务中测试 Cappy 框架,该框架虽然仅拥有 3.6 亿参数,但报告显示该框架的实际纠错性能优于规模更大的 OPT-175B 和 OPT-IML-30B 模型,因此具有一定前瞻意义。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论