.hd-box .hd-fr

不用 RLHF,匹敌 GPT-4,Meta 发布 LIMA 65B,1000 个样本性能飞升,LeCun 转赞

2023-05-25 12:49新智元(新智元)6评

RLHF 并没有那么重要!Meta 最新 650 亿参数模型 LIMA,仅用 1000 个样本,实现与 GPT-4 相匹敌的性能。

人人都知,让 ChatGPT 称霸天下的秘密武器,就是人类反馈强化学习(RLHF)。

而现在,Meta AI 等机构的爆火研究 LIMA 直接打破这一规则,直言 RLHF 并没有那么重要!

论文一出,直接在 AI 圈炸了锅!

就连 LeCun 忍不住发推炫一番:LIMA:LLaMa-65B+1000 监督样本 = GPT-4 / Bard 级别的性能。

正如标题所称,LIMA 是「Less is More for Alignment」,暗示着一个强大的预训练 AI 模型,通过几个样本就足以实现高质量的结果。

而 LIMA 仅在 1000 个精心挑选的样本上微调 LLaMa-65B,而且无需 RLHF,就实现了与 GPT-4 和 Bard 相媲美的性能。

论文地址:https://arxiv.org/abs / 2305.11206

论文中,研究人员将这一突破称为「表面对齐假设」(Superficial Alignment Hypothesis)。

实验证明了,大语言模型在预训练阶段就已习得大部分知识,仅用有限的指令微调数据,足以教会模型产生高质量的内容。

高质量的数据就可以克服小样本量?训练这样模型的成本是多少,这是否意味着小型 LLM 玩家可以与 OpenAI / 谷歌竞争?

还有网友质疑,GPT-4 在 57% 情况中击败 LIMA,还能说性能相当?

RLHF 并非王者?

大语言模型经过预训练,能在大规模上预测下一个 token,让其学习通用表征。这些表征可以转移到几乎任何语言理解或生成任务中。

为了实现这种转移,人们已经提出各种「对齐」语言模型的方法,主要侧重在百万级 token 上进行指令调优。

而最近采用较多的是,从人类反馈中进行强化学习(RLHF)。这些反馈便是在与人类标注者进行数百万次互动中收集的。

ChatGPT 令人深刻的表现,主要归功于 RLHF。根据 OpenAI 的思路,RLHF 分为三步。

然而,现有的对齐方法代价是高昂的,需要大量算力,以及专门的数据才能实现像 ChatGPT 一样的性能。

Meta AI 却要逆行其道,证明了,一个预训练语言模型可以通过简单地微调精心挑选的 1000 个样本,就能实现强大的性能。

在此,研究人员提出「表面对齐假设」(Superficial Alignment Hypothesis),假设「对齐」可以是一个简单的过程,。

在这个过程中,模型的知识和能力几乎完全是在预训练期间学习的,而「对齐」只告诉模型学习与用户交互的风格或格式

为了验证这个假设,Meta 等研究者挑选了 1000 个近似于真实用户提示,以及高质量响应的样本。

他们从其他研究论文、WikiHow、StackExchange 和 Reddit 等来源进行手动挑选,训练数据的总量大约是 750,000 个 token。

训练提示(输入)、响应(输出)以及测试提示的来源

此外,研究者手动编写了 250 个提示和响应的样本,同时对任务的多样性进行了优化。

最后,研究人员对预训练 LLaMa 65B 模型在 1000 个样本集上进行微调,并进行了人类评估。

评估结果

Meta 将 LIMA 与 5 个模型基准进行了比较:(在 2023 年 4 月期间,对所有基准的响应进行了采样)

Alpaca 65B—— 利用 52,000 个样本对 LLaMa 65B 微调后得到的大模型

DaVinci003—— 基于 RLHF 训练的大语言模型

Bard—— 基于谷歌的 PaLM 模型

Claude—— 通过强化学习 Constitutional AI 训练的 52B 参数模型

GPT-4—— 目前使用 RLHF 训练的最强的模型

为了比较 LIMA 和其他 SOTA 模型,Meta 为每个测试提示生成一个单一的响应。

然后,要求人类参与者将 LIMA 的输出与每个基准进行比较,并标记他们更喜欢哪一个。

在人类偏好研究中,尽管 Alpaca 65B 的训练数据量是 LIMA 的 52 倍,但它产生的输出往往比 LIMA 的不如人意。

让人大跌眼镜的是,DaVinci003 也是同样的情况,虽然程度较小。该模型使用了 RLHF 进行训练,这本应是一种更优越的对齐方法。

而 Bard 在 42% 的时间中,其产生的回答优于 LIMA。这也意味着,剩下的 58% 时间里,LIMA 的响应至少和 Bard 一样优秀。

最后,研究者发现,虽然 Claude 和 GPT-4 通常表现得比 LIMA 更好,但在一些情况下,LIMA 实际上能产生更好的回答。

另外,讽刺的是,在 GPT-4 的偏好研究中,有 19% 的时间,GPT-4 更喜欢 LIMA 的输出。

「表面对齐假设」

Meta 将这一发现定义为「表面对齐假设」(Superficial Alignment Hypothesis)。

它表明,所谓预训练后的对齐阶段,主要是让模型学会一种特定的风格或格式,这种风格或格式在与用户交互时可以被模型回忆起来。

因此,「微调」更多是关于风格,而不是实质。

LIMA 的结果表明,实际上,利用简单的方法就可以解决对齐和微调 AI 模型这类复杂问题。

这与诸如 OpenAI 的 RLHF 那些,特别繁琐和复杂的微调过程,形成了鲜明的对比。

不过,LIMA 也不是万能的。Meta 认为,该方法存在两个明显的局限:

第一,用高质量的示例构建数据集是一种非常具有挑战性的方法,很难扩展。

第二,LIMA 并不像已经有产品的模型那样强大,比如 GPT-4。

团队表示,虽然 LIMA 的生成结果,在大部分情况下质量都很高。但一个「对抗性的提示」或一个「不走运的样本」,依然会让模型产生不理想的答案。

Yann LeCun 对 GPT-4 和类似模型背后努力的相对贬值采取了务实的看法。

他将大型语言模型看作是近期的一个元素,至少在中期内不会「在没有重大变化」的情况下发挥作用。

以上,主要评估是根据最先进的模型对 LIMA 进行评估,但需要明确的是,其中一些模型实际上已经在训练期间使用了数百万真实用户的提示。

对此,研究人员通过手动分析 50 个随机示例来进行绝对的评估。

并将每个示例标记成 3 个类别:Fail,响应不符合提示符的要求;Pass,响应符合;Excellent,对提示提供了优秀的响应。

实验结果显示,50% 的 LIMA 回答被认为是优秀的,它能够遵循所有的 50 个分析提示中的 44 个。

如下,LIMA 针对育儿建议和生成食谱的示例进行的输出。

另外,一个仅在 1000 个样本上微调的模型在多轮对话中表现又如何?

在零样本上,LIMA 的响应出奇地连贯,并引用了前面对话的信息。在 10 次对话中,LIMA 有 3 次未能遵循提示。

为了提高对话能力,研究人员收集了 30 个多轮对话。其中 10 个是由作者手动编写,20 个来自 Stack Exchange,并根据助手风格进行编辑。

研究者使用组合的 1,030 个示例对预训练模型进行微调,得到一个新版本的 LIMA,并针对相同的提示进行了 10 次实时对话。

实验发现加入这 30 个示例后生成质量显著提升,优质响应比例从 45.2%提高到 76.1%!

LIMA 如何以「少」胜「多」

团队通过消融实验,研究了训练数据多样性、质量和数量的影响。

Meta 发现,为了对齐目的,提高输入多样性和输出质量有可测量的正面效应,而单独增加数量却没有。

实验设置

团队在各种数据集上微调了一个拥有 70 亿参数的 LLaMa 模型,并控制了相同的超参数。

团队对每个测试集提示抽取 5 个回应,并通过让 ChatGPT(GPT-3.5 Turbo)在 1-6 的 Likert 量表上评级回应的帮助性来评估回应质量。

多样性

为了测试提示多样性的影响,同时控制质量和数量,团队比较了在质量过滤后的 Stack Exchange 数据和 wikiHow 数据上的训练效果。

图 5 显示,更多样的 Stack Exchange 数据显著提升了模型的性能。

质量

为了测试响应质量的影响,团队从 Stack Exchange 抽取了 2000 个没有任何质量或风格过滤的示例,并比较了在这个数据集和过滤后的数据集上训练的模型。

图 5 显示,在过滤和未过滤的数据源上训练的模型之间存在着 0.5 点的差异。

数量

在众多机器学习设置中,都会采用增加示例数量的策略,来提升性能。

为了测试其影响,团队从 Stack Exchange 中抽取了呈指数增长的训练集。

但实际上,如图 6 所示,数据翻倍的训练集并未改善响应质量。

如此一来也暗示了,对齐的规模法则不必然只受数量影响,而更可能是在保持高质量响应的同时,提升提示的多样性。

作者介绍

Chunting Zhou 是 Meta AI 的一名研究科学家。

2022 年 5 月,她在卡内基梅隆大学语言技术研究所获得博士学位,在那里从事自然语言处理工作,导师是 Graham Neubig。Zhou 的主要研究兴趣在于自然语言处理和机器学习的交叉领域,并对开发对分布变化具有鲁棒性的方法感兴趣,目的是学习模型能够在各种群体中表现统一。

此外,Zhou 还研究生成模型,及其在自然语言处理任务中的应用。

参考资料:

本文来自微信公众号:新智元 (ID:AI_era)

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论