RLHF 并没有那么重要！Meta 最新 650 亿参数模型 LIMA，仅用 1000 个样本，实现与 GPT-4 相匹敌的性能。
人人都知，让 ChatGPT 称霸天下的秘密武器，就是人类反馈强化学习（RLHF）。
而现在，Meta AI 等机构的爆火研究 LIMA 直接打破这一规则，直言 RLHF 并没有那么重要！
论文一出，直接在 AI 圈炸了锅！
就连 LeCun 忍不住发推炫一番：LIMA：LLaMa-65B+1000 监督样本 = GPT-4 / Bard 级别的性能。
正如标题所称，LIMA 是「Less is More for Alignment」，暗示着一个强大的预训练 AI 模型，通过几个样本就足以实现高质量的结果。
而 LIMA 仅在 1000 个精心挑选的样本上微调 LLaMa-65B，而且无需 RLHF，就实现了与 GPT-4 和 Bard 相媲美的性能。
论文中，研究人员将这一突破称为「表面对齐假设」（Superficial Alignment Hypothesis）。
实验证明了，大语言模型在预训练阶段就已习得大部分知识，仅用有限的指令微调数据，足以教会模型产生高质量的内容。
高质量的数据就可以克服小样本量？训练这样模型的成本是多少，这是否意味着小型 LLM 玩家可以与 OpenAI / 谷歌竞争？
还有网友质疑，GPT-4 在 57% 情况中击败 LIMA，还能说性能相当？
大语言模型经过预训练，能在大规模上预测下一个 token，让其学习通用表征。这些表征可以转移到几乎任何语言理解或生成任务中。
为了实现这种转移，人们已经提出各种「对齐」语言模型的方法，主要侧重在百万级 token 上进行指令调优。
而最近采用较多的是，从人类反馈中进行强化学习（RLHF）。这些反馈便是在与人类标注者进行数百万次互动中收集的。
ChatGPT 令人深刻的表现，主要归功于 RLHF。根据 OpenAI 的思路，RLHF 分为三步。
然而，现有的对齐方法代价是高昂的，需要大量算力，以及专门的数据才能实现像 ChatGPT 一样的性能。
Meta AI 却要逆行其道，证明了，一个预训练语言模型可以通过简单地微调精心挑选的 1000 个样本，就能实现强大的性能。
在此，研究人员提出「表面对齐假设」（Superficial Alignment Hypothesis），假设「对齐」可以是一个简单的过程，。
在这个过程中，模型的知识和能力几乎完全是在预训练期间学习的，而「对齐」只告诉模型学习与用户交互的风格或格式
为了验证这个假设，Meta 等研究者挑选了 1000 个近似于真实用户提示，以及高质量响应的样本。
他们从其他研究论文、WikiHow、StackExchange 和 Reddit 等来源进行手动挑选，训练数据的总量大约是 750,000 个 token。
训练提示（输入）、响应（输出）以及测试提示的来源
此外，研究者手动编写了 250 个提示和响应的样本，同时对任务的多样性进行了优化。
最后，研究人员对预训练 LLaMa 65B 模型在 1000 个样本集上进行微调，并进行了人类评估。
Meta 将 LIMA 与 5 个模型基准进行了比较：（在 2023 年 4 月期间，对所有基准的响应进行了采样）
Alpaca 65B—— 利用 52,000 个样本对 LLaMa 65B 微调后得到的大模型
DaVinci003—— 基于 RLHF 训练的大语言模型
Bard—— 基于谷歌的 PaLM 模型
Claude—— 通过强化学习 Constitutional AI 训练的 52B 参数模型
GPT-4—— 目前使用 RLHF 训练的最强的模型
为了比较 LIMA 和其他 SOTA 模型，Meta 为每个测试提示生成一个单一的响应。
然后，要求人类参与者将 LIMA 的输出与每个基准进行比较，并标记他们更喜欢哪一个。
在人类偏好研究中，尽管 Alpaca 65B 的训练数据量是 LIMA 的 52 倍，但它产生的输出往往比 LIMA 的不如人意。
让人大跌眼镜的是，DaVinci003 也是同样的情况，虽然程度较小。该模型使用了 RLHF 进行训练，这本应是一种更优越的对齐方法。
而 Bard 在 42% 的时间中，其产生的回答优于 LIMA。这也意味着，剩下的 58% 时间里，LIMA 的响应至少和 Bard 一样优秀。
最后，研究者发现，虽然 Claude 和 GPT-4 通常表现得比 LIMA 更好，但在一些情况下，LIMA 实际上能产生更好的回答。
另外，讽刺的是，在 GPT-4 的偏好研究中，有 19% 的时间，GPT-4 更喜欢 LIMA 的输出。
Meta 将这一发现定义为「表面对齐假设」（Superficial Alignment Hypothesis）。
它表明，所谓预训练后的对齐阶段，主要是让模型学会一种特定的风格或格式，这种风格或格式在与用户交互时可以被模型回忆起来。
因此，「微调」更多是关于风格，而不是实质。
LIMA 的结果表明，实际上，利用简单的方法就可以解决对齐和微调 AI 模型这类复杂问题。
这与诸如 OpenAI 的 RLHF 那些，特别繁琐和复杂的微调过程，形成了鲜明的对比。
不过，LIMA 也不是万能的。Meta 认为，该方法存在两个明显的局限：
第一，用高质量的示例构建数据集是一种非常具有挑战性的方法，很难扩展。
第二，LIMA 并不像已经有产品的模型那样强大，比如 GPT-4。
团队表示，虽然 LIMA 的生成结果，在大部分情况下质量都很高。但一个「对抗性的提示」或一个「不走运的样本」，依然会让模型产生不理想的答案。
Yann LeCun 对 GPT-4 和类似模型背后努力的相对贬值采取了务实的看法。
他将大型语言模型看作是近期的一个元素，至少在中期内不会「在没有重大变化」的情况下发挥作用。
以上，主要评估是根据最先进的模型对 LIMA 进行评估，但需要明确的是，其中一些模型实际上已经在训练期间使用了数百万真实用户的提示。
对此，研究人员通过手动分析 50 个随机示例来进行绝对的评估。
并将每个示例标记成 3 个类别：Fail，响应不符合提示符的要求；Pass，响应符合；Excellent，对提示提供了优秀的响应。
实验结果显示，50% 的 LIMA 回答被认为是优秀的，它能够遵循所有的 50 个分析提示中的 44 个。
如下，LIMA 针对育儿建议和生成食谱的示例进行的输出。
另外，一个仅在 1000 个样本上微调的模型在多轮对话中表现又如何？
在零样本上，LIMA 的响应出奇地连贯，并引用了前面对话的信息。在 10 次对话中，LIMA 有 3 次未能遵循提示。
为了提高对话能力，研究人员收集了 30 个多轮对话。其中 10 个是由作者手动编写，20 个来自 Stack Exchange，并根据助手风格进行编辑。
研究者使用组合的 1,030 个示例对预训练模型进行微调，得到一个新版本的 LIMA，并针对相同的提示进行了 10 次实时对话。
实验发现加入这 30 个示例后生成质量显著提升，优质响应比例从 45.2％提高到 76.1％！
团队通过消融实验，研究了训练数据多样性、质量和数量的影响。
Meta 发现，为了对齐目的，提高输入多样性和输出质量有可测量的正面效应，而单独增加数量却没有。
团队在各种数据集上微调了一个拥有 70 亿参数的 LLaMa 模型，并控制了相同的超参数。
团队对每个测试集提示抽取 5 个回应，并通过让 ChatGPT（GPT-3.5 Turbo）在 1-6 的 Likert 量表上评级回应的帮助性来评估回应质量。
为了测试提示多样性的影响，同时控制质量和数量，团队比较了在质量过滤后的 Stack Exchange 数据和 wikiHow 数据上的训练效果。
图 5 显示，更多样的 Stack Exchange 数据显著提升了模型的性能。
为了测试响应质量的影响，团队从 Stack Exchange 抽取了 2000 个没有任何质量或风格过滤的示例，并比较了在这个数据集和过滤后的数据集上训练的模型。
图 5 显示，在过滤和未过滤的数据源上训练的模型之间存在着 0.5 点的差异。
在众多机器学习设置中，都会采用增加示例数量的策略，来提升性能。
为了测试其影响，团队从 Stack Exchange 中抽取了呈指数增长的训练集。
但实际上，如图 6 所示，数据翻倍的训练集并未改善响应质量。
如此一来也暗示了，对齐的规模法则不必然只受数量影响，而更可能是在保持高质量响应的同时，提升提示的多样性。
Chunting Zhou 是 Meta AI 的一名研究科学家。
2022 年 5 月，她在卡内基梅隆大学语言技术研究所获得博士学位，在那里从事自然语言处理工作，导师是 Graham Neubig。Zhou 的主要研究兴趣在于自然语言处理和机器学习的交叉领域，并对开发对分布变化具有鲁棒性的方法感兴趣，目的是学习模型能够在各种群体中表现统一。
此外，Zhou 还研究生成模型，及其在自然语言处理任务中的应用。
参考资料：
https://arxiv.org/abs/2305.11206
本文来自微信公众号：新智元 （ID：AI_era）
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。