Meta 全新发布的基准 Multi-IF 涵盖八种语言、4501 个三轮对话任务，全面揭示了当前 LLM 在复杂多轮、多语言场景中的挑战。所有模型在多轮对话中表现显著衰减，表现最佳的 o1-preview 模型在三轮对话的准确率从 87.7% 下降到 70.7%；在非拉丁文字语言上，所有模型的表现显著弱于英语。
在大语言模型（LLMs）不断发展的背景下，如何评估这些模型在多轮对话和多语言环境下的指令遵循（instruction following）能力，成为一个重要的研究方向。
现有评估基准多集中于单轮对话和单语言任务，难以揭示复杂场景中的模型表现。
最近，Meta GenAI 团队发布了一个全新基准 Multi-IF，专门用于评估 LLM 在多轮对话和多语言指令遵循 (instruction following) 中的表现，包含了 4501 个三轮对话的多语言指令任务，覆盖英语、中文、法语、俄语等八种语言，以全面测试模型在多轮、跨语言场景下的指令执行能力。
论文链接：https://arxiv.org/abs/2410.15553
Multi-IF下载链接：https://huggingface.co/datasets/facebook/Multi-IF
实验结果表明，多数 LLM 在多轮对话中表现出显著的性能衰减。
例如，表现最佳的 o1-preview 模型在第一轮指令的平均准确率为 87.7%，但到第三轮下降至 70.7%
此外，非拉丁文字语言（如印地语、俄语和中文）的错误率明显更高，反映出模型在多语言任务中的局限性。这些发现展示了当前 LLM 在处理复杂多轮和多语言指令任务上的挑战和改进空间。
Multi-IF 的发布为研究人员提供了更具挑战性的评估基准，有望推动 LLM 在全球化、多语言应用中的发展。
Multi-IF 数据集的构建过程经过了多轮精细的设计和筛选，既有模型也有人类专家的参与。
多轮扩展
首先，研究团队基于已有的单轮指令遵循数据集 IFEval，将每个单轮指令扩展为多轮指令序列。通过随机采样和模型生成，研究团队为每个初始指令增加了两轮新指令，形成一个完整的三轮对话场景。
首先随机采样一个指令类型（Intruction Type）比如「字数限制」、「限制输出格式为列表」、「添加特定关键短语」等等，然后将之前的指令和这个指令类型提供给语言模型，让它生成一个符合上下文的指令，比如「旅行计划不超过 400 词」；随机采样可能导致指令之间存在冲突。
为了确保多轮指令的逻辑一致性和层次递进性，研究团队设计了一套两步冲突过滤机制：
1. 模型过滤：使用 Llama 3.1 405B 模型自动检测可能存在矛盾的指令组合。例如，如果第一轮要求生成详细描述，而第二轮要求简洁总结，这种冲突指令会被筛选出来。
2. 人工审核：在初步过滤后，团队通过人工标注对指令进行细化和调整，以确保每一轮指令既具有挑战性又保持逻辑连贯。
多语言扩展
为了提高数据集的多语言适用性，研究团队采用了以下方法将数据集从英文扩展至多语言版本：
1. 自动翻译：使用 Llama 3.1 405B 模型将原始英语指令翻译为中文、法语、俄语、印地语、西班牙语、意大利语和葡萄牙语七种语言。
2. 人工校对：翻译结果经过语言专家的人工审校，以确保在语义和语法上贴合各语言的自然使用习惯，同时消除因翻译可能带来的歧义或误导。
这一多轮扩展和多语言适配的构建流程，使 Multi-IF 成为全面评估 LLM 指令遵循能力的强大工具。
在 Multi-IF 基准上，Meta 团队对 14 种最先进的大语言模型（LLMs）进行了评估，涵盖了 OpenAI 的 o1-preview、o1-mini，GPT-4o，Llama 3.1（8B、70B 和 405B），Gemini 1.5 系列，Claude 3 系列，Qwen-2.5 72B，以及 Mistral Large 等。
实验显示，整体上 o1-preview 和 Llama 3.1 405B 表现最佳，在平均准确率上领先其他模型。特别是在多轮指令任务中，o1-preview 和 Llama 3.1 405B 模型在三轮指令的平均准确率分别为 78.9% 和 78.1%，展现了较高的指令遵循能力。
多轮对话中的指令遵循
实验表明，所有模型在多轮对话中的指令遵循准确率随着轮次增加而显著下降。这种下降在某些模型中尤为明显，如 Qwen-2.5 72B 在第一轮准确率较高，但在后续轮次中的表现迅速下滑。
相比之下，o1-preview 和 Llama 3.1 405B 在多轮任务中的准确率相对稳定，展现出较强的持续指令遵循能力。总体而言，这些结果说明，多轮对话对当前 LLM 构成了较大挑战，模型在多轮次中遵循指令的能力有待提高。
多轮对话中的指令遗忘
在多轮对话中，模型往往出现「指令遗忘」现象，即在后续轮次中未能遵循前一轮成功执行的指令，研究团队引入了「指令遗忘率」（Instruction Forgetting Ratio, IFR）来量化这种现象。
IFR 值表明，高性能模型如 o1-preview 和 Llama 3.1 405B 在多轮对话中的遗忘率相对较低，而有些模型比如 Gemini 在 IFR 值上明显偏高，表现出较高的指令遗忘倾向。
此外，对于 Llama 3.1 系列模型，随着模型规模从 8B 扩展到 405B，其指令遗忘率（即 IFR）逐渐降低。这表明，增大模型规模可以有效提升其在多轮对话中保持指令一致性的能力。
多轮对话中的自我纠正
模型在多轮任务中是否能够纠正之前的错误也是一个重要的性能衡量标准，实验通过计算「错误自我修正率」（Error Correction Ratio, ECR）来评估这一能力。
结果显示，o1-preview 和 o1-mini 在错误自我修正方面表现突出，能够在后续轮次中纠正约 25% 的之前未遵循的指令。这些模型似乎能够利用某种“反思”能力来提高指令执行的水平。
相比之下，其他模型在自我修正方面表现一般，这一结果表明，具备反思能力的模型在多轮任务中能够更好地处理错误并提升指令遵循的稳定性。
多语言指令遵循
在多语言环境下，模型的指令遵循能力表现出显著的语言差异。实验显示，英语的指令执行准确率普遍最高，尤其是在 Llama 3.1 405B 模型上，英语准确率接近 0.85。法语和意大利语的表现也较为接近英语，而俄语、印地语和中文等非拉丁文字的准确率则明显较低。
例如，o1-preview 模型在俄语和印地语中的准确率低于其在英语、法语等语言中的表现。总体而言，非拉丁文字语言的错误率高于拉丁文字语言，这在多语言指令任务中尤为突出。
实验结果还表明，不同模型在多语言指令遵循中的表现存在一定差异。o1-preview 在所有语言中的表现相对稳定，并在中文、西班牙语、意大利语和印地语中稍胜 Llama 3.1 405B，而 GPT-4o 的表现则略逊于前两者。
平均而言，非拉丁文字的语言往往会出现更高的指令遵循错误，表明当前模型在多语言环境，尤其是对非拉丁文字的支持方面，仍有提升空间。
这些结果反映出，尽管现有的先进 LLM 在多语言任务上已经展现出一定的能力，但在处理俄语、印地语和中文等非拉丁文字语言的指令遵循任务时仍存在明显的局限性。这也为未来多语言模型的改进指出了明确的方向。
综上所述，Multi-IF 基准通过多轮对话和多语言环境的复杂指令任务，揭示了当前大语言模型在指令遵循能力上的不足之处。
实验结果表明，多数模型在多轮任务中存在准确率下降和指令遗忘的问题，且在非拉丁文字的多语言任务中表现较差。Multi-IF 为进一步提升 LLM 的多轮对话和跨语言指令遵循能力提供了重要的参考。
通讯作者 Yun He（贺赟）是 Meta GenAI 团队的一名研究科学家，博士毕业于 Texas A&M University，专注于大语言模型 Post-training 的研究和应用。
他的主要研究方向包括指令跟随（instruction following）、推理能力（Reasoning）以及工具使用（tool usage），旨在推动大语音模型在复杂多轮对话中的表现。
共同一作金帝是 Meta GenAI Senior Research Scientist，负责 Meta AI Agentic Code Execution 和 Data Analysis 方向，博士毕业于 MIT。
主要研究方向为大模型后训练对齐（RLHF，Alignment），模型推（Model Reasoning），和大模型智能体（Agent）方向。
参考资料：
https://arxiv.org/abs/2410.15553
本文来自微信公众号：微信公众号（ID：null），作者：新智元
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。