超越 GPT-4o：开源科研模型 OpenScholar 登场，4500 万篇论文检索增强生成回答
量子位2024-11-26 18:37
只需几秒钟，开源模型检索 4500 万篇论文，比 GPT-4o 还靠谱！
这就是由华盛顿大学和艾伦人工智能研究所（Ai2）打造的最新模型 OpenScholar。它还是首个从论文到数据集、模型检查点都完全开源的科研助手模型。
在由 20 位专家进行的 500 次对比实验中，72% 的情况下他们都觉得 OpenScholar 的输出结果超越了人类。
而且 OpenScholar 还会附上参考文献列表，非常贴心：
它的功能也非常丰富。
你可以询问 OpenScholar 某个研究课题的现状：“有没有人尝试过将检索增强型 LM 的检索库扩大到万亿级 tokens？”
寻找最新的数据集：
针对某篇论文询问技术细节：
或者询问算法的细节，比如机器人算法 / ReLU 算法等等：
有多位网友使用过后表示：做复杂课题也能快速搜集有用的资料，真是科研神器！
仅调用 8B 模型
一句话总结：它存储了 4500 万篇论文的大规模数据，并使用自定义训练的检索器、重排器和 8B 参数语言模型进行检索，并根据最新的科学文献内容回答问题。
具体来说，OpenScholar-8B（OS-8B）系统包括以下组件：
1.开放学者数据存储：包含超过 4500 万篇论文、以及对应的约 2.5 亿段落嵌入。底层论文数据截止到 2024 年 10 月。
2.专业检索器和重排序器：这些工具专门用于从科学文献数据存储库中识别相关段落。
3.专业 8B 语言模型：这是一个针对科学文献综合任务优化的 8B 参数语言模型，在性能与计算效率之间取得了很好平衡。团队基于来自迭代自我反馈生成管道生成的合成数据训练并微调了 Llama 3.1 8B。
4.迭代自我反馈生成：在推理过程中，团队使用迭代自我反馈来通过自然语言反馈精炼模型输出。每次迭代都额外检索更多论文，使模型能够提高回答质量并缩小引用差距。
为了评估 OpenScholar，团队还开发了 ScholarQABench—— 一个专门用于评估从多篇论文中综合信息以解决开放式科学问题的基准。
ScholarQABench 包含七个数据集：三个专注于单篇论文评估的现有数据集，以及四个需要跨多篇论文综合的新收集数据集。
最终在实验自动评估以及人工评估中，OpenScholar 模型的表现优于很多主流模型，包括 GPT-4o 和 Llama 3.1 70B。
搜索的可靠性方面，OpenScholar 更是远超 GPT-4o。
GPT-4o 在 90% 以上的情况下都引用了不存在的论文，而 OpenScholar 的结果都是来自确定来源。
以及在信息覆盖率、实用性、相关性等多个维度方面，OpenScholar 撰写的结果都优于 GPT-4o。
运营成本便宜 100 倍
对比基于 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 的科研模型可以发现，它们虽然性能很强，但价格昂贵、而且工作原理也不透明。而 OpenScholar 正是为了挑战这些现有的大模型玩家入局的！
据开发人员称，OpenScholar 是首个完全开源的科学助手语言模型 —— 从数据到训练食谱再到模型检查点，全部公开！
研究人员可以非常清除地看到模型的训练过程和数据集的内容等，也可以根据自己的工作进行调整。
这样一来，规模较小、架构简单的 OpenScholar-8B 的运营成本比基于 GPT-4o 构建的同期系统 PaperQA2 便宜 100 倍。
对于小型机构、资金不足的实验室以及发展中国家的研究人员来说，这样的运营成本非常有吸引力。
不过，目前 OpenScholar 也有很多局限，比如：
1.OpenScholar 可能会引用不那么具有代表性的论文。
例如，在描述特定方法时，它可能未能引用提出该方法的原始论文，而是引用了提及该方法的另一篇论文。
2.OpenScholar 有时可能会生成没有参考文献支持的响应，或者检索到该领域不是最相关或最新的论文。
例如：当被问及机器人学中的大型基础模型时，此响应引用了一篇具有 3.07 亿参数模型的论文，而截至 2024 年 11 月，机器人学中当前最大的基础模型（RT-2）具有 550 亿参数。
3.OpenScholar 可能仍然可能生成带有幻觉的结果，而不是依赖于它检索到的真实论文。
4.许多科学论文都设置了付费墙。
目前出于对版权的尊重，OpenScholar 数据存储库仅包含公开的论文。这可能会降低模型在较封闭领域回答问题的能力。
团队表示，未来他们会纳入更多论文、升级检索增强算法，也会对各个领域的经典研究问题和论文进行深入整合，增强 OpenScholar 的专业程度。
不过，从实验结果来看，OpenScholar 已经是目前表现最好的 AI 学术研究助理之一啦，感兴趣的小伙伴可以直接戳下面的公开资料进行尝试！
Demo：
论文：
https://openscholar.allen.ai/paper
OpenScholar 代码：
https://github.com/AkariAsai/OpenScholar
ScholarQABench 数据集代码：
https://github.com/AkariAsai/ScholarQABench
更多测试 code：
https://github.com/AkariAsai/OpenScholar_ExpertEval
参考链接
[1] https://venturebeat.com/ai/openscholar-the-open-source-a-i-thats-outperforming-gpt-4o-in-scientific-research/
[2] https://allenai.org/blog/openscholar
本文来自微信公众号：量子位（ID：QbitAI），作者：奇月，原标题《超越 GPT-4o！开源科研神器登场，4500 万篇论文检索增强生成靠谱回答》
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
