.hd-box .hd-fr

OpenAI 再出开源力作 Safeguard 模型:可完整展示 AI“思维链”,强化内容分类能力

2025-10-30 12:19IT之家(故渊)4评
感谢IT之家网友咩咩洋的线索投递!

IT之家 10 月 30 日消息,科技媒体 NeoWin 昨日(10 月 29 日)发布博文,报道称 OpenAI 公司推出 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开源权重模型,专门用于根据用户提供的策略对内容进行推理、分类和标记。

这是继今年早些时候发布 gpt-oss 系列推理模型后,OpenAI 在开源领域的又一重要举措。新模型是此前 gpt-oss 模型的微调版本,同样遵循宽松的 Apache 2.0 许可证,允许任何开发者免费使用、修改和商业部署。

与传统的“一刀切”式安全系统不同,gpt-oss-safeguard 将定义安全边界的权力交还给了开发者。其核心机制在于,模型无需在训练阶段硬编码规则,能够在推理阶段直接解释并应用开发者提供的安全策略。

gpt-oss-safeguard 的核心工作机制是,在模型推理(即实际运行)阶段接收两项输入:一项是开发者自定义的安全策略,另一项是需要分类的内容(如用户消息或 AI 生成内容)。

为了提升透明度和可用性,模型支持完整的“思维链”(Chain-of-Thought, CoT)输出,能够展示其得出结论的每一步推理过程。

这种设计允许开发者随时按需调整策略,确保分类结果与特定应用场景保持一致。同时,透明的决策过程也让开发者能清晰地追溯和理解模型的判断逻辑。

与传统安全分类器相比,gpt-oss-safeguard 的最大优势在于其灵活性。传统分类器通常基于包含数千个标注样本的大型数据集进行训练,策略一旦固化,更新就需要重新收集数据并训练模型,过程耗时耗力。

而 gpt-oss-safeguard 直接在推理时解读策略,无需重新训练即可快速适应新规则。这种方法源于 OpenAI 的内部工具 Safety Reasoner,它通过强化学习微调技术,学会了对安全策略进行推理和解释。

OpenAI 强调,这种方法在四种特定场景下尤其有效:

当然,gpt-oss-safeguard 模型也并非完美,OpenAI 提示开发者需要注意两个主要的权衡:

这两款模型目前已在 Hugging Face 平台上开放下载。

IT之家附上参考地址

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论