OpenAI 的 GPT-4 变身考证能手:无额外训练通过日本理疗师考试,正确率 73.4%

2024-08-31 09:02IT之家 - 故渊

IT之家 8 月 31 日消息,一项新的同行评审研究表明,OpenAI 的 GPT-4 大语言模型无需任何额外训练,即可通过日本国家理疗考试。

最新发表在《Cureus》杂志上的新研究,测试了 GPT-4 的文字和视觉技能。

IT之家注:日本国家物理理疗师考试包括 160 道综合题和 40 道实践题,测试记忆、理解、应用、分析和评估能力。

研究人员在 GPT-4 中输入了 1000 个问题,并将答案对比了官方解决方案。

GPT-4 通过了所有五个测试部分,正确回答了 73.4% 的问题。不过,人工智能在处理技术性问题和包含图片或表格的问题时显得有些吃力。

该模型在常规问题上的表现(正确率为 80.1%)远远好于实际问题(正确率为 46.6%)。

同样,GPT-4 在处理纯文本问题(正确率为 80.5%)时的表现也远好于那些带有图片和表格的问题(正确率为 35.4%)。这些发现与之前有关 GPT-4 视觉理解局限性的研究结果一致。

有趣的是,问题难度和文本长度对 GPT-4 的性能影响不大。尽管该模型主要以英语数据为基础进行训练,但在使用日语输入时也表现出色。

IT之家附上参考地址

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      请登录后查看评论
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享