学而思联合谷歌、暨南大学,共同举办 2024 全球大模型数学推理竞赛

2023-10-12 10:29IT之家 - 清源(实习)

IT之家 10 月 12 日消息,据 AAAI(国际先进 AI 协会)官网,由学而思牵头,联合谷歌、暨南大学等多家科技企业、高校的专家和学者,将共同举办 AAAI 2024 全球大模型数学推理竞赛。

该比赛分为中文数学解题、英文数学解题两个方向,由学而思提供比赛所用的中英文数据集 TAL-SAQ7K-CN、TAL-SAQ6K-EN。据称,该数据集囊括了国内外多个中小学数学竞赛真题。

这次竞赛也将是全球首次数学大模型解题竞赛,主办方提供了 3 个作为参考的测评基准:GPT-3.5、GPT-4、好未来自研数学大模型 MathGPT。

在比赛期间,参赛者需使用大模型对给定的数学题目生成推理步骤、答案,主办方将通过对比参赛模型输出答案与正确答案之间的准确率,来进行排名。主办方表示,希望在本次竞赛中要求参赛者使用大语言模型来解决 K-12 数学问题。(IT之家注:K-12 代指学前教育至高中教育,普遍用来代指基础教育。在美国教育体系中,指的是从幼儿园到 12 年级期间的驾驭阶段)

据介绍,当前大语言模型具备缺乏复杂推理能力、数值计算不准确等“先天缺陷”。若大模型能够克服它们,成功应对数学推理的挑战时,AI 将进入一个“崭新时代”

此次比赛日程如下

  • 2023 年 10 月 10 日:开始

  • 2023 年 12 月 31 日:最终提交截止日期

  • 2024 年 1 月 10 日:公布最终比赛结果

奖项如下

  • 两个方向的前三名将获得现金奖励:一等奖 1000 美元,二等奖 600 美元,三等奖 300 美元。

  • 两个方向的前三名将获得正式证书,并受邀在 2024 年 AAAI(国际先进 AI 协会)的大会期间作口头报告。

  • 前三名团队第一作者将受邀撰写竞赛综述论文。

参考

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      请登录后查看评论
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享