国际机器学习大会 ICML 2024 放榜：投稿量近万篇，审稿意见下滑严重
新智元2024-05-03 22:57
【新智元导读】一年一度的 ICML 2024 录用结果出炉！今年投稿量再涨 3000+，达到 9653，审稿意见质量太差，AC 还得重读论文才能确定结论。
刚刚，国际机器学习大会 ICML 2024 最终录用结果，公布了！
本次会议的投稿量初步统计为 9653 篇，而去年的投稿量只有 6538 篇。
第 42 届 ICML 会议（每年一次）将于 7 月 21-27 日在奥地利维也纳举办，中稿的小伙伴可以开始准备了！
从历年的统计中可以看到，ICML 的投稿量增长速度非常快，今年更是创下了历史新高，提交量大涨 3000 多篇。
审稿质量太差
作为会议的 AC，Peter Richtarik 表示他总共处理了 19 篇论文，接受论文的平均分为 4.25-6.33，被拒论文的平均分为 2.60-6.00。
他也指出了一个严峻的问题，就是审稿意见的质量太差了，不管是正向还是负面的意见，有很多都是错误的，导致自己经常很晚才能提交 meta-review，不得不亲自读一遍论文。
有网友分享经历，论文收到的评分为 7/3/3/4，被拒稿了，他只认可其中一人的审稿意见，另外两个人的表现完全就像是「本科生」。
他们给出的意见包括「不是预训练的神经网络，不能很好地泛化」、「只使用了小数据（论文明确说明用于小数据学习）」、「基于树的方法无法扩展」、「结果并不是所有使用的数据集上最好的，所以该方法没用」、「有 2021 年之前的参考资料，太过时了」之类的逆天言论。
另一个被拒稿的评分为 6653，作者认为其中 3 人明显误解了方法，并在 rebuttal 环节中道歉了，但只是将置信度分数从 4 更改为 3，然后 AC 还是决定拒稿。
只能说，被拒稿倒是小事，审稿水平低才是大问题。
也有网友分享了他的励志经历，被拒稿 4 次之后，当时还以为自己毫无价值，现在终于中了博士生涯的第一篇论文，得偿所愿了！
网友晒出成绩单
大模型加速器
滑铁卢大学矢量研究所、北京大学、微软研究院的研究人员提出的「可提高语言模型效率的外推算法」EAGLE 被 ICML 2024 录用。
EAGLE 是一种快速解码大型语言模型 (LLMs) 的全新基线模型，通过实验证明了模型性能几乎不会损失，该方法将 LLMs 第二顶层的上下文特征向量进行外推，从而显着提高生成效率：
1、生成速度比标准解码（13B）快 3 倍、比 Lookahead (13B) 快 2 倍、比 Medusa (13B) 快 1.6 倍
2、在生成文本的分布中，证明了其结果与普通解码具有一致性；
3、1-2 天内可训练完毕，在 8x RTX 3090 GPU 上进行测试，即使 GPU 资源匮乏的人也能使用该算法加速；
4、可与其他并行技术相结合，例如 vLLM、DeepSpeed、Mamba、FlashAttention、量化和硬件优化。
用大模型进行结构化学推理
伊利诺伊大学厄巴纳-香槟分校、上海交大、纽约大学等机构的研究人员发布的 StructChem，使用了一种简单而有效的提示策略，就可以让 LLMs 进行复杂的化学推理。
研究人员发现 LLM 通常拥有解决复杂化学挑战所需的基本知识，但却缺乏解锁正确 / 相关知识和指导精确、逐步推理所需的结构化推理。
文中总结了当前最先进的 LLM（例如 GPT-4）无法解决的四个主要错误。
新方法 StructChem 包括三个步骤，可以作为 LLM 的引导：
1、公式收集，要求 LLM 提供公式及其解释作为基础；
2、逐步推理，以 PoT 生成的公式为基础，确保精确性；
3、基于置信度的审查和细化，进一步检查每个推理步骤的准确性。
在 SciBench 上进行的实验结果显示，StructChem 在 few-shot 和 zero-shot 设置的复杂化学难题中实现了 30% 的性能飞跃。
从 fMRI 重建图像
值得一提的是，来自 Stability AI、医学 AI 研究中心（MEDARC）等机构的研究人员升级了模型 MindEye2。
只需要 1 小时的数据，它便可以从 fMRI 大脑活动中重建和检索图像，甚至可以将 2D 图像转化为 3D 视频，堪称一项革命性的技术。
这篇论文同时被 ICML 和 ICLR 接收。
而在实际的应用中，MindEye2 表现出了惊人的性能。比如，在图像检索任务中，其准确率超过 90%，超越以往的方法。
另外，得益于使用预训练的生成模型，MindEye2 在图像重建方面也取得了显著的效果。
论文地址：https://arxiv.org/pdf/2403.11207
生成式机器人智能体
来自 CMU、清华大学交叉信息研究院、MIT 等机构的研究人员提出的 RoboGen 论文被接受收。
这项研究提出的 RoboGen，是一种通过通过生成式模拟，自住学习多种机器人技能的生成机器人智能体。
最新方法利用了基础模型和生成模型的最新进展。
论文地址：https://arxiv.org/pdf/2311.01455
不是直接使用或调整这些模型来产生策略或低级别的行动，而是生成式方案，其用这些模型来自动生成多样任务、场景和训练监督，从而在最少的监督下扩大机器人技能学习。
博弈学习
论文解决了在单调博弈（monotone games）中学习纳什均衡的问题，其中收益函数的梯度在策略配置文件空间中是单调的，可能包含加性噪声。
论文链接：https://arxiv.org/pdf/2305.16610
研究人员首先建立一个统一的框架来学习单调游戏中的平衡，适应完整和嘈杂的反馈；
然后在不考虑噪声的情况下，构建出趋向于近似平衡的收敛率。
最后通过更新弹弓策略（slingshot strategy）来引入一个转折（twist），以有限的间隔锚定当前策略，使得模型能够确定具有保证率的基础博弈的确切纳什均衡。
文中所提出的框架非常全面，集成了现有的收益扰动算法，并且通过实验证明了，基于该框架的算法可以显着加速收敛。
图高斯过程
来自伦敦大学 AI 中心的研究人员，关于图高斯过程的论文正式被 ICML 接受。
行业内对开发图机器学习模型以解决拓扑归纳偏差产生了很大的兴趣，特别是对此类结构的高斯过程给予了高度关注，可以用来解释不确定性，但图仅限于对两个顶点之间的关系进行建模。
该论文不止使用二元任务设置，而是考虑多元关系，包括顶点、边及单元（cells）之间的相互作用。
论文地址：https://arxiv.org/pdf/2311.01198
具体来说，研究人员提出了单元复合体（cellular complexes）的高斯过程，可以捕获高阶单元之间相互作用的图的泛化。
论文的主要贡献之一是对两种全新内核进行推导，包括 Matérn 内核和另一种混合了不同单元类型的信息的内核。
除此以外，还有很多大佬纷纷晒出了自己的成绩单。
开创性论文有几篇？
与此同时，Reddit 网友在线发出灵魂拷问：
ICML、NeurIPS、CVPR 等顶会，究竟有多少篇论文是真正具有开创性的？
我自己也在顶会上发表过一些论文，但每当我坐下来反思时，又觉得我的工作虽然不错，但影响力并不大，就像砌墙时的一块普通砖头。我困惑的是，我们什么时候可以看到像「Attention is All You Need」这样有重大影响力的突破性工作。
有网友表示，会议评审过程总是偏爱略有创新的论文。通常情况下，具有极大突破性的论文被接受的概率较低。
最典型的例子是，Ruslan Salakhutdinov 和 Geoffrey Hinton 合著的论文 —— 为 Netflix 竞赛提出的方法，被 NIPS 2006 拒绝了。
当时，其中一位审稿人非常严厉地评论道，「这是垃圾，我非常确信这真的是垃圾」。
没想到，他们的论文最终被 ICML2007 接受，并且这个方法成为了最终冠军团队算法中的一个重要组成部分。
论文地址：https://www.cs.toronto.edu/~amnih/papers/rbmcf.pdf
一位审稿人承认道，也许我有某种偏见。
但作为一名评审，我经常看到这种情况。「略有创新」的东西很容易被接受，而更具突破性的想法往往至少有一个审稿人完全误解了一切，或者本能地不喜欢这个想法。
这只是同行评审制度的自然结果 —— 略有创新的论文很容易被理解。
只要写得好，有大量实验，其被接受的几率就很高。
攻击一个已经被社区广泛接受的想法也是困难的。相反，一篇创新的论文需要审稿人付出更多的努力，而且很容易被误解。
而真正具有开创性论文，在我们产出的大量「垃圾」论文中所占比例不到 1%。
可见，做出开创性成果是非常困难的，所以我们要更重视数量（任何结果，证明研究人员值得公共支出），而非质量（好的结果）。而不相关的贡献最终也会被历史和时间所淘汰。
这确实是值得每个人思考的一个问题。
参考资料：
https://twitter.com/peter_richtarik/status/1783752833348534610
https://www.reddit.com/r/MachineLearning/comments/1cfm9ep/d_icml_2024_results/
https://www.reddit.com/r/MachineLearning/comments/1chfqca/d_icml_2024_decision_thread/
本文来自微信公众号：新智元 （ID：AI_era）
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
