机器之心报谈av 国产
剪辑：+0
当 AI 大开奥数题，CPU 也烧了！
还牢记那些被奥数题折磨得一夜难眠的日子吗？
当你在凌晨三点对着一都几何解释题合手耳挠腮、怀疑东谈主生的时刻，你可能会想：「如若有个超等大脑能帮我措置这些问题该多好啊！」
好音信：大模子解数学题的才能很强！坏音信：它们粗略也被奥数折磨得不轻。
好多针对大型谈话模子（LLMs）的数学基准测试依然标明，开拔点进的推理模子在好意思国数学邀请赛（AIME）等数学竞赛中发扬出色，O3-MINI 模子甚而达到了与顶尖东谈主类参赛者异常的水平。可是，这些测试只是评估了最终谜底，而忽略了推理息争释过程
为弥补这一不及，专注于评估大模子数学才能的 MathArena 平台的连络东谈主员，初度全面评估了模子措置复杂数常识题的无缺推理息争释构建才能
好意思国数学竞赛（USAMO）是人人最具挑战性的中学生数学竞赛之一。率先，该赛事强调严格解释与逻辑严谨性，题目均为解释题，要求选手通过严实的逻辑推导和无缺的数学谈话呈现解答，而非仅给出数值谜底（如 AIME）。其次，题目难度极高，触及数论、组合数学、代数、几多么中枢限制，常需欺诈高等技能（如生成函数、不等式放缩、图论构造等）。并且题目瞎想具有「门槛效应」：部分问题看似简便，但需知悉瞒哄结构或非轨范解法（如构造性解释、反证法）。
他们在 2025 年好意思国数学奥林匹克竞赛（USAMO）试题发布后立即测试了多个热点模子，成果令东谈主失望：扫数模子都发扬欠佳，平均得分不到 5%
通过长远分析模子的推理过程，连络东谈主员识别出了多种常见失败模式，并发现模子锻真金不怕火中的某些优化战略反而产生了负面影响。
论文标题：PROOF OR BLUFF? EVALUATING LLMS ON 2025 USA MATH OLYMPIAD论文相接：https://arxiv.org/pdf/2503.21934v1样式主页：https://matharena.ai样式代码：https://github.com/eth-sri/matharena
范冰冰 女同成果标明，面前的 LLM 在严格的数学推理方面，尤其是在体式化解释生成方面，仍然止境深邃。在改日的连络中，有必要蜕变锻真金不怕火方法，如纳入重解释的数据集、整合体式考据器用或确立优先探讨逻辑一致性而非谜底优化的架构，弥合数值正确性与缓缓解释才能之间的差距。
评估基准与问题准备
连络团队取舍了 USAMO 2025 手脚基准测试，这是一个泰斗数学竞赛，包含六谈需要解释的题目，为期两天。这个竞赛止境适互助为评估基准，因为题目具有挑战性，需要详备解释才能得满分，且数据未被稠浊.
图 1 展示了两个竞赛题目。在评估过程中，连络东谈主员要求各模子提供全面详备的解释，并使用 LaTeX 花式。
为镌汰成果的变异性，每个模子对每谈题目进行了四次平安解答。扫数解答均经过匿名化处理并退换为 PDF 花式进行评分，评分过程中不探讨念念考过程部分。
评审团队av 国产
评分团队由四位资深数学人人组成，他们都曾是国度 IMO 队成员或参加过国度队最终选用。评审前，他们接管了详备阐明评估瞎想和方法的带领（可在 GitHub 查阅）。团队通过 USAMO 2024 三谈题方针试评分老到了评分轨范并措置歧义。
评分历程
USAMO 2025 的六个问题均由两名评审员平安评分，每位评审员负责三个不同问题。这种鉴戒 IMO 的双重评分方法确保了评分的一致性并减少了主不雅偏见。由于官方不发布轨范谜底，连络团队从可靠的数学社区资源（尤其是 AoPS 论坛）收罗整理了轨范化评分决策，并考据了扫数解法的准确性。
衔命 USAMO 老例，每题满分七分，对特道理的进展赐与部分分。评审员凭据既定轨范平安评分，对装假足合乎评分决策的解法也顺应给分，并记载了评分原理和部分分数的合感性阐明。
失败模式分类
评估者在评分过程中记载了显然的失败模式 —— 即推理中初度出现的罪恶或解释不充分的实例，包括逻辑劣势、无凭据的假定、数学不准确或诡计罪恶。这些罪恶被具体分为四类：
逻辑：由于逻辑弱点或无凭据的推理高出导致的罪恶，中断了推理过程。假定：由于引入未经解释或不正确的假定而产生的罪恶，这些假定险阻了后续步履。创造力：由于无法识别正确方法而导致的从根蒂上罪恶的措置战略所形成的罪恶。代数 / 算术：由要道的代数或算术诡计罪恶引起的罪恶。
连络团队还系统性地记载了模子在生成措置决策过程中发扬出的显赫活动模式和趋势，以便进行长远分析。这些不雅察成果有助于识别模子推理才能中存在的常见问题和需要蜕变的标的。
主要成果
连络评估了六个推理模子（QWQ、R1、FLASH-THINKING、O1-PRO、O3-MINI 和 Claude 3.7）在 2025 年 USAMO 问题上的发扬。
表 1 详备分析了各模子在每个问题上的发扬，平平分基于四次评估出手诡计，每题满分 7 分，每次出手总分 42 分。表中还包括使用各模子的总资本数据。
评估发现，天然面前顶尖谈话模子在以数值谜底为主的竞赛（如 AIME 和 HMMT）中可与顶尖东谈主类竞争者异常，但在生成严格解释方面存在显赫差距。扫数评估模子的最高平平分不及 5%，近 150 个被评估的解答中无一得回满分。
扫数模子都无法措置卓越一个问题，这突显了面前大型谈话模子在奥林匹克级数学推理任务中的局限性。这标明现存优化方法如 GRPO 对需要高度逻辑精准性的任务可能尚不及够。
失败模式
东谈主类参与者最常见的失实是无法找到正确解答，但他们鄙俚能了了判断我方是否得胜措置了问题。比拟之下，扫数评估的大型谈话模子都宣称已措置问题，这对数学应用组成要紧挑战，因为在枯竭严格东谈主类考据的情况下，这些模子得出的成果不成信托。
连络东谈主员详备分析了评分过程中发现的罪恶类型。图 2 展示了评审员笃定的罪恶类别散播。
最常见的是逻辑劣势，包括无依据的推理步履、罪恶原理或对先前进展的歪曲。另一个紧迫问题是模子倾向于将要道解释步履视为琐碎而不提供顺应解释。值得提防的是，尽管 O3-MINI 是发扬最好的推理模子之一，却频频通过将要道步履标识为「琐碎」来跳过基本解释步履。
连络还发现模子推理枯竭创造性，鄙俚在扫数尝试中收受疏导且罪恶的战略，未能探索替代方法。例外是 FLASH-THINKING，它在合并出手中尝试多种战略，但仅浅层探索每种方法，未能得出灵验论断。
可是，模子在代数和算术诡计方面广泛发扬出色，能在莫得外部相沿的情况下得胜试验标识运算。不外，R1 发扬出显然更高频率的代数或算术罪恶，标明这是该模子需要蜕变的标的。
自动评分
连络团队探索了用 LLMs 替代东谈主类评分员的可行性，取舍 O3-MINI 和 Claude 3.7 手脚评分模子。两个模子均得回了评分决策、考据措置决策和评估示例参考。
表 2 线路，两个模子都未能准确评分措置决策，均系统性地高估了解答质料。具体而言，它们频频为不正确或无依据的推理授予分数，导致分数膨大最多达到 20 倍。
值得提防的是，FLASH-THINKING 从自动评估中得回的分数显然低于其他模子，连络东谈主员揣测这可能是因为它倾向于在每次尝试中生成多个措置决策，从而稠浊了基于 LLMs 的评审系统。比拟之下，QWQ 得回较高分数，可能是因为它鄙俚生成更纯粹的措置决策，更便于自动评审系统领略。
谜底框选
面前强化学习优化本事依赖从明确的最终谜底中索要奖励，为此模子常被要求将最终谜底放在 \\boxed {} 环境中。可是，这在 USAMO 问题解答中产生了不测反作用：即使大无数评估问题不需要框选谜底，模子仍风俗性地这么作念。
一个典型例子是问题 5 中，QWQ 模子罪恶地限制我方只寻找整数解，尽管题目莫得这么的要求。它对持最终谜底是 2，天然依然正确推导出扫数偶数都讲理要求。这标明像 GRPO 这么的对都本事可能未必中让模子合计每个数常识题都需要一个明确的框选谜底，从而损伤了其举座推理才能。
模式泛化
模子常发扬出将极少值案例中不雅察到的模式过度泛化到更大未测试案例的倾向。天然这种启发式方法对仅需数值谜底的问题可能灵验，但关于需要严格解释的问题，这种方法实质上存在劣势。模子频频在枯竭细致解释的情况下，罪恶地断言小案例中不雅察到的模式具有广泛适用性。
解答结构与分解度
不同模子提供的解答在分解度和结构连贯性上存在显赫各别。O3-MINI 和 O1-PRO 等模子鄙俚以分解、逻辑化且易于领略的形式呈现解答。违抗，FLASH-THINKING 和 QWQ 等模子频频产生杂乱且难以领略的恢复，有时在单个解答中搀杂多个不关系的办法。
OpenAI 锻真金不怕火的模子在分解度上的显然上风标明，专注于解答连贯性的特等锻真金不怕火显赫提升了其可读性，这一特质在其他模子中显然受到较少疼爱。
是以，当下次有东谈主劝诫你「AI 行将管辖寰宇」时，不妨淡定地递给他一张奥数试卷：「先让它们过了这一关再说吧。」
