B小模型如何在代码任务中打败数百亿参数大模型？
来源：互联网 2026-06-20 10:18:08研究团队提出并行循环Transformer，让70亿参数模型通过两次内部循环思考，在代码任务上超越数百亿参数的大模型，第三次循环后性能因收益-代价失衡而下降。结合显式推理链可进一步提升效果。
在人工智能领域，一个充满诱惑的设想始终存在：如果我们暂时无法把模型做得“更大”，是否可能让它变得更“聪明”？这类似于询问：一个普通人，能否通过对同一问题的反复思考，最终获得天才般的顿悟？
来自北京航空航天大学、中国人民大学、IQuest Research、Langboat等机构的联合研究团队，在2026年6月通过预印本论文（arXiv:2606.18023）给出了一个既在意料之外又在情理之中的答案：可以，但思考的“度”极其关键——多加一次循环，性能飙升；再多一次，反而会跌回原点。
长期稳定更新的攒劲资源： >>>点此立即查看<<<
一、相同参数下，“想两遍”为何远胜“想一遍”
问题的核心在于“循环Transformer”技术。传统语言模型由层层堆叠的“神经回路”构成，信息像流水线一样单向传递。而循环Transformer采用完全不同的路径：它只有一组共享的神经回路，但这组回路会被反复调用多次。可以将其想象为一个工匠：传统模型是流水线作业，每位工人只负责一道工序；循环Transformer则是同一匠人，用同一套工具，对同一作品反复打磨，每次打磨的角度和力度都在调整。
这一设计魅力显而易见。理论上，无需增加工具（参数量），仅靠“增加打磨次数”（循环深度）即可提升作品精度，为“不靠堆料提升能力”开辟了新路径。早期研究已证实，一个35亿参数的模型通过50次循环，甚至能达到相当于5000亿参数模型的“计算量”。
然而，工程障碍随之浮现：循环次数越多，计算耗时成倍增加，还需额外存储每次循环的中间状态，内存开销巨大。这好比工匠每打磨一次都要拍照存档，打磨50次就得存50份档案，实际部署中根本行不通。
于是，“并行循环Transformer”（PLT）应运而生，它用两个精巧设计解决了工程难题：
1. 共享KV门控滑动窗口注意力： 第一圈处理时建立一个“全局知识库”，后续所有循环均可直接翻阅这一固定库，无需各自新建，内存占用因此保持稳定。
2. 跨循环位置偏移（CLP）： 这是实现并行的关键。它让各循环不必严格按顺序等待。例如，第二圈不必等第一圈所有位置都处理完，可基于第一圈邻近位置的信息提前开工。这就像将串行流水线改造成错位并行的多道工序。
两者结合，使得PLT无论循环多少次，延迟和内存消耗都与只循环一次几乎相同。然而，天下没有免费的午餐——CLP机制带来一个隐蔽代价：为实现并行，每个位置在第二圈及以后，接收的并非自己上一圈的历史信息，而是旁边位置的信息。
这就好比修改自己文章时，不看自己上一稿的思路，反而去参考旁边同学上一稿的思路。这种“位置错配”成为PLT结构中的固有代价，也为后续性能谜团埋下伏笔。
二、用“收益与代价”的天平衡量每一圈循环
研究团队建立了清晰的分析框架：每多循环一圈，都伴随“精炼收益”和“位置错配代价”的博弈。当收益大于代价，循环有益；反之则有害。
如何量化这场博弈？团队从三个维度剖析“收益”：
隐藏状态动态： 观察每圈后模型内部“词语向量”的变化。若变化方向一致，说明模型持续优化；若方向反复颠倒，就如工匠“修了改、改了修”，纯属无效劳动。
注意力热图演化： 观察模型每圈的关注点分布。若每圈关注模式大不相同，说明模型在捕捉新的上下文关系；若几圈后模式固化，说明信息流动已“冻结”，再循环也无意义。
输出分布变化： 直接看模型对下一个词的预测变化大小。变化越大，说明该圈思考的实质性影响越强。
至于“代价”，团队定义了一个“内在偏移代价”指标，衡量相邻词语表示向量之间的平均差异。相邻词差异越大，把邻居信息当成自己信息使用时失真越严重；反之影响较小。
当将收益与代价曲线画在同一张图上（论文中的“增益-代价剪刀图”），一个鲜明规律呈现：从第一圈到第二圈，收益虽下降但仍处高位，代价基本稳定；但从第二圈开始，收益急剧萎缩，代价却坚如磐石。 代价成了固定“税”，收益这块“蛋糕”却越做越小。实验估算，从第三圈开始，每圈偏移代价高达实际精炼收益的30到45倍。这完美解释了“二次循环”为何是黄金拐点。
三、模型内部，每一圈究竟在做什么
研究团队对训练了不同循环次数（1到4次）的模型进行深度“解剖”，所有证据均指向同一结论：第二次循环是真正的“黄金思考”，之后的循环贡献甚微，甚至有害。
从隐藏状态看： 追踪“步长”（变化幅度）、“角度变化”（优化方向一致性）、“有效秩”（语义多样性）和“固定点距离”（离稳定状态的距离）四个指标。数据显示，第二步的修改幅度最大、方向最一致。但从第三步开始，修改方向出现反向振荡，且词语表示的“有效秩”达到峰值后开始下降，意味着模型区分能力减弱，语义空间被压缩。
从注意力机制看： 注意力分布在第二次循环时变化最大，之后迅速“冻结”，不再产生新的信息流动模式。更严重的是，随循环增加，本应各司其职的多个注意力头变得越来越“同质化”，做着同样的事，这是一种严重的功能冗余退化。此外，模型在所有循环中都严重依赖第一圈建立的全局缓存，后续循环并未带来多少新鲜信息。
从输出结果看： 虽随循环深入，正确答案的排名在单调上升（看似变好），但每次循环带来的提升在第二次之后急剧萎缩。第四次循环的输出变化，更像是模型在输出前做的一次“格式整理”，而非真正的“内容深化”。
四、真实战场数据：2次循环的实力有多强
理论再精巧，也需实战检验。研究团队在一系列权威代码测评中全面比拼，结果极具冲击力。
在代码生成任务（HumanEval+）上，2次循环版本得分84.1，优于1次循环的81.1，而3次循环跌至75.0。在跨语言代码生成（MultiPL-E）上，同样呈现此趋势。
真正亮点出现在自动化软件工程领域。在目前最权威、要求解决GitHub真实缺陷的SWEbench Verified测评中：
- 1次循环（基础版）：43.0分
- 2次循环：64.4分（飙升21.4分）
- 3次循环：27.6分（甚至低于基础版）
这一对比极具戏剧性。须知，许多主流大模型在该测评中表现平平。而2次循环的LoopCoder-v2（仅70亿参数）以64.4分的成绩，甚至超越了720亿参数的某顶尖模型（60.4分），与业界顶级模型（69.2-80.9分）差距并不遥远。这清晰证明：通过更聪明的“思考”设计，小模型完全具备挑战巨头的潜力。
五、加上“明说出来”的推理过程，效果会更好吗
上述实验是让模型“内部多想，但不说话”。那么，如果让它像人类一样“边想边说”（即输出思维链），效果会如何？
研究团队对比了“仅内部2次循环”和“2次循环+显式推理链”两个版本。结果发现，在推理密集型任务上，两者叠加产生了“1+1>2”的超加法效应。
例如，在考察实时代码竞赛能力的LiveCodeBench上：
- 仅循环：35.4分
- 循环+推理链：62.3分（提升26.9分）
关键在于，显式推理链和隐性循环工作在不同层面：前者在文字层面做宏观问题拆解，后者在向量层面对每个子问题进行微观精炼。它们互不重叠、分工协作，从而实现效能最大化。这为未来模型设计指明了一条高效路径：同时利用内部精炼和外部推理。
六、这项研究告诉我们如何选择循环次数
当然，这些发现基于特定的PLT架构。研究团队也给出了实用的循环次数选择指南，无需穷举测试，只需观察一个关键指标：有效秩。
若有效秩仍在上升，说明模型表示多样性尚未饱和，增加循环可能还有收益；若有效秩开始下降，则意味着后续循环只会让表示空间越来越窄，此时增加循环就是在为固定的位置错配代价“交税”，却买不到新的“精炼成果”。这是一个低成本、高效率的诊断方法。
对于PLT架构而言，2次循环是一个稳健且高效的默认值。若要在此基础上更进一步，更有效的方向或许是结合显式推理，或者探索更智能的、能动态调整位置偏移代价的机制。
说到底，这项研究像极了心理学中的“过度思考”现象：在某些决策中，快速直觉往往优于反复权衡，因为过度分析会让人陷入细节纠缠，丧失全局判断力。LoopCoder-v2的实验与之惊人相似：第二圈循环是清醒的再审视，抓住了关键；而第三圈及以后，则像是在焦虑中不断推翻已有判断，越想越乱。
这对整个AI领域具有重要启示。当计算和规模扩张遇到瓶颈时，如何设计“更深入思考”的机制是关键。简单地“多想想”并不总是有效，核心在于理解每次额外思考的真正贡献与代价。这项研究通过一套可解释的内部诊断方法，将“经验之谈”上升到了系统性的科学分析。
当然，研究也有其边界：所有结论基于PLT这一特定架构，其固有的CLP代价在其他循环设计中未必相同。此外，实验主要在代码任务上验证，在数学、多模态等其他领域是否存在类似的“思考饱和点”，仍有待探索。
Q&A
Q1：LoopCoder-v2如何在不增加参数的情况下提升性能？
A：它采用“循环Transformer”设计，让同一组核心参数被多次调用，每次调用都对信息进行深度精炼。结合并行循环Transformer（PLT）的优化机制，额外循环几乎不增加实际延迟和内存开销，从而用接近相同的计算成本实现了更深入的“思考”。
Q2：为什么循环次数从2次增加到3次，LoopCoder-v2的表现反而下降？
A：核心原因在于“收益-代价”失衡。CLP机制带来的“位置偏移代价”在每次循环中几乎固定，而每次额外循环带来的实质性精炼收益却快速衰减。从第三圈开始，代价远高于收益（约30-45倍）。同时，模型内部表示的多样性在第二圈后开始下降，后续循环反而压缩其表达能力。
Q3：PLT循环模型的“思考版本”和普通版本有何区别？为何叠加使用效果更好？
A：普通版本只在内部隐性循环，不输出过程；“思考版本”则额外输出文字推理链。两者提升来自不同维度：隐性循环精炼微观理解，显式推理拆解宏观结构，互不干扰、协同增强，因此叠加后产生远超单独使用的“超加法”效应。
侠游戏发布此文仅为了传递信息，不代表侠游戏网站认同其观点或证实其描述
相关攻略
更多
热游推荐
更多-
- DreamStudio
- Android/ | AI绘图
- 2026-06-30
-
-
- Playground AI
- Android/ | AI绘图
- 2026-06-30
-
- Adobe Firefly
- Android/ | AI绘图
- 2026-06-30
-
-
-
- Leonardo AI
- Android/ | AI绘图
- 2026-06-30
-
- Stable Diffusion
- Android/ | AI绘图
- 2026-06-30
