首页 > AI教程 >创业公司宣称突破Transformer七年技术瓶颈

创业公司宣称突破Transformer七年技术瓶颈

来源：互联网 2026-07-29 22:11:08

一家初创公司声称其SubQ模型打破了Transformer架构的平方计算复杂度瓶颈，将注意力计算降至线性增长，从而大幅提升长上下文处理效率并降低算力消耗。该技术若经独立验证，可能深刻影响代码智能体、长文档分析等应用场景。但目前其主张尚未公开充分验证，需保持审慎关注。

Subquadratic公司宣称突破Transformer七年瓶颈，AI行业迎来新变数？

近日，一家名为Subquadratic的迈阿密初创公司结束隐身模式，高调亮相。该公司发布了一项震撼AI行业的声明：其技术成功突破了自2017年以来定义主流AI系统的核心数学约束。其模型SubQ在发布24小时内，曝光量超过1200万次，吸引了3万人加入候补名单，迅速成为行业热议焦点。

理解问题的核心：Transformer的瓶颈

要明白SubQ为何引起巨大关注，首先需要理解Transformer架构的根本瓶颈所在。

长期稳定更新的攒劲资源： >>>点此立即查看<<<

flowchart LRsubgraph Transformer["? 传统 Transformer"]direction TBA1["Attention 计算量 = O(n)"]A2["token 翻倍 → 计算量翻四倍"]A3["长上下文：越贵 · 越慢 · 注意力退化"]endsubgraph SubQ["? SubQ 架构"]direction TBB1["Attention 计算量 ≈ O(n)"]B2["token 翻倍 → 计算量也翻倍"]B3["线性增长，长上下文友好"]endTransformer -- "SSA 次二阶选择注意力" --> SubQ

正是O(n)的计算复杂度，使得Claude、GPT、Gemini等模型在处理长上下文时，面临成本急剧上升、速度变慢以及“中间注意力退化”的困境。模型虽然能容纳海量信息，但在实际调用时却难以精准定位。

为此，行业催生了RAG（检索增强）、向量数据库、上下文压缩、记忆系统等一系列复杂的工程方案。这些方案本质上都是在为架构瓶颈“打补丁”。

SubQ的核心技术主张

mindmaproot((SubQ 核心主张))指标12M token 上下文1000× 算力节省$29M 种子轮融资架构 SSA只关注重要 token稀疏图动态路由平方复杂度 → 线性产品线全上下文 APISubQ Code 代码 AgentSubQ Search 长文档搜索投资人Justin Mateen Tinder 联合创始人Ja vier Villamizar 前软银Anthropic OpenAI Stripe Brex 早期投资人

该公司将其核心技术称为SSA（次二阶选择注意力）。其思路是摒弃传统Transformer中每个token关注所有其他token的做法，转而像在稀疏图上进行动态路由一样，仅聚焦于“重要的token”。理论上，这能将计算复杂度从平方级降至线性级。

官方数据显示，在处理1M token上下文时，SSA比当前高效的FlashAttention快52倍；在研究版支持的12M token规模下，相比主流前沿模型，算力消耗据称可减少近1000倍。其产品线包括面向开发者的全上下文API、代码智能体SubQ Code以及长文档搜索工具SubQ Search，目前均处于私测阶段。

其投资人阵容也备受关注，包括Tinder联合创始人Justin Mateen、前软银愿景基金合伙人Ja vier Villamizar，以及Anthropic、OpenAI、Stripe、Brex的早期投资人，这为其技术故事增添了一定的可信度。

AI Agent领域为何反响强烈

当前AI Agent面临的核心瓶颈之一往往是“记忆力”，即上下文长度限制。无论是Cursor、Claude Code还是其他代码智能体，都在大量采用RAG、分块和摘要技术，根本原因在于完整的代码工程仓库通常无法全部放入模型的上下文窗口。

SubQ的关键主张不仅是“能容纳”，更是“容纳后能真正理解”。许多号称支持百万级上下文的模型存在“Lost in the Middle”的问题，注意力在长文本中被稀释。SubQ在RULER 128K基准测试中报告了95%的精确度，在“大海捞针”和精确复制任务上表现突出。若数据属实，这将直接冲击现有Agent的能力边界。

突破Transformer的技术路线图

事实上，突破Transformer平方注意力天花板已是行业公开的竞赛方向，目前主要存在多条技术路线：

flowchart TDsubgraph 目标["? 突破 Transformer O(n) 天花板"]direction TBend目标 --> R1["次二阶稀疏注意力"]目标 --> R2["状态空间模型 SSM"]目标 --> R3["线性注意力"]目标 --> R4["检索增强"]目标 --> R5["外部记忆"]目标 --> R6["混合架构"]R1 --> S1["SubQ ?"]S1 --> S1S[" 私测中，待验证"]R2 --> S2["Mamba"]S2 --> S2S["已有一定规模验证"]R3 --> S3["RetNet / RWKV"]S3 --> S3S["下游任务仍有差距"]R4 --> S4["RAG 生态"]S4 --> S4S["最成熟，广泛部署"]R5 --> S5["MemGPT 等"]S5 --> S5S["应用层 patch"]R6 --> S6["Gemini / Claude 内部"]S6 --> S6S["主流厂商折中路线"]style S1 fill:#EEEDFE,stroke:#534AB7,color:#534AB7style S1S fill:#FAEEDA,stroke:#EF9F27,color:#854F0Bstyle S2S fill:#E1F5EE,stroke:#1D9E75,color:#0F6E56style S4S fill:#E1F5EE,stroke:#1D9E75,color:#0F6E56

SubQ的价值在于，它声称自己是首个“从头设计、全程保持次二阶复杂度、且性能不打折扣”的商用模型。此前其他方案或在下游任务性能上难以匹敌标准Transformer，或最终回归混合架构，内核仍是Transformer。

保持审慎：社区的质疑与历史先例

在热度之下，社区和研究人员也提出了多重质疑：

flowchart TDsubgraph 警报[" 社区警报"]W1["论文细节不够公开"]W2["Benchmark 多是自测"]W3["API 仍处私测阶段"]W4["架构未开源"]endsubgraph 先例["? 历史先例：Magic.dev"]H1["2024.08 声称 1 亿 token 上下文"]H2["同样宣称 1000× 效率优势"]H3["融资 5 亿美元"]H4["2026 年初：外部使用证据几乎为零"]H1 --> H2 --> H3 --> H4endsubgraph 前车["其他承诺过线性复杂度的方案"]P1["Kimi Linear"]P2["DeepSeek 稀疏注意力"]P3["Mamba"]P4["RWKV"]end警报 --> 先例先例 --> 前车style 警报 fill:#FCEBEB,stroke:#E24B4A,color:#A32D2Dstyle 先例 fill:#FAEEDA,stroke:#EF9F27,color:#854F0Bstyle 前车 fill:#FAEEDA,stroke:#EF9F27,color:#854F0B

回顾历史，无论是Kimi Linear、DeepSeek的稀疏注意力，还是Mamba、RWKV，都曾承诺实现线性复杂度。但它们共同面临一个现实：理论上的线性优势，在大规模、多样化的实际任务中，往往难以完全转化为媲美标准Transformer的综合性能，有时甚至需要引入传统注意力层进行弥补。

因此，在获得独立、严格的第三方验证之前，对于“1000倍效率”这类数据，保持审慎态度是必要的。

长期关注的价值与行业意义

抛开对SubQ具体主张的争议，它所指向的技术方向无疑是重要且真实的。整个AI行业在2025-2026年的核心攻关方向之一，正是突破Transformer平方注意力的天花板。这是领域共同面对的工程现实与迫切需求。

如果SubQ的技术主张最终能在开放环境中通过独立验证，其影响将是深远的：代码智能体、企业知识库、法律医疗长文档分析、AI的长期记忆系统等场景都可能迎来本质性变革。

反之，如果其主张无法被验证，这将成为AI发展浪潮中又一个关于过度融资与过度承诺的案例。最终结果如何，值得持续观察。

flowchart TDsubgraph 待验证["? SubQ 需要通过的三道关"]G1["独立基准测试"]G2["同行评审"]G3["开放访问"]end待验证 --> 情景A[" 通过 → 行业格局改变"]待验证 --> 情景B[" 未通过 → 又一个过度承诺案例"]情景A --> A1["代码 Agent 质变"]情景A --> A2["企业知识库重构"]情景A --> A3["法律医疗长文档分析升级"]情景A --> A4["AI 长期记忆突破"]style 待验证 fill:#EEEDFE,stroke:#534AB7,color:#534AB7style 情景A fill:#E1F5EE,stroke:#1D9E75,color:#0F6E56style 情景B fill:#FCEBEB,stroke:#E24B4A,color:#A32D2D

侠游戏发布此文仅为了传递信息，不代表侠游戏网站认同其观点或证实其描述