Anthropic呼吁谨慎开发AI,因AI已具备自我迭代能力,代码生成比例从九成降至两成,预计一年后质量将全面超越人类。报告提出三种未来并呼吁建立监督机制,但面临商业竞争与可信度质疑。
Anthropic此次亲自下场,呼吁开发者暂缓AI开发进程。昨天,他们发布了一篇直白明了的文章——核心观点是应谨慎看待AI。因为不久之后,AI或许能够完全自主完成迭代升级,彻底脱离人类干预。
该消息引发广泛关注。帖子发布不到半天,浏览量便突破1000万。
长期稳定更新的攒劲资源: >>>点此立即查看<<<
在仔细阅读Anthropic官网的这份报告后,整体感觉并非表面那么简单。
简单归纳:报告确实喊出了“慢下来”、“不要内卷”的口号,但指望业界真正停下脚步,恐怕难度极大。
原文标题为“When AI builds itself”(当AI自我迭代时)。
逻辑链条如下:Anthropic认为,当前AI已能自主修复自身bug、编写代码。其内部数据揭示了一个明显趋势:2025年2月,代码库中90%以上的代码仍由工程师手动编写;然而到今年5月,这个比例已降至20%。甚至有员工坦言,自己近五个月未写过一行代码。
代码数量变化之外,质量同样在提升。下图展示了AI在不同难度任务下的完成率。随着模型能力增强,AI在各类任务中的成功率稳步上升。即便是最困难、没有标准答案的开放式问题,Claude也有约70%的胜算。而在2024年9月,这一数据尚不足20%。
从黄色到蓝色分别是:特别简单的任务、常规任务、实质性任务、开放式问题


更关键的是Anthropic的内部判断:目前人类与Claude编写的代码质量仍处于“五五开”水平,但只需一年,局面将彻底逆转——Claude的代码质量将全面超越人类。
这意味着人类是否会面临“终结”?Anthropic对此也未给出明确答案,而是为人类未来设想了三种结局。
假设因缺算力、缺电力、缺水或算法瓶颈,当前AI已触及天花板,发展就此停滞。不过,Anthropic自身也认为这种可能性不大。
人类与AI共同构建安全可信的系统。AI承担绝大多数重复性劳动,但审核与指挥权仍由人类掌控。这本质上是一种角色转换,看似是一个问题不大的“好结局”。
AI掌握足够强大的创造力,实现完全自动化迭代。届时,模型能力提升的唯一制约因素变为算力,人类或将失去存在价值。此过程中,AI可能完全服从指令,也可能彻底失控、摆脱限制。后续发展则无人可预测。
正是基于这种担忧,Anthropic提出呼吁:建立一套可以相互监督、全员参与的探索机制,让全球相关方共同参与,确保能随时为AI研究“踩下刹车”。
初读时,报告内容似乎言之有理。但仔细推敲,问题颇多。Anthropic给出三种可能的未来:第一种是他们自己否定的过去式,第二种是正在经历的现在进行时,第三种才是他们真正担忧的未来。与其说是三种可能,不如说是层层铺垫。整篇文章的数据由其自行定义、采集、解释和评价,考生与考官合二为一,其可信度自然需要打折扣。
此外,AI研发并不是说停就能停的。AI不是核能,无法通过“不扩散”条约实施监管。只要有数据中心,AI就能持续运行,几乎没有办法真正限制。总不能要求所有科技公司互相开放数据区域,彼此监视显卡用途吧。若真要追求这种透明度,建议Anthropic先学习开源模式,否则这样的号召缺乏说服力。
同时,此次建议的发布时间也颇具微妙之处。Anthropic的行业风格一向存在争议。做强模型的公司很多,但像它这样始终如一定位“安全”的并不多。其官网介绍几乎每句话都在强调安全,甚至可以找到从产品到应用的全套安全措施,以及专门为Claude编写的“安全宪法”。
然而,这些安全措施是否真的有效?现实比预期更复杂。前几年,该公司曾承诺除非确保安全措施准备妥当,否则不会开始训练新模型,但很快便撤回了承诺。今年2月面对《时代》周刊采访,其首席科学家表示这种单方面承诺并不合理,公司可能考虑放弃。
简而言之,在硅谷,“安全”与“发展”常常成为可灵活解释的词汇。当理想主义遭遇商业竞争,到了关键时期,所谓的安全往往要让位于季度财报和市场份额。
例如,此前疯狂渲染焦虑的OpenAI CEO奥特曼最近也改变了话锋。他此前称AI将取代大部分工作,如今又承认之前的判断过于草率。英伟达CEO黄仁勋则更为激进,在采访中直接吐槽当前许多言论过于科幻、戏剧化且毫无帮助,并质疑为何部分CEO试图扮演上帝、夸大威胁来吓唬人。
虽然不清楚黄仁勋具体指向谁,但可以看出,即使同在AI前沿阵营各方意见分歧巨大(正所谓“屁股决定脑袋, 看他们的观点还需结合其所处位置才能判断。). 实际上, 近一两个月 Anthropic的日子不算特別順暢——3号推出的 Claude 4.8略显逊色,丧失了曾经的断档领先感; 隔壁OpenAI全军出击,编程与图像生成领域皆有斩获;奥特曼天天找理由重置Codex额度俨然成了开发者心目中的超级大好人;Anthropic这边為了獲得更多显卡與算力用于开发更强模型 ,已经开始递交 IPO 申请准备融资上市。
此消彼长之间种种因素叠加使“慢点开发”的号召显得越来越没有分量。
回想今年 Google I/O 活动时 DeepMind CEO 哈萨比斯在现场说:“现在我们正站在AI奇点时代的山麓。”结果還沒往上爬两步 Anthropic 就在前面扭头告诉你“山上有风险攀登需谨慎为了大家安全我们还是都别爬了吧”。
这种说法倒也有些道理——毕竟这些大厂顶尖研究员能看到更多东西。但多少像是美丽而无用的废话: 只要山在那儿 人就一定会想登上去看看。
撰文:风华 & 早起
编辑:早起 & 江江 & 面线
美编:素描
图片、资料来源:
X,Anthropic,联合国,TIME,Youtube,部分图源网络

侠游戏发布此文仅为了传递信息,不代表侠游戏网站认同其观点或证实其描述