科学家Yann LeCun解读大模型如何思考与深度学习
来源：互联网 2026-07-03 06:17:11白盒模型研究通过寻找大语言模型中的元意思，探索其内部判断机制，旨在将深度学习从经验性学科推向科学。理解模型运作后，可调整偏见、优化效率，并借鉴神经科学启发，推动AI的安全与可信度发展。
在生成式AI技术经历了两年多的普及之后，利用大模型来生成内容已经逐渐渗透进普通人的日常工作与生活。表面上看，这个过程非常轻松——你输入一个指令，模型就直接给出答案。但在这背后，模型内部到底是如何进行判断和决策的？没人知道。这就是业界常说的那个“机器学习黑盒”。
长期稳定更新的攒劲资源： >>>点此立即查看<<<
正因为这种不可解释性，AI的安全问题一直备受质疑。为了破解这个难题，科学家们开始尝试打开大模型的黑盒子，也就是所谓的“白盒研究”。一方面，白盒模型的研究能帮助人们理解黑盒模型，进而对大模型进行优化和效率提升；另一方面，白盒研究的目标是把AI从纯粹的工程学科推向科学。这次我们邀请到了加州大学戴维斯分校电子与计算机工程系助理教授陈羽北，他的研究方向正是“白盒模型”。此外，他还是图灵奖得主、Meta首席科学家Yann LeCun的博士后。本期节目中，他不仅与我们探讨了白盒模型的最新研究进展，也分享了他眼中这位亲历行业起起伏伏、却始终纯粹专注的科学家——Yann LeCun。
Graphic by Violet Dashi. Illustrations by Nadia and Simple Line
01 人脑与大模型
《硅谷101》： 可以先简单介绍一下你目前正在做的“白盒模型”研究吗？在你的研究过程中，有没有发现什么方法可以用来解释GPT的输入输出问题？
陈羽北： 这个方向的终极目标，是把深度学习从一个纯经验性的学科向科学学科推进——也就是把工程变成科学。因为目前工程跑得很快，但背后的理论发展相对缓慢。以前有个叫“词的嵌入”（embedding）的模型，它可以学到语言的一些表征。那时大家心中就有一个疑问：我们做任务的性能确实变好了，但究竟是什么原因让它变好的？所以我们当时做过一个非常早期的尝试，就是打开词汇的那些表示。当你真的去打开它，会发现一些很有意思的现象。
比如说“苹果”这个词，你可以从中找到不同的元意思：其中一种可能是代表水果，另一种代表甜点，再往下挖，还有技术和产品的意思——当然是指苹果公司的产品。你会发现，顺着一个词你能找到它的这些元意思。然后，就可以把这套方法迁移到大语言模型里。也就是说，当我们学完一个大语言模型之后，可以在模型里面寻找那些元意思，然后试着去打开它。你会发现，大语言模型其实有很多层。
在比较初级的层里，有一个现象叫“词语的消歧”。比如英文里的“left”这个词，它既有“向左转”的意思，也有“离开”的过去式的意思，具体是什么意思，得看上下文语境。大语言模型在初期的几层里，就完成了这种消歧。而在中期的层里，又会有一些新的元意思产生。我们觉得特别好玩的一个事叫“单位转换”，一旦遇到公里变英里、华氏度变摄氏度的情况，这个元意思就会被激活。顺着这个路径，你能找到很多类似级别的元意思。
再往上走，甚至会发现这些元意思之间存在某种规律：当上下文里出现了一个重复的语义时，它就会被激活。我们就可以用这样的方式去打开大语言模型以及小语言模型。当然，这些思路也不完全是新的，它在视觉模型里其实已经有一段历史了——比如从Matthew Zeiler开始，就有人在探索类似的东西。
《硅谷101》： 顺着这个思路，如果我们知道了它部分是怎么运作的，是不是就可以从工程层面做很多优化？
陈羽北： 这确实是个好问题。我觉得做理论研究，一个比较高的要求就是要能指导实践。所以我们当时在做语言模型和词汇表征的时候，目标也很清晰：当我们理解了之后，能不能反过来去优化这些模型？其实是可行的。举个例子，如果在大语言模型里面找到了某个元意思，当它看到某种元意思时就会被激活，那么这一个神经元就可以被当作一个判别器，用来完成某些任务。通过对这些元意思的调整，就能调节模型的偏见。如果能发现它，我就可以调整它。最近Anthropic那边就做了类似的工作——找到语言模型里可能存在的偏见，然后对它进行修改，让模型变得更加公平和安全。
《硅谷101》： 我看到去年OpenAI也有一项研究，就是用GPT-4去解释GPT-2到底是怎么工作的。比如他们发现，当GPT-2的神经元在回答所有跟美国历史1800年前后的事情时，第五行第12个神经元会被激活；而在回答中文的时候，是第12行第13个神经元被激活。如果把它回答中文的那个神经元关闭，它对中文的理解能力就会大幅下降。但越往后，比如神经元排到2000左右的时候，可信度就已经下降了很多。你注意过他们的这个研究吗？
陈羽北： 这篇文章我还没看过。不过这个方法很像是在给大脑的神经元做手术。相当于，如果我们有一个神经网络，从某种意义上能找到它的局部存在（而不是完全分散的），就可以对那个局部进行一些操作。比如把某个神经元切掉，那么它那一块的能力，相对来说就损失掉了。人其实也是一样的——一个患有癫痫的人做完手术后，可能会出现某些语言上的障碍，但不太影响其他人体功能。从原理上看，是相似的。
《硅谷101》： OpenAI和Anthropic都在研究大模型的可解释性，你的研究跟他们有什么区别？
陈羽北： 白盒模型的研究将来能不能成功，其实谁都说不准。我曾经也跟我的导师讨论过这个问题，大家一致的看法是：这事值得尝试。就我们而言，我们想做的其实是理解人工智能，并且通过这种理解去重构它，从根本上构建出一些不一样的东西。观测——也就是可解释性——我觉得只是一种手段。打开模型也好，做实验也好，对模型做调整也好，我认为这都是我们在理解过程中尝试的一些方法。但白盒模型真正重要的，还是要回到那个信号本身。不管是人脑还是机器，它们学习的本质都是因为信号。
我们这个世界里存在一些结构，它们需要通过学习去发现这些结构，学的也正是这些结构。那么，我们能不能找到这些结构背后的规律，以及可以用来描述它们的数学工具，再把这些东西重新组合，构建出一个不一样的模型？如果这件事能做成，那就会给我们在提高系统鲁棒性、安全性和可信度方面带来切实的期望。另外，效率也会提高。这有点像蒸汽机先出现，后来才有了热力学理论，于是它从一门纯粹的工匠学科变成了一门科学。同理，今天我们好像第一次在数据上拥有了“蒸汽机”——从过去不能理解数据，到现在终于可以做出一些AI算法，把数据中的规律抓出来。
《硅谷101》： 所以它会更节能。
陈羽北： 说到节能，我可以举几个有意思的例子。第一点肯定是节能——大脑相当于一个20瓦功耗的灯泡，而现在的超级计算机可能要超过百万瓦。第二点，如果我们看自然界中各种生物的演化，演化效率其实非常惊人。有一种叫Jumping Spider的特殊蜘蛛，只有几百万个神经元，却能做出非常复杂的三维路线去捕捉猎物。
而我觉得最有意思的，是人对于数据使用的效率。Llama 3现在的数据量大概已经达到了13万亿个token。但人的一生究竟能接收多少数据呢？假设我们每秒能获得30帧图像，每天获取12小时，坚持20年，那么大概能得到100亿个token；文字能获取的也差不多。人接收的数据量，比大模型要小太多了。那么问题就来了：人究竟是如何通过这么少的数据量，获得如此强的泛化能力的？这就是人脑在效率层面让我觉得很神奇的一点。
《硅谷101》： 揭开大模型是怎么运作的，和揭开人脑是怎么运作的，哪个更难？听起来都很难。
陈羽北： 各有各的难法，但在方法上是相似的。不管是人脑还是大语言模型，我们都是在尝试去观测它，看看它对什么产生了响应。这个方法其实从上个世纪80年代获得诺贝尔生理学奖的David Hubel和Torsten Weisel关于视觉皮层的研究中就能看到。他们找到了一种Simple Cell，研究人看到什么东西时神经元会产生冲动，分析看不同东西时神经元的不同响应状态——比如什么时候完全不响应，什么时候又很兴奋。然后，他们就找到了神经元的Receptive field。
今天我们研究大语言模型，其实也是这个思路：找不同的输入，理解模型内部哪些神经元对哪些输入感兴趣。不过它们之间还是有区别的。第一个区别是，不管是通过插电极还是脑机接口来观测人脑都有很多限制，但大语言模型有一个天然好处：观测手段不再受限了。如果你有更好的方法，就可以长期分析它，甚至还可以用微分的方法对模型做进一步分析。但它的缺点是，大模型的能力还远远不如大脑。尤其是大语言模型，它只从语言中学习这个世界，因此它对世界的理解是不完整的，就像一个只有语言、没有其他感官的人。
相比之下，大脑能处理更多维的信号，感官非常丰富。有时候我们会想一个问题：语言本身是不是完备的？如果没有其他感官的支撑，语言中所有的概念能不能独立存在？还是说，它一定要有感官支撑，才有可能实现真正的理解？举个例子：冰箱这个东西，如果不和现实世界的冷热感受关联起来，只是描述它有门这样的统计特征，那么这种描述是不是就是不完备的？
《硅谷101》： 所以目前大模型跟大脑相比，还是欠缺非常多的。但因为它可以被拆开来研究，所以你觉得它还是比揭开大脑秘密的野心要稍微更进一步？
陈羽北： 理解大语言模型的难度在于，你观测的手段多，能理解的东西也就更多。好比有两台机器，一台是完全可以观测的，另一台是部分可观测的，那么从直觉上讲，完全可以观测的机器更容易被理解。当然，它有些能力是没有的，所以也不能取代对人脑的理解。
《硅谷101》： 我也跟听众补充介绍一下，羽北之前是学神经科学的。你觉得你的学科背景对现在做AI方向的研究有什么帮助吗？会不会有一些跨学科的研究方法可以相互借鉴？
陈羽北： 我其实不是专业学计算神经科学的。本科在清华的电子系，在伯克利是电子工程计算机系，但当时我所在的研究所是一个神经科学研究所，所以我导师是计算神经科学的专家。关于你说的那个问题，我觉得神经科学的学习对我而言，更多的是一种启发。当你知道自然界的这些系统能做到什么的时候，你可能就会产生不一样的想法，重新去看眼前的问题。
举个例子：一张图片是一个二维输入信号，它的像素有横向的、纵向的，然后形成一个网格。但人眼的视网膜并不是这样。首先，它拥有不同感受器，这些感受器以非常密集、但又不规则的方式排布，中间非常细密，向两边时会变得稀疏。当你面对这样一个输入信号的时候，我们习以为常的卷积神经网络等东西就都失效了，因为连卷积在这里都没有定义。所以当你看到生物系统里的这种情况，就会重新去想你所谓的这些“卷积”到底从何而来。
《硅谷101》： 所以你会重新去想：这个方法对不对？是不是一定要用这种方式来实现？
陈羽北： 是的。就是说，假设有一天你醒来，所有的神经元都打乱了，那你还能再去理解这个世界吗？因为你看到的已经不再是一张图片，你也不能再用卷积神经网络来做这件事了——你需要什么样的方法？虽然我们还没完全解决这个问题，但其实也已经往前走了一步。就算我的所有神经元都打乱了——也就是感受器图像里的像素都打乱了——但相邻的像素之间仍然存在一些关系。比如我看图像时会发现，如果一个像素是红色的，周围的像素也更可能是红色的。通过这种关系，就可以让这些像素重新“找朋友”，把相似的像素自组织成一些结构。这时再加上大语言模型里Transformer这样的结构，就可以重新对这种图像做出表示，而且这个表示的性能还不错。这是一个完全从自然启发出发，重新审视我们现在工程上的一些做法、并提出不同方法的例子。
《硅谷101》： 感觉研究AI大模型和人脑神经科学还是有很多相似之处的。会有神经科学家从他们的角度来跟你们做跨领域的研究合作吗？
陈羽北： 其实有很多神经科学家、统计学家以及数学家，他们想要理解自然信号中的一些结构，同时也会关注大脑里的神经元是如何运作的，然后把两者结合在一起，尝试提出一些极简的信号表示。举个例子：在大脑里你发现一个现象——神经元虽然很多，但同一时间在工作中的神经元其实非常稀疏。比如有100万个神经元，可能只有几千个在工作。根据这个现象，早年神经科学领域就提出了一个“稀疏编码”的方法：在这种高维信号里，能不能找出一些稀疏的低维表示？从这种思路出发构建出来的算法，和你在大脑里观测到的神经元表示非常相近。所以这是早期计算神经科学在无监督方向上的一个成功。
到今天，整个这块研究领域有一个名字：自然统计信号的研究（Natural Signal Statistics）。它的目标就是揭示信号背后的一些基本结构。但相比大模型，和白盒模型这类与神经科学结合的研究，发展相对要慢一些。我觉得一方面可能是问题本身复杂，另一方面也是因为投入这个方向的人比较少。
02 黑盒模型的“弯道超车”
《硅谷101》： 简单来说，就是现在研究白盒模型的人太少了。但在大模型出现以前，传统的机器学习是不是也属于白盒模型研究的范畴？
陈羽北： 这个说法可以认为是对的。以前的机器学习模型相对简单，基本上都能理解。
《硅谷101》： 那为什么整个黑盒模型的研究进展会对白盒模型实现“弯道超车”，速度能快这么多？
陈羽北： 这个问题问出来，我们先会紧张一下，然后再回答。
《硅谷101》： 为什么要紧张？
陈羽北： 因为这个问题很尖锐。它其实是在问：白盒模型或者说可理解这条路径，我们是不是应该放弃了？从这个时代开始，是不是在AI领域我们已经不再研究科学，以后全变成经验性学科了？但我觉得还不是。回到你刚才的问题，这个过程中到底发生了什么？第一，黑盒模型的包袱少。既要这个方法能工作，又要这个方法可以解释，要求就太多了。黑盒模型放弃了这一条，让它先能工作起来。第二，一个相对容易被忽视的原因是数据的逆势增长，或者说规模的扩大。
Richard Sutton之前写过一篇博客，里面提到：在过去20年里，有一个一直没有被打破的规律——当你有更多的数据和计算，就应该找到比较能真正扩张的算法，把所有数据中的规律都纳入进来。我认为，这是黑盒模型或者说我们现在经验性进展里很重要的一条。也就是说，当你拥有更大的数据、更好的数据、更多的计算、更大的模型时，就能学到更多。但回到这个问题，白盒模型里大家有一个追求：模型本身要具有简洁性。
《硅谷101》： 为什么白盒模型要强调简洁？是不是可以理解为：如果它过于复杂，就很难被设计？
陈羽北： 是的。做理论的东西，只有简洁才可能被理解，肯定是要做一次次的简化。但在追求模型简洁性的过程中，我们可能也做了一次又一次的过度简化。而一旦出现过度简化，模型就无法完全刻画数据的形态。当数据越来越多时，模型就走不下去了，它的能力会被限制住。所以这也是之前大家研究白盒模型、研究简单模型时面临的一个困难：我们不仅要带着“模型需要工作”的包袱，还要它可解释，同时还必须简洁。把这些全都带上之后，会发现这个包袱实在太重。当你做了过度简化，就会引入错误，错误会积累，然后就再也走不动了。
《硅谷101》： 但现在随着黑盒模型的快速发展，我们又开始尝试去解决它。
陈羽北： 是的。这一次我们在解决它的时候，可能会重新审视这个问题：我们不一定需要让模型完全简化到那个程度，它还是能够表示出世界比较复杂的一面。但同时，我们仍然希望它是比较可理解的。如果有一天我们能做出一个真正的白盒模型，那么在此之前，我认为每一次的尝试都可能是一次过度简化，但我们希望每一次简化都能往前走。我们甚至不一定需要完全做出一个白盒模型——也许可以做出一个白盒的、但没有大模型那么强大的模型，但它相对来讲非常简洁。这对于我们理解学习背后的本质是有帮助的，而这种理解反过来又可能帮助大模型的训练提高效率。关于效率的问题，我之前跟Yann也讨论过几次：如果背后的理论得到了发展，我们就有可能让工程实践效率以数量级的方式上升。
《硅谷101》： Yann是更倾向于发展白盒模型还是黑盒模型？
陈羽北： Yann是一个以工程方面著称的科学家，所以他的很多尝试还是先让东西工作起来。但Yann也是支持白盒模型研究的。在我跟他讨论的过程中，他会觉得这条路值得探索，但它是一个过于有野心的目标，能不能实现他也不知道——但总要有人去做。
《硅谷101》： 感觉黑盒模型是一个工程问题，而白盒模型则必须用科学来解释它。虽然从商业化角度而言，它的投入产出比没那么高，但如果最终能做出来，对AI的安全性和未来商业化应用还是很有价值的。
陈羽北： 关于商业化，其实我认为所有做基础AI研究的人，工作的初衷从来不是以任何应用为目的，而是由对智能问题比较纯粹的好奇心驱动的。紧接着，他们可能会发现一些规律，反过来帮到工程实践。研究本身并不是为某一种特定应用设计的。另外，当我们在追求白盒模型这种极致效率的过程中，也会追问另一个问题：我们现在做的这个大语言模型，是不是只靠规模化或者说Scaling Law这一条路走下去就行了？我认为不是。因为人是做不到接收那么大量数据的。那么，如何用少量数据还能获得比较高的泛化能力？这也是我们在研究中的一个重要问题。
《硅谷101》： 这应该也是黑盒模型学者在研究的问题。目前，白盒模型领域有哪些学者和流派在做这个事情？
陈羽北： 目前主要就是AI的三股力量。第一股力量是研究这些工程模型的过程中所产生的一些经验，然后对它进行可视化——比如最近Anthropic、OpenAI他们做的那些事。
第二股是计算神经科学，尝试对人脑进行理解，找到记忆可能存在的方式。还有一股流派是从数学和统计的角度出发，看信号的基本结构是什么样的。当然，这三种之间还会产生很多的交叉。
《硅谷101》： 你属于哪一流派？
陈羽北： 这三派我或多或少都受到了一些影响。之前在伯克利，跟我的导师以及马毅老师他们属于偏神经科学和数学统计的流派；到了Yann这边，则是工程方面的训练比较多。这几种方法我都可以接受，因为最终它们都会让我们朝同一个方向前进。
《硅谷101》： 同样的方向是哪个方向？现在有阶段性成果吗？
陈羽北： 最终就是理解这个模型。之前有一些阶段性成果。比如我们能不能做出一个哪怕只有两三层的网络，每一层我们都能看到它学的是什么？最后发现，真的可以做到：一个数字要想表示它，你会把它的笔画全部学出来，再把相似的笔画关联在一起，接着就可以构建出下一个层次的表示。就这样一层一层，最后找到了那个数字。
《硅谷101》： 你目前的研究会对黑盒模型产生优化吗？
陈羽北： 一方面，当你对它的理解加深了之后，可能会优化黑盒模型，让它的效率变高。第二，能把不同的黑盒模型统一起来，这样就减少了不必要的浪费。同时，我们实验室另一项支柱性工作，是要研究不止是感知，还有控制。当你给大语言模型与这个世界交互的能力时，能不能在控制系统里也获得同样的泛化能力？什么意思呢？在感知系统里你会发现：我学了苹果、学了梨，这时来了一个桃子，由于我学过相似的苹果和梨的概念，所以能很快学会桃子这个概念。那么在控制领域，能不能达到相似的性能？比如一个机器人学会了向前走和原地跳跃，那么能不能很快把它变成一个可以一边向前跳一边走的机器人？
《硅谷101》： 如果让你给一个结论，你觉得用白盒模型的研究来揭开大模型运作的秘密，目前进度条到哪里了？
陈羽北： 实际上我们都不知道这个进度条有多长。我感觉距离这个目标其实还很远。它不一定是线性发展的，可能更像是一种量子式的跳跃——当一个新的认知出现后，可能会马上往前走一大步。如果你想做一个白盒版的ChatGPT，我认为这还挺远的。但有可能我们能做出一个还不错的、完全可理解的模型，复现像当年AlexNet那样的能力。这种模型可以只做ImageNet的识别，而我们可以理解它内部的每一步是怎么做的——它如何一步步地把它判断成猫或狗，而猫和狗的结构又是如何产生的。
《硅谷101》： ImageNet的识别算白盒还是黑盒？
陈羽北： 我们还没完全发现它的工作原理。从Matthew Zeiler和Rob Fergus以及很多研究者做的早期可视化工作来看，我们有一些理解，但还没有人能创造出一个模型，每一步都是可理解的、同时还能工作得不错。
《硅谷101》： 所以白盒模型的目标可能是分阶段的。比如第一步先解释ImageNet是怎么工作的；这个谜底揭开后，再来解释一些小模型是怎么工作的——就像用GPT-4去解释GPT-2一样；然后再慢慢解释大模型是怎么工作的。
陈羽北： 是的。这个过程还需要相当长的时间，同时也需要更多的人投入到这个方向上。因为目前大部分工作都集中在工程领域。如果放到学校里来做，那就要有一点原创性的想法，而不是说“你去scale，我也去scale”，最后大家都去scale，就没有区分度了——最后就是比谁的机器最好，谁的数据最多。
03 我所了解的Yann LeCun
《硅谷101》： 接下来，我想跟你聊聊你博士后的导师Yann LeCun。我先补充介绍一下：Yann LeCun，中文名杨立昆，是一名法国计算机科学家，在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献，被誉为“卷积神经网络之父”。他现任Meta首席AI科学家，也是纽约大学教授。1980年代，他率先提出了卷积神经网络（CNN），这成了现代计算机视觉的基础。2018年，他与Geoffrey Hinton和Yoshua Bengio共同获得了图灵奖，表彰他们在深度学习方面的开创性工作。能否给不太懂技术的朋友简单解释一下，Yann的主要科研成果是什么？他为什么这么知名？
陈羽北： Yann从80年代就开始研究神经网络和AI领域，经历了很多次的高峰与低谷，经历了不同学派的起落，但他始终坚持深度学习这条路线——是一个走过黑暗的人。比如在2000年的时候，发深度学习相关的文章非常困难。困难到什么程度呢？如果你文章里出现了“Neural”或“Network”这个词，被拒稿的概率都会很大；如果出现“Neural Network”，那基本肯定会被拒。所以对他们来说，那是一个至暗时刻，经费也很受影响。但他们能在这种黑暗中坚持不放弃，最终走出黑夜，让深度神经网络改变了世界。我认为这也正是他们能拿到图灵奖的原因之一——算是对当年先锋们的一种致敬。
《硅谷101》： 你当年读博士后的时候，为什么会选择去他的组？
陈羽北： 这事说起来有点奇遇。当时我挺迷茫的，甚至没想过在那个学期毕业。我的决心是要在博士期间做出一个白盒模型，而且要和AlexNet的性能相当——但还差一点没做好。我在想，如果继续做研究的话，博士后该找谁呢？碰巧有一次开会，在会场遇到了Yann。我其实不是一个很会主动搭话的人，因为大家肯定都想找Yann做博后——所以我碰到他时，主要想的就是聊聊他对我工作的看法，以及他对AI未来研究方向的观点。结果那次聊得特别好，我的研究方向以及我想到的一些问题，他好像也都想过——只不过是从神经网络的角度。所以他就问我：你在招博士后吗？有没有兴趣申请一下？我当然申请了。所以就这样一拍即合了。
《硅谷101》： 他是一个什么风格的导师？是给学生们很大的自由空间去探索，还是经常和大家一起讨论、给予很多帮助？
陈羽北： 首先，第二种情况他现在已经不可能了——很多人都在占用他的时间，他能分给每个人的时间相对有限。他和我的博士导师有点像，在一些大方向上属于“放养”。但我认为他们有一个共同点：对于自己相信的事情，会非常坚持。他会给你指一个大方向、一个大目标，但具体怎么走、是乘船还是乘车，都没关系，他不会去管这些细节。Yann自己的大方向其实这么多年也没变过——一直是自监督学习。自监督学习分两部分：一部分是基于感知的自监督，另一部分更重要的，是如何通过具身的方式来做自监督——也就是我们现在做的“世界模型”（World Model），这是他坚信的方向。说起来，“世界模型”这个名字其实还是我安利给他的——因为我读了David Ha和Jürgen Schmidhuber那篇题为《World Model》的文章，觉得这个名字挺酷的。
《硅谷101》： 你觉得Yann的研究方向和OpenAI、Anthropic他们有什么不一样？
陈羽北： 如果说真有什么不一样，我觉得Yann想要模型具备几个特点。第一是要有具身的能力——不是只堆数据，而是模型最终能够自己去探索这个世界。
《硅谷101》： 这有什么不一样？似乎大家都希望最终能达成这个目标。
陈羽北： 执行方式不同。比如OpenAI，我认为它的核心理念是Scaling Law——更多、更好的数据，更多的计算，更大的模型。但Yann的思路还是比较科学化的：他会想，如果我们想真正通向类人智能，究竟需要什么？他觉得仅仅堆数据是不够的。
《硅谷101》： 所以Yann相当于既是研究黑盒，也是研究白盒。
陈羽北： 我觉得Yann其实没那么在意这是否能发展成一门科学。目前来看，他的观点主要停留在经验性和工程上——他希望系统能工作得更好，而这实际上也是他一直很擅长的事情。
《硅谷101》： 当OpenAI证明了Scaling Law可以达到很好的效果时，你觉得Yann在科研方法和思维上有所转变吗？还是他仍然非常坚持原来的路线？
陈羽北： 实际上他并不反对Scaling Law——我觉得大家在这件事上并没有真正的冲突。真正的分歧可能在于：OpenAI很多工作是以产品为导向的，把工程执行做到极致；而Yann是以更科学的形式在研究。他在思考这些问题时，不太会考虑产品，只是想一件事：究竟怎么能实现智能。因为他在这个领域的时间太长了——八几年就开始深耕了。所以当他看这些问题时，可能还是会坚持自己的理想。
《硅谷101》： 让智能自主学习是Yann研究的第一大特点。还有其他特点吗？
陈羽北： Yann一直相信一个东西，叫JEPA（Joint Embedding Predictive Architecture）。也就是说，模型当然要有自主学习的能力，但比这个更重要的是：模型在学习数据的同时，也要能学习到一些比较高层级的规律。目前有两派：一派希望通过学习对数据进行完全重建，可以理解为一个压缩的思路；但Yann不希望完全回到图像本身，因为重建图像会带有太多细节，而这些细节并不是系统做判断时最重要的信息。
《硅谷101》： 这一点跟你伯克利的马毅导师的观点是不是不一样？
陈羽北： 其实本质上没有冲突，只是表述方式不同。马老师觉得世界的规律是简洁的；Yann认为细节对下游任务或判断是不利的，所以要把高层级的规律找到。其实这两者是一回事，因为高层级规律一般就是简洁的。马老师经常说“所有的东西都是压缩”。如果你用Yann的观点来看，压缩确实没错，但数据的层次结构其实是不一样的。现实世界很复杂，深入到细节里，你会发现大量东西都是低层次的结构。数据中有结构，任何有结构的东西，都是从噪声中偏离出来的反应——完全没有结构的东西就是噪声，而任何离开噪声的东西，就已经是有结构了。我们要学习这些结构，但结构有不同的层次。当你上升到更高的层次、在更大的尺度上看时，会发现那个层次的结构已经不显著了——在那个层次上，这些东西已经变成了像噪声一样的东西。所以Yann的观点是：压缩没错，但我们需要一个层次化的学习过程——学习信号中所有结构，学出越来越高的结构。但最高级的结构，往往对整个压缩的占比不大，在优化过程中很容易丢失。因为大量的东西都集中在低层次，像噪声一样的信息量是最大的；越往上走，越难发现那种结构。为什么呢？因为在你的优化目标函数（loss function）里，找到这个规律还是找不到它，对你的loss影响可能并不大。我觉得主要就是这两点：一是世界模型，二是对层次化表示的理解。
《硅谷101》： 你觉得他们身上有哪些特质是你特别被打动的？
陈羽北： 特别打动我的，可能就是他们做事情的那种专注和纯粹吧。有一次我跟Yann吃午饭，他说：你们在年轻时候想要的所有的东西，我都有了。但我已经没有太多时间了。所以他只能用剩下的时间，去做自己真正相信的事情。当你跟这样的科学家工作时，你可能会被他们身上的这种气质所影响。以至于你即使还没达到他们现在的地位和所拥有的东西之前，也能用他们的视角来看待这个世界。所以你在做选择或做事情的时候，可能会跳出自己当下的位置，去想：如果有一天我也像他一样什么都有了，我会做什么？
《硅谷101》： 他有改变过你的某些决定吗？
陈羽北： 有。它会让我在做很多选择时想起这件事。我记得读博士的第一天，我的导师跟我讲过两件事。第一件是：他不需要我发很多文章，但希望发出来的文章能“穿越时间”——也就是20年后看这篇文章，依然不觉得它过时。这其实很难，因为很多工作带有鲜明的时代感。但真正深邃的思想，能穿越上百年依然不老。这是一个很高的目标，可能要到快退休时才能验证。但它提出了一个灵魂拷问：你愿不愿意坚持去做一些能与时间共存的工作？第二件是：他希望一个学者应该有自己的态度——如果你觉得一件事A可以做、B可以做，你也可以做——那就不要做。因为当你做这件事时，你会发现，并不是这个工作需要你，而是你需要这个工作——这是一种投机的心态。这就是我从他们身上看到的相似气质：希望不随大流，有自己的态度，并且找到自己独特的声音。所以当我在选择研究方向时，我也会时不时地问自己：我现在做的这个工作，到底是投机的，还是真正中流砥柱的工作？
我觉得他们（尤其是Yann）比较伟大的一点，就是能穿越那种近乎绝望的时光，然后迎来曙光。没有经历过低谷的人，沉淀可能是不够的。当你经历至暗时刻，用你的眼光和坚持穿越短期的时间，然后证明它是对的——我觉得这是一种很有意思的气质。
《硅谷101》： Yann有哪些科学上的看法是你不同意的吗？
陈羽北： 他有时候会“铁口直断”。比如他最近说：如果你作为一个研究者，就不应该研究大语言模型。这句话有很多种理解方式。从字面上理解，很多人就会不同意——包括我。我可能会觉得，大语言模型里的某些结构是值得被理解和研究的。当然，Yann真正想说的可能是我刚才提到的：不要做那种A可以做、B也可以做的投机性工作。他更希望研究者有自己的坚持，找到原创性的贡献。如果这么理解的话，我其实是同意的。但他作为一个行业大V，有时候讲话会吓你一跳，然后引发很多话题讨论——这让我觉得很有意思。
《硅谷101》： 你也在Meta工作过，你觉得Yann对Meta最大的贡献在哪里？
陈羽北： 首先，应该是帮助筹建了Meta AI。当时马克（Mark Zuckerberg）来找他，再加上他早年曾在贝尔实验室待过，他很向往当年贝尔实验室的那种状态，所以他也想在Meta复制那样的实验室。带着这个理念，他在Meta AI招募并培养了一批非常优秀的人，为这个领域做出了很大贡献，推动了整个领域的发展。
《硅谷101》： 我觉得开源应该也算是他一个很重要的贡献。比如Meta Llama走的是开源路线，这应该和Yann的思想非常一致。
陈羽北： 是的。开源确实是Yann所坚持的。但我不知道未来Meta是不是会一直开源下去——毕竟Meta也会面临竞争。但我觉得这是Yann的一个理念。最终能执行到什么程度，能走多远，也要看整个环境的发展。
《硅谷101》： 你觉得现在整个大模型的研究，必须是由科学家驱动的吗？还是会慢慢变成一个工程驱动的事情？
陈羽北： 我觉得它已经变成一个工程驱动的事了——早期是科学家驱动。但这一两年里，主要的进展基本上都来自工程的执行：比如数据的质量是不是变高了？数据是不是变多了？它的分布是不是更丰富了？计算能力能不能支持并行？这些工程领域的细节变得越来越重要。从0到1的发展需要科学的突破性；但从1到100，就需要工程的严谨性和执行能力。不同阶段需要不同角色的人一起推动。
《硅谷101》： 大家现在都在期待GPT-5。你觉得如果GPT-5出来了，它更多是个科学问题，还是工程问题？
陈羽北： 我觉得工程上可走的路还很远。我们甚至可以认为，Scaling Law还有相当长的路可走，完全没到尽头——包括数据的质量和算力的扩展。但与此同时，即使我们现在找到的最稳健的一条路是Scaling Law，这肯定也是不够的。我们还需要什么呢？我觉得需要的是类人的那种高效率。那如何实现这种效率？有可能是数据驱动的，但也可能有其他因素。所以我认为，如果要通向AGI，还应该会有那种完全从0到1的、比较大的转变。
《硅谷101》： 也就是说，既要有科学上的进展，工程上也还有很大的空间可以去提高。
侠游戏发布此文仅为了传递信息，不代表侠游戏网站认同其观点或证实其描述
相关攻略
更多同类更新
更多
热游推荐
更多-
- DreamStudio
- Android/ | AI绘图
- 2026-06-30
-
-
- Playground AI
- Android/ | AI绘图
- 2026-06-30
-
- Adobe Firefly
- Android/ | AI绘图
- 2026-06-30
-
-
-
- Leonardo AI
- Android/ | AI绘图
- 2026-06-30
-
- Stable Diffusion
- Android/ | AI绘图
- 2026-06-30
