Lecun此次是真跟Hinton爆了……

Hinton之前从来没荒谬调渡过LLM。结果2023年GPT-4出来，他倏得跟顿悟了通常：

"天哪，这些模子如故相等接近东谈主类智能了，它们可能有主不雅体验……"

对于这种转化，Lecun默示——

统统不认同，难以聚拢。

我感觉他即是想摆烂："好了，这即是咱们需要的，我可以宣宣布捷了。"

"嗯嗯，我可以退休了。然后到处去作念对于AI危急的演讲。"

紧接着，话锋一瞥，又把锋芒指向了另一位图灵奖得主。

其实许多事情我早在几年前就说过，Hinton最近才清楚到。

Bengio的情况雷同。

这亦然为什么Lecun在被主理东谈主问到为若何此「另类」时，复兴：

从来莫得什么我和Hinton和Bengio分谈扬镳，是他们变了。

既然要可汗大点兵，天然幸免不了聊到老东家。

到了2024年头、尤其是2025年，FAIR如故不合适我认为保持更动、筹备和突破所需要的要求了。

许多优秀的东谈主都走了。

至于原因，Lecun说其实扎克伯格很好，引导层也都很营救他。只不外，Meta也卷入LLM竞赛后，委果没办法只顾着埋头作念筹备了。

对此，Lecun默示很缺憾。

因为在他看来，要赢得突破性筹备「其实很浅易」。

就雇最佳的东谈主，这些东谈主有感觉，知谈该作念什么。你给他们班师所需的资源，然后……

滚蛋，别挡路。

但主理东谈主照旧不太发放，一齐刨根问底：为什么？为什么？为什么？？

重心怀疑对象——亚历山大王。

主理东谈主：

Scale AI的收购是不是这个纯LLM聚焦的催化剂之一？

LeCun的复兴也很委果了，果真问啥说啥。

降服是的。但我省略情我是否有鼓胀的里面信息来驳倒。

扎克伯格可能在亚历山大王身上看到了某种交班东谈主的影子，一个更年青版块的我方。

除了这些，天然也保留了经典节目。

Lecun用带着点捉弄的口吻，再次向LLM阵营发起了寻衅。

JEPA类寰宇模子，五年内统带AI圈。（笑）

这是Lecun的最新一期播客专访，他跟主理东谈主聊了快一个半小时，对于寰宇模子、JEPA、为什么离开Meta、为什么LLM走不到AGI……

好久莫得这样一字一句地听访谈了，真有点力竭。

全程不敢跳过，全程无尿点，Lecun全程都在豪恣输出暴论：

Anthropic在试图用胆怯来推动AI监管，我统统不认同这种作念法。

LLM持久不可能可靠，不是所有事情都是Coding。

师法学习即是不行，连自动驾驶这一个任务都搞不定。

寰宇模子但愿搞定的，是zero-shot搞定新任务

若是你在读PhD，别作念LLM。没意旨，你作念不了孝顺。

还有少数所在是真的在作念筹备，比如DeepMind。但所有这个词行业越来越闭塞了。

以下附上访谈全文。

为保证可读性，量子位在不改变开心的基础上，对内容作念了部分调整。

Enjoy。

为什么LLM不是通往智能的路

主理东谈主：你当年押注神经蚁合，所有东谈主都在质疑你，结果讲明注解你是对的。

咫尺你又在作念一个雷同的事情，押注against LLM和主流的生成式架构。

你最近还围绕这个办法创办了新公司AMI。AMI在作念什么？

LeCun：当先我要说了了，LLM莫得什么问题。

LLM是许多相等有用的AI产物的基础，我我方也在用，它们很好，作念它们该作念的事情。

但LLM不是通往东谈主类水平智能的旅途，甚而不是通往动物水平智能的旅途。

主理东谈主：你我方还帮着作念了最早一批主要的开源LLM。

LeCun：没错。是以AMI是什么？AMI代表Advanced Machine Intelligence，咱们的定位是AI for the real world。

今天环球熟知的AI工夫，擅长的是语言操作。

语言是很特殊的一种东西，它荒谬顺应咫尺这些班师的架构。

但现实寰宇呢？是高维的、连气儿的、有噪声的、巨大的。难度统统不在一个量级。

这亦然我泰半个劳动活命在作念的事情，往时五六年加快鼓吹，最近两年取得了实质性进展。

到客岁年底，很较着Meta如故不是鼓吹这个状貌的合适场面了，是以我离开并创办了AMI。

主理东谈主：这似乎是一个行业趋势，越来越多的东谈主从大公司或筹备实验室出来，带着我方爽脆的筹备办法创业。

LeCun：这确乎是一个很奇怪的trade off。

有两种模式。一种是渊博探索性筹备，许多办法并行。然后某个东西好像work了，你需要陆续鼓吹，但它如故不是筹备了。

作念这些事的东谈主是筹备员——至少媒体这样叫他们——但实践上如故变成了工程和产物化。

这种事在Meta发生过好几次。

2023年头，FAIR开发的Llama 1相等有远景，Meta专门创建了Gen AI组织来把它变成真实的产物，自后出了Llama 2、Llama 3、Llama 4。

Llama 4有点令东谈主失望，扎克伯格对此不发放，把所有这个词组织重组了，换了新东谈主。

但往时一年真实发生的事情是，Meta清楚到我方逾期了，于是把政策从头聚焦到追逐行业上。

反作用即是，渊博的探索性筹备被裁汰了优先级。

我作念的JEPA和寰宇模子的办事倒莫得受影响，但公司其他部分统统聚焦在LLM上了。

这让我很了了，Meta不再是鼓吹这个状貌的合适所在。

咱们有了初步服从，需要从筹备转向真实的工夫开发、限度化和产物化。

同期咱们也清楚到，大部分诈欺场景Meta其实不太感酷好，比如制造业。

寰宇模子

主理东谈主：你在追求寰宇模子这个大办法。但也有其他东谈主从更偏生成式的角度切入寰宇模子，比如Google的Genie、各式视频模子，VLA，还有李飞飞作念的3D空间模子……你若何看JEPA模子和这些步调的比拟？

LeCun：寰宇模子正在快速变成一个buzzword，在筹备范围如故是了，在工业界也驱动了。

VLA我就未几说了。这条路咫尺渊博被认为走欠亨了，不够可靠，需要的试验数据太多。

那什么是寰宇模子？从根柢上说，寰宇模子即是让一个智能体能预计我方步履的后果。

我无法想象你若何能构建一个agent系统，而这个系统莫得预计我方步履后果的武艺。若是东谈主类不接头后果就活动，别东谈主会认为咱们是白痴。

是以寰宇模子即是这样回事，能够预计你我方步履的后果，你就可以谋略一系列活动来完成一个任务、达成一个方针。

通过谋略、推理、搜索和优化来作念这件事，而不是像LLM那样一个token接一个token地自回首预计。你是在搜索一个能完成任务的最优活动序列。

LLM莫得预计我方步履后果的武艺，也莫得真实的谋略武艺，因为推理即是预计下一个token，不是搜索。

是以，智能步履需要三个特征。

第一，预计步履后果的武艺。

第二，通过优化和搜索来谋略的武艺，找到能产生正确结果的活动序列。

第三，即是你若何预计步履的后果。

比如我眼前有一个莫得盖的水瓶。若是我推瓶子底部，它会在桌上滑动。若是我推瓶子顶部，它可能会翻倒。

但咱们无法精准预计瓶子会往哪个办法倒。咱们不可能在像素级别预计这些。

咱们大脑中的寰宇模子，预计的是一个轮廓层面的表征。

JEPA

主理东谈主：这个架构的遐想，很猛进程上是受东谈主脑启发的？

LeCun：至少是受领略科学的启发。能弗成顺利翻译成一个具体的神经蚁合架构，这中间有很大的gap。

领略科学确乎是一个动机。情愫学中的系统二即是这个风趣，你在作念三想此后行的、反想性的步履时，会想象、预计我方步履的后果，然后据此谋略。跟系协调那种本能的、反馈性的步履不同。

是以有灵感开头，但也有渊博的实证把柄标明，你不应该去生成像素。

我对通过预计来建立寰宇模子这件事感酷好很深化。

梗概五年前有一个顿悟的时刻，我清楚到所有班师学到了好的图像和视频表征的架构，都曲直生成式的。

VAE，变分自编码器，或者更广义的自编码器，直观上似乎是学习输入的轮廓表征的天然方式。你把图像输入一个神经蚁合，试验它在输出端重建输入。

但若是你用一个大的神经蚁合顺利这样作念，什么道理的事情都不会发生，它仅仅学到了恒等函数，统统没意旨。

用VAE来学图像表征，能得到一些东西，但效果真的不好。稀薄自编码器也通常。

还有一类工夫，叫denoising auto encoder，MAE是它的一个变体，BERT在NLP里亦然雷同的想路。你把图像损坏一部分，然后试验神经蚁合恢收复始图像。

FAIR也曾有一个大状貌作念这件事，参加了渊博狡计资源，结果相等令东谈主失望。

但同期，一些疏导的东谈主和巴黎、纽约的其他东谈主，在作念另一套工夫，用的曲直生成式架构。

你拿一张图像，损坏它，把两个版分内别送入编码器，然后用一个预计器，从损坏版块的表征去预计原始版块的表征。

这即是JEPA。一个编码器对一个不雅察编码，另一个编码器对另一个不雅察编码，然后用一个预计器从第二个的表征预计第一个的表征。

当下具身模子的问题

主理东谈主：咫尺许多机器东谈主公司发布的demo越来越impressive，似乎展示了某种谋略和推理武艺，即使面对没见过的房间或任务版块也能践诺。你若何看？

LeCun：确乎有真实的进展，有些demo确乎令东谈主印象深刻。但这些系统需要海量的数据来试验，要么通过遥操作采集，要么通过东谈主手抓着夹持器操作来网罗……

主要靠师法学习试验，加上少量在仿真中作念的强化学习。

问题在于，师法学习需要渊博数据，而且对每个你想让机器东谈主完成的任务都要单独网罗数据，资本高、也比拟脆弱。

而若是系统有一个寰宇模子，能预计动作的结果，它就可以顺利谋略活动去完成一个新任务，不需要专门为这个任务试验。

寰宇模子带来的泛化武艺要大得多，用更少的试验数据就能隐私更宽的任务谱。

任务之间确乎有协同效应，你试验系统完成的任务越多，它学新任务需要的数据就越少。

但寰宇模子的但愿是，能zero-shot搞定新任务。方针是用很少甚而零试验数据就能搞定渊博问题，也许加少量RL格调的微调就够了。

东谈主类统统有这个武艺，许多动物也有。

一个17岁的孩子学开车只需要十几二十个小时。咱们有几百万小时的驾驶数据，到咫尺还莫得L5的自动驾驶。

师法学习连自动驾驶这一个任务都搞不定。

主理东谈主：有一种想路是用视频模子生成渊博合成数据来作念仿真，即使物理上不齐备，也能改善机器东谈主在真实寰宇的发扬。你若何看？

LeCun：照旧阿谁问题，为什么17岁的孩子20个小时就能学会开车？

你不需要几百万小时的示范数据，也不需要合成数据。

若是咱们破解了这个问题，就不需要生成数据了。

可能仍然需要在仿真中试验，但不需要现存系统所需的那种数据量和试错次数。

硅谷的羊群效应

主理东谈主：一个专门想的点是，若是你是OpenAI，你知谈某个东西陆续scale就会陆续变好，那从交易角度看，你并莫得太大的能源去作念数据服从更高的事情。

LeCun：其他公司也莫得能源作念不通常的事，谁都承受不起逾期于敌手的代价。这是一种硅谷的羊群效应，所有东谈主都在挖消灭条战壕。

这亦然为什么我把AMI的总部设在了巴黎，好意思国办公室在纽约，不在硅谷。

主理东谈主：你最爽脆的AMI工夫的诈欺办法是什么？

LeCun：AI for the real world。家用机器东谈主、L5自动驾驶。

主理东谈主：我什么时候能有一个家用机器东谈主？

LeCun：这还要好几年。尽管有渊博公司在造机器东谈主，但莫得一家真实知谈若何让它们鼓胀灵敏。

主理东谈主：也弗成信任它们在有婴儿的家里办事。

LeCun：那降服不行。即使是相对窄的制造业任务，靠师法学习也只可处理少数几个任务，莫得东谈主真实知谈若何让它们可靠地办事。

短期来看，工业范围有海量的诈欺场景。

你需要一个智能系统能预计若是我改变这个复杂系统上的某个限度变量会发生什么。喷气发动机、化工场、发电厂、生产线、东谈主体、东谈主体细胞……

这些系统复杂到无法用少数方程来建模，传统的建模方式行欠亨。

你需要作念的是用深度学习从数据中试验出一个模子来捕捉这个系统的动态步履。得到的即是一个表象学模子。

若是它是action-conditioned的，那你就得到了一个这个系统的寰宇模子，可以用来作念最优限度。

这类诈欺的数目是惊东谈主的。

主理东谈主：你认为JEPA模子在接下来几年会发展到什么进程？

LeCun：五年吧。

五年内，统统统带寰宇。

主理东谈主：好的，五年统带寰宇。（笑）

LeCun：开打趣的。

这话是援用Linus Torvalds。当年有东谈主问他Linux的方针是什么，他说total world domination。他确乎作念到了。

但我确乎认为JEPA类寰宇模子即是将来智能系统的蓝图。

LLM还会有一小块位置，行为语言接口。

但咱们在遐想的是能想考的系统。它们一驱动可能不会谈话或听，但它们会想考，然后你可以在上头再加谈话和听的武艺。

主理东谈主：你之前就有过这样的履历，在神经蚁合上作念了一个极其逆共鸣的押注，最终被历史讲明注解正确。

你认为此次，在什么时刻内，环球会清楚到你又对了？

LeCun：我认为会比预期来得更快。

许多东谈主清楚到VLA不行，LLM处理不了真实寰宇的数据。范式波折的领略正在发生。到2027年头，这会变得对所有东谈主都统统不问可知。

Tapestry

主理东谈主：换个话题，聊聊你在作念的Tapestry。

LeCun：这个跟AMI Labs有点正交。

主理东谈主：好像光AMI还不够你忙的。

LeCun：这是我往时三年傍边逐步酿成的一个想法。

东谈主们越来越多地使用AI助手来作念各式事情，传统搜索引擎的使用量鄙人降，环球都顺利问我方的AI助手。

若是Meta和其他公司开发的智能开荒野心完结了，比如智能眼镜之类的，你基本上即是通过语音跟你的AI助手对话。你所有的信息获取都将由AI助手来中介。

那么问题来了。

若是你是中好意思之异邦度的东谈主，你用的AI助手是硅谷或者北京公司作念的。其实不太好。

你说的语言，根柢莫得被细密对待。

你的文化，这些作念AI的公司不睬解。

你的价值不雅，在互联网上公开可用的试验数据里险些莫得体现。

若何搞定这个问题？

你需要一个平台，基于一个通达的、免费的基础模子，Llama那种格调的，任何东谈主都可以微调，去适配特定语言、特定文化。

这即是Tapestry的中枢。全球的孝顺者参与试验一个全球模子，这个模子实质上是全寰宇知识和文化的存储库。

孝顺者孝顺的是数据和算力，同期保留对数据的限度权。他们不需要把数据分享给其他孝顺者。他们孝顺的是参数向量。

这是一种联邦学习的想路。

一堆数据中心，每个拿到一个全局共鸣模子的参数向量，可以把它聚拢为所有孝顺者参数向量的平均。所有孝顺者按期通过一个中心折务器交换参数向量。

土产货worker在更新我方的参数时，同期尽量让它接近全局共鸣向量。跟着试验鼓吹，所有参数都拘谨到一个共鸣模子，它就尽头于在所罕有据上试验出来的效果。

咫尺你有了一个通达模子，效果跟在全寰宇数据上试验过通常好。然后你可以针对我方的目的去微调。

我认为有一种天然的力量会推动这件事发生。

AI正在快速变成一个平台，平台有天然走向通达的趋势。

Linux即是这样，互联网的软件基础设施亦然这样，无线蚁合亦然这样。一驱动都是稀少的，自后全被开源替代了。

OpenAI即是下一个Sun Microsystems

主理东谈主：这确乎是一个很灵敏的方式来反抗开源萎缩的趋势。许多东谈主顾忌闭源模子越来越强，会被用来试验下一代，酿成一种闭源的逃遁效应。

LeCun：还铭刻1996年互联网基础设施的大玩家是谁吗？

Sun Microsystems、HP、Dell。Sun给你搭配Solaris和他们的稀少硬件，HP搭配HP-UX。

Unix比Windows可靠多了，你不会在Windows上跑web server。

但咫尺谁还在用Windows NT跑web server？全部被Linux干掉了。所有这个词互联网跑在Linux上，连Azure都是，微软我方都是Linux。

是以今天的OpenAI、Anthropic，即是昨天的Sun Microsystems和HP-UX。

主理东谈主：这背后隐含的是你对这些模子武艺上限的判断，开源早晚能追上来。

LeCun：它们如故用完数据了。

公开可用的、有价值的文本数据如故全部用罢了，莫得更多了。这些公司在作念的即是购买交易版权数据的授权，或者用合成数据试验。

主理东谈主：但往时几年确乎有一些impressive的结果，是在大限度预试验之后取得的。IMO金牌、各式benchmark接续擢升。

LeCun：这个很专门想。

想想这两个范围，2026最新赛程数学和代码。这两个范围的共同点是什么？

语言本人即是推理的载体。不是独一的载体，但当你在纸上作念花样化的数学推演时，你操作的即是语言，LLM在这上头确乎很强。讲明注解定理之类的，LLM很擅长。

但LLM不太擅长提议好的认识、好的界说。创造性的步履，LLM作念不到。数学不仅仅解题，大部分其实是创造性步履。

代码也通常。

LLM是好的要领员，但不是软件架构师，不是狡计机科学家。它们能帮咱们写代码，但还替代不了东谈主类。

它改变的是东谈主类的变装。

东谈主类咫尺往轮廓层级上走一层，咱们的办事是决定造什么，而造的流程可以让LLM维护。

主理东谈主：LLM需要作念到什么才能劝服你改变看法？

LeCun：zero-shot的agenting。

给它一个全新的问题，它莫得被试验过搞定这个问题，莫得针对它的剧本。它能弗成完成这个从未试验过的任务？

除非这个系统有预计步履后果的武艺，况且能用这个武艺来作念谋略。

也许一个被大幅增强的LLM可以，加上了搜索和谋略武艺的那种。

咫尺作念数学的LLM其实如故在作念这件事了，它们搜索能完成特定任务的token序列，可以跑代码或考据讲明注解是否正确，是以有一种方式来检讨输出是否正确。

但这不是一种高效的谋略方式，而且只在token空间里能作念搜索的范围有用。

我说的JEPA，不是在token空间作念这件事，是在轮廓想维空间作念。

主理东谈主：可能有些听众会想，就算服从低，在token空间能work的事情如故隐私了经济中很大一部分了。

LeCun：对。

LLM擅长什么就用它作念什么，这统统没问题。

我仅仅说，它不是通往AGI的路。而通用AGI能隐私的范围会尽头巨大。

主理东谈主：听起来你认为LLM在成为软件架构师之前就会到达天花板。

LeCun：它不会到天花板。但它在越来越多的诈欺场景中部署起来会变得越来越难堪，因为每个场景都要网罗渊博试验数据。

而且你没法让这些系统统统可靠，莫得幻觉，莫得危急步履。

为什么与Hinton和Bengio分谈扬镳

主理东谈主：你和另外两位图灵奖得主分享这份荣誉。但他们似乎对LLM的后劲，或者说潜在挟制和安全风险，看法统统不同。你们是什么时候驱动诀别的？

LeCun：2023年。

主理东谈主：什么驱动了这个诀别？

LeCun：不是我改了主意，是他们改了主意。

Hinton之前根柢不这样，他从来莫得荒谬调渡过LLM。

结果2023年GPT-4出来的时候，他倏得顿悟了：

天哪，这些系统如故相等接近东谈主类水平的智能了，它们可能有主不雅体验。

我知谈他的想法概况是这样的——

东谈主类皮层梗概有160亿个神经元。

若是你想作念某种雷同反向传播的事情，大脑不是顺利作念反向传播的，但若是它作念某种梯度计算来优化某种方针函数，你概况需要一个几个神经元构成的电路来复现一个凭空神经元的功能。

是以假定你需要10个真实神经元来复现一个反向传播神经元的功能，那你的皮层就只尽头于16亿个神经元。

然后他推理得出：

天哪，GPT-4如故很接近这个数了！也许它会变得跟东谈主通常灵敏。

我统统不认同这个说法。

我感觉他即是想摆烂了，然后到处去作念对于AI的但愿和危急的演讲。

好了，我可以退休了，我可以宣宣布捷了。

我一辈子都在寻找皮层的学习算法，也许我莫得发现它到底是什么，但反向传播似乎是一个可以的替代品，它work得很好。

嗯嗯，这即是咱们需要的，我可以退休了。

(笑)

……

不外他咫尺对于AI危急的声息比一两年前小多了。

我认为他清楚到了几件事。

第一，咫尺的LLM没那么灵敏。

第二，在达到东谈主类水平的智能之前，还需要一些认识性的突破。

第三，这些系统的蓝图会跟LLM很不通常，而且咱们很可能有办法让它们可控。

我早在几年前就说过这些事，Hinton最近才清楚到。

Bengio的情况雷同。

我认为他们两个真实顾忌的，是社会体系能弗成确保AI的公正被最大化，确保AI不会仅仅加重不对等。

这不是那种AI统带寰宇的末日场景，更多是坏的使用者的问题。

LLM实质上是不安全的

主理东谈主：但这个风险光靠今天的LLM就如故存在了。

LeCun：确乎。但我不认为它像一些东谈主宣称的那么末日。降服不像Anthropic宣称的那么末日。

Anthropic在试图用胆怯来推动AI监管。我统统不认同这种作念法。

主理东谈主：他们看起来是真的信赖。

LeCun：我认为他们确乎真的信赖。但我也认为，他们有一些很好的交易根由去信赖这些。

主理东谈主：说到这些新架构，你对LLM不是终端这件事很详情，但你我方对新架构的时刻线也尽头激进。你若何看这些新架构若是真的带来突破，安全方面的问题？

LeCun：我要说一个可能有争议的话。我在Meta的共事降服不会心爱我说这个。

LLM弗成被作念到可靠，因为你没法进犯它们产生幻觉。

主理东谈主：按你这样说，它们能完成那些15个小时的编程测试不让你未必吗？

LeCun：代码是一个你能考据的范围。你生成的代码是否闲适specification，这是可以检讨的。

但不是所有事情都是代码。如故有编程agent把你的硬盘给清了的例子，或者作念了蠢事让你亏空了渊博数据或财富。

你给一个prompt，它完成对应的任务，但仅限于试验让它学会了对这个prompt作念正确的事。莫得任何硬性经管强制它完成这个任务，也莫得机制让它预计任务是否被正确完成。

而且它们莫得学问。一个月前流传的阿谁洗车见笑，我两周前又试了一遍，所有模子都说你应该步辇儿去。除了Gemini。

主理东谈主：那Gemini概况是试验的时候用了你之前讲这个例子的视频。

LeCun：不是我的视频。不是我发明的这个例子。但确乎有这种情况，我说LLM作念不到某件事，六个月后它就能作念了。

原因很浅易，我在播客上说了LLM作念不到这件事以后，所有东谈主天然会去ChatGPT上打这个问题。于是它就变成了试验集的一部分。下一个版块天然就能复兴了。

但这不是因为它倏得变灵敏了，仅仅因为它被这个问题试验过了。

我不认为在刻下范式下有办法竖立这个问题。

我提议的架构是objective-driven AI。你给一个AI系协调个方针，即是完成这个任务。

系统若何知谈它会完成这个任务？

它有一个寰宇模子，它预计一系列想象中的活动的结果。

若是这个结果闲适一个cost function，形容任务完成到什么进程。那么这个系统通过优化来办事，找到一个能完成任务、最小化cost的活动序列。

天然还有许多可能出错的所在。

cost function可能不准确，你以为它在揣度任务完成度，但也许不准。

寰宇模子可能不准确，系统对活动后果的预计可能是错的。

这个系统仍然会犯错，但它至少能在某种进程上预计步履的后果，我认为这对任何agentic系统都是不可或缺的。

你还可以在这个系统上不单加一个保证任务完成的cost function，还可以加一堆其他的方针函数、cost function，甚而是经管要求。

你可以在轮廓层面指定这些，也可以有底层的方针函数，组合起来保证系统不会危急。系统从构造上就弗成违抗这些要求。

LLM作念不到这少量。

LLM老是能逃遁。试验破绽和测试破绽之间总有gap，总会存在某个prompt让系统作念出相等愚蠢的事情。

主理东谈主：能弗成聊一个具体范围。咫尺也有许多东谈主在医疗范围用LLM。LLM在医疗里作念不到什么，需要一个真实聚拢寰宇的模子？

LeCun：比如为慢性病患者遐想诊疗决策，甚而非慢性病也通常，荒谬是当这个患者的情况不统统合适你之前见过的模板时，若是你有一个好的对于患者生理动态的心智模子，你可能能遐想出一个真实能把患者带到好现象的诊疗决策。

患者也可以是一个细胞。

若何让一个干细胞变成能产生胰岛素的胰腺beta细胞？

一个1型糖尿病患者，免疫系统瑕玷了我方的beta细胞。若何接续制造beta细胞？

你有莫得一个东谈主类细胞的模子，能让你搞了了需要给干细胞发什么序列的信号，让它变成beta细胞？

LLM能作念的是复述你能在书上读到的知识。

但你弗成只靠念书当大夫。你得作念入院医培训，得会听腹黑，按肚子，才能作念会诊。

为什么离开Meta？

主理东谈主：你在Meta待了十多年，建了一个寰宇上最受尊敬的筹备实验室。最近离开了。追想那段时刻，你认为作念对了什么，作念错了什么？

LeCun：作念对的事情是，建了一个顶级筹备实验室，真实作念出了更动，产出了渊博基础步调、科学服从和器具，比如PyTorch。

还有一种通达的、尊重科学流程的文化，我认为这对突破性更动是必要的。

更动有一整条链条。最前端是蓝天筹备，全新的认识，大部分发生在大学里，少部分发生在工业界的高档筹备实验室里，这样的实验室一只手数得过来。

Google有一个好的，FAIR也曾是一个好的。但愿它还会陆续是。

然后下一步是，这是个好想法，让咱们鼓吹望望它能弗成变得有用。

但仍然是筹备层面的风趣，咱们不会自欺欺东谈主只找一个对这个问题work的决策，咱们要看这个工夫能弗成被鼓吹到practical，不一定是产等第别的，但至少能讲明注解它在某个任务或benchmark上迫害了纪录。

再下一步是公司说，好了，咱们要参加渊博工程力量把这个推上前。

这一步是渊博状貌失败的所在，亦然许多公司掉链子的所在。

Meta在这方面其实还可以，但远非齐备。

部分是组织问题。

你需要一个离筹备很近、但又不统统是产物组织的团队来竭力。不是那种三个月deadline分娩物的组织，而是能陆续往前推工夫的。

咱们也曾有过这样的组织，自后丢了。FAIR在公司里变得孤单，有许多想法没东谈主接。

2023年Gen AI组织成立，从FAIR抽了60到70个科学家和工程师，自后限度扩大了。

但它濒临太大的短期压力，没时刻跟FAIR交流。结果蓝本应该在LLM上保持前沿和更动的Gen AI，只可聚焦短期方针，变得相等保守。筹备和产物之间出现了gap。

主理东谈主：Llama 4即是这样的情况吗？

LeCun：甚而从Llama 3驱动即是了。Llama 1是2022年到2023年头FAIR里面的一个小状貌。

然后Gen AI组织成立，Llama的东谈主被调了往时，驱动作念Llama 2。

接着一批东谈主清楚到，我可以出去创业。

这即是Mistral的发源，Llama 1的两位作家和一个来自Google的东谈主沿途创办了Mistral。

那段时刻，不少东谈主离开了Meta。

接办了Llama后续办事的Gen AI组织濒临巨大的短期压力，变得相等保守。

有来自引导层的压力，也有团队自身的问题。事情出问题的方式有许多种，你没法怨尤于某一个东谈主。

主理东谈主：咫尺许多组织都濒临这种短期压力。你认为像当年FAIR那样的纯筹备环境，在今天的行业里还有可能存在吗？照旧说独一的长进即是离开、我方开公司？

LeCun：我认为Google Research和DeepMind里面还有少数所在是真的在作念筹备。但所有这个词行业越来越闭塞了。

Google在收紧，Meta和FAIR也在往消灭个办法走。咫尺对发表论文有了更多结果，若是你作念的东西中期来看跟公司业务关系，他们会告诉你不要公开酌量。

这种氛围对突破性筹备是不利的。

很缺憾，因为要赢得突破性筹备其实很浅易。就雇最佳的东谈主，这些东谈主有感觉，知谈该作念什么状貌。

你给他们班师所需的资源，然后……

回望FAIR

主理东谈主：这对更平素的筹备社区意味着什么？FAIR的遗产之一是培养了渊博筹备者，他们咫尺遍布所有这个词生态系统。但咫尺进入这个范围的年青东谈主，可能一上来就被扔进短期导向的环境。

LeCun：开心跟我沿途办事的东谈主，时常有两个特质。

一是鼓胀疯。

二是认消灭个理念，即是在学术界读PhD时间，你应该作念下一代AI系统，不应该作念刻下这一代。

若是你咫尺在学术界作念LLM，说真话相等败兴。基本上即是筹备LLM为什么work、若何work、局限性是什么。这是形容性科学，没什么创造性。没风趣。

而且若是你真想用LLM作念新东西，你在学校根柢拿不到需要的GPU。

是以算了。

若是你在读PhD，别作念LLM。没专门旨，你作念不了孝顺。

主理东谈主：你若何知谈是时候离开Meta了？

LeCun：是多种成分的组合。

许多东谈主对我在Facebook和Meta的变装有统统失实的领略。我2013年底加入，真实驱动是2014年头。头四年半我是FAIR的director，我建立了FAIR的组织架构，竖立了文化，雇了中枢的东谈主，管理所有这个词团队。

四年半后我从这个变装退下来了，变成了Chief AI Scientist。

一方面，快六十了，我即是不想作念管理了。我开心作念一阵子来把组织建起来，但我不擅长这个。

我更像是一个科学或工夫上的visionary，一个engineering scientist。

成为Chief AI Scientist之后，我向CTO讲述。驱动鼓吹一个我认为必要的筹备状貌，因为FAIR的贪念一直是构建智能系统。我管FAIR的时候把我方的筹备遗弃了，没时刻作念。

其时我如故酿成了一个认识，这个架构会基于自监督学习，基于从感知信号比如视频中作念预计。这些即是寰宇模子的想法。

2016年我在NeurIPS作念了一个keynote，说AI筹备应该走这个办法，寰宇模子，预计步履的后果，然后谋略。

我说RL不会带咱们到那处，因为太低效了。监督学习如故清晰了它的局限。将来是自监督学习和寰宇模子。

那若何作念自监督学习和寰宇模子？

我启动了几个状貌，有些办法没走通。作念了一些视频预计的办事，然后酿成了这个认识：

你可以在视频上作念自监督试验，但必须让系统在表征空间作念预计，而不是在像素空间。

这即是JEPA的中枢想法。

这个想法概况在2020年景形。2022年我写了一篇很长的vision paper，把我的所有这个词愿景都写出来了。把所有玄机都摊开，我不在乎。我但愿这能把一批东谈主拉到这个方朝上来。

确乎work了。

不仅引诱来了一批学生，在NYU和巴黎的，因为他们想作念这个办法。

FAIR里面也有一所有这个词团队说，这即是咱们想作念的。然后Joelle Pineau说，这应该成为FAIR的一个要害职责，咱们管它叫Advanced Machine Intelligence。

主理东谈主：然后他们让你带着这个名字出去创业了。

LeCun：对。扎克伯格读了那篇论文，知谈它在说什么，认同这个状貌。CTO Andrew Bosworth亦然，前CTO亦然，CPO亦然。引导层对这个状貌有许多营救。

但自后公司把所有元气心灵从头聚焦到LLM上了。

尽管有引导层的营救，底下的层级不太买账。

而且JEPA寰宇模子的诈欺，诚然在可衣服智能体和机器东谈主方面有场景，但Meta机器东谈主筹备组被砍掉了。

是以这个环境不合了。

JEPA的大部分诈欺场景在Meta不感酷好的工业范围。FAIR越来越被要求去帮LLM的忙。

主理东谈主：Scale AI的收购是不是这个纯LLM聚焦的催化剂之一？

LeCun：降服是的。可能还有其他原因。我省略情我有鼓胀的里面信息来驳倒，但有可能扎克伯格在亚历山大王身上看到了某种交班东谈主的影子，一个更年青版块的我方。

主理东谈主：许多媒体叙事是说亚历山大王来了以后，纯筹备组织就更难运转了。

LeCun：这里有一个很大的误会，对于我的变装、我跟亚历山大王的关系，以及AI在Meta是若何运作的。

我对Llama的工夫孝顺是零，统统莫得。我对Llama的独一孝顺是力主开源Llama 2。

其时里面有很大的争论。这是一个相等高层级的酌量，每周两小时，从扎克伯格往下概况40个东谈主，接续了好几个月。

我和Boz都相等明确田主张，安全风险被夸大了，创造一个产业的契机相等大，开源Llama 2会启动所有这个词AI产业。事实讲明注解确乎如斯。

但Llama本人，我的工夫孝顺是零。我既莫得推动它，也莫得进犯或拖慢它。

FAIR里面有许多东谈主在作念LLM，这很好。我从来莫得反对过，仅仅说这不是通往东谈主类水平智能的路。但它有用，跟语音识别或翻译通常有用。

荒谬是2018年我从FAIR director退下来以后，我对别东谈主在作念什么莫得顺利影响。我仅仅发表我的愿景，然后把东谈主拉到我的状貌上来。

他们跟我协调是因为他们开心，不是因为我是他们的雇主。

到了2024年头、尤其是2025年，FAIR的走向和管理方式如故不合适我认为保持更动、筹备和突破所需要的要求了。

播客连结：

https://unsupervised-learning.simplecast.com/episodes/ep-86-yann-lecun-on-leaving-meta-breaking-the-llm-paradigm-why-hinton-is-wrong-rZ6fpa_8

参考连结：

[1]https://x.com/jacobeffron/status/2055279354821607551

一键三连「点赞」「转发」「防备心」

接待在驳倒区留住你的想法！

— 完 —

中国AIGC产业峰会全威望发布！🔍查察议程

从底层架构到爆款诈欺，从软件到硬件，从创作到投资... 这一次，咱们但愿聚王人AI赛谈的实战派，聊透AI到底若何落地、若何得益、若何改变办事。

5月20日，北京·金茂万丽栈房，@所有东谈主，立时AI起来！👉 

一键调度 👇 点亮星标

科技前沿进展逐日见2026FIFA世界杯中国比分网