文｜陈斯达
编辑｜李然
5月17日消息，AI教父Geoffrey Hinton接受访谈。对谈不仅涉及Hinton对大型神经网络、多模态学习、模拟计算、AI安全等技术发展的看法，还有其接触人工智能的经历以及与Ilya初识的回忆。
访谈的提问者是一名天才创业者——Joel Hellermark。
Joel Hellermark
Joel是Sana AI的创始人兼首席执行官，Sana是一家领先的人工智能公司，已从NEA、Menlo和EQT筹集了超过8000万美元的融资。他在13岁时自学编程，16岁时创立了自己的第一家公司，开发了一个视频推荐引擎。
官网截图
对谈要点整理如下：
Ilya是完美的研究伙伴，他的直觉非常灵敏我想起当时从英格兰第一次来到卡内基梅隆大学。是在英格兰的研究部门，下午6点后一般都会去酒吧喝酒。但我来了几周后的一个周六晚上，一个朋友都没有，也不知道能做什么。我实验室有要用的机器机，但家里没有，所以决定去实验室编程。
于是我在周六晚上9点左右来到实验室，所有的学生都在那里，挤满了人。他们都在那里。他们都相信自己在研究未来，接下来做的事情，将改变计算机科学的发展，这与英格兰的情况完全不同。所以这令我耳目一新。
主持人： 带我回到最初在剑桥探索脑科学的日子。那时候什么感觉？
说实话，很失望。我学的生理学，夏季学期教大脑的工作方式，结果只教了神经元如何传导动作电位。确实有趣，但并没有说明白大脑究竟如何工作，所以我比较失望。我后面转去学哲学，希望能学到思维是如何运作的。但同样失望。
我最后去爱丁堡大学学习人工智能，那更有趣。至少可以进行模拟，可以测试理论。
主持人： 还记得开始是对人工智能的哪些方面感兴趣吗？有没有特定的一篇论文或者科学家，让你发现了有意思的点子。
唐纳德·赫布的一本书对我影响颇深。他对如何学习神经网络中的连接强度非常感兴趣。我还读过约翰·冯·诺伊曼的一本书，关注大脑如何计算、大脑计算方式与普通计算机的差异。
主持人： 你在爱丁堡的时候，觉得这些接触到的想法以后会有用吗？你那时候的直觉是怎样的？
在我看来，我们需要遵循大脑本身的学习方法。显然，大脑不可能将所有东西先编程，然后使用逻辑推理，这从一开始就显得不太对。所以必须弄清楚，大脑是如何学习调整神经网络中的连接，去处理复杂任务。冯·诺伊曼和图灵都相信这一点，他们都非常擅长逻辑，但他们不相信这种逻辑方法。
主持人： 学习神经科学，仅仅做人工智能里的算法，你在二者之间如何分配精力的？你在早期受到了多少启发？
我对神经科学研究不多，主要受到的启发来自大脑的工作方式。大脑有一大堆神经元，执行相对简单的操作，工作又是非线性的，但它们能接收输入，进行加权，然后在此基础上输出。问题是，到底如何改变权重使整个系统做一些厉害的事？这个问题看上去相当简单。
主持人： 那个时候，你和谁有合作？
我在卡内基梅隆大学做研究，但主要合作者并不是卡内基梅隆大学的。我与特伦斯·谢诺夫斯基（注：他与杰弗里·辛顿共同发明了玻尔兹曼机）往来比较多。他在巴尔的摩的约翰霍普金斯大学。应该是每个月一次，要么他开车来匹兹堡，要么我开去巴尔的摩，距离是250英里。我们会用周末时间研究玻尔兹曼机。合作非常愉快，我们都相信这是大脑的工作方式，这是我做过的最令人兴奋的研究。也许有很多成果也很棒，但我认为那不是大脑的工作方式。
我还与彼得·布朗有很好的合作，他是优秀的统计学家，IBM从事语音识别工作。所以，到卡内基梅隆大学攻读博士学位时，他作为学生已经很成熟，已经知道很多。他教了我很多关于语音的知识。事实上，他教了我关于隐马尔可夫模型的知识。这就是我理想的学生：从他那里学到的，比我教他的还多。他教我隐马尔可夫模型时，我正在使用带有隐藏层的反向传播。那时候还不叫隐藏层，但我决定使用马尔可夫模型中的命名方式，这个叫法能很好地表示究竟在做什么的变量。总之，这就是神经网络中隐藏一词的来源。
主持人： 谈谈Ilya出现在你办公室的时候吧。
那时候我在办公室，应该是个周日，我在编程，然后有人敲门。敲门声很急促，和一般敲门不太一样。我开门发现是一个年轻的学生。他说整个夏天他都在炸薯条，但他更愿意在我的实验室工作。所以我说，约个时间来聊聊？然后他说，不如就现在？Ilya就是这样的人。于是我们聊了下，我给他一篇文章读，是关于反向传播的Nature期刊论文。
我们约定一周后再次见面，他回来了，他说他不太明白。我挺失望的，本来看起来蛮聪明。这只是链式法则，理解它并不难。他说：不，我理解链式法则，我只是不理解，为什么你不把梯度赋予一个合理的函数优化器。好家伙，他提出的问题让我们思考了好几年。他总是是这样，对问题的直觉非常好，总是能提出好的想法。
主持人： Ilya为什么有这种直觉？
我不知道。或许他总是独立思考，很小就对人工智能感兴趣。他也很擅长数学。但我不知道为什么他直觉那么准。
主持人： 你和他之间，合作分工是怎样的？
真是很有趣。记得有一次，我们试着用数据制作复杂的地图，用的是一种混合模型，所以你可以使用相似性来制作两张地图，使得在一张地图上，河岸可以靠近绿地，而在另一张地图上，河岸可以靠近河流。因为在一张地图上，你不能让它同时靠近两者，河流和绿地相距很远。所以有了混合地图，我们在MATLAB中进行操作，这涉及到对代码进行大量重组，进行正确的矩阵乘法。
然后他就做得烦了。有一天他来找我说，我要为MATLAB编写一个交互界面，就可以用另一种语言编程，然后把它转换成MATLAB。我说，不，Ilya，那将花费你一个月的时间。这个项目要继续，不能被那个分散注意力。Ilya说，没关系，我早上就做好了。
主持人： 简直不可思议！这些年来，最大的变化不仅仅体现在算法，还有规模。你如何看待？
Ilya很早就看到这点，总是说，规模更大，表现更好。我之前总觉得站不住脚，新的想法还是需要的。但事实证明，他的判断基本上是正确的。像Transformers这样的算法确实很有用，但真正起作用的，是数据和计算的规模。当时想象不到计算机会快上数十亿倍，觉得快上一百倍了不得了，于是试着提出巧妙的想法来解决问题。然而，有更大的数据和计算规模，很多问题就迎刃而解了。
大约在2011年，Ilya和另一个叫James Martins的研究生与我合作，写了一篇关于字符级预测的论文。使用维基百科，并试图预测下一个HTML字符。用的是GPU上的一个很好的优化器，效果出乎意料的好。我们从未真正相信它理解了任何东西，但它看起来又好像理解了，这似乎让人难以相信。
神经网络不仅仅是记住训练数据，而是在“理解”，推理能力的提高指日可待
主持人： 能解释一下模型如何预测下一个单词，以及这样认识他们为何是错误的？
好吧，我其实觉得这不算错。
事实上，我认为我制作了第一个使用嵌入和反向传播的神经网络语言模型。数据非常简单，只是三元组，将每个符号（Symbol）转换为一个嵌入（embedding），然后让嵌入相互作用以预测下一个符号的嵌入，然后从该嵌入中预测下一个符号，然后通过整个过程反向传播以学习这些三元组。大约10年后，Yoshua Bengio（图灵奖得主）使用非常相似的网络，展示了它在真实文本上的效果。大约10年后，语言学家开始相信嵌入。这有一个发展的过程。
我认为它不仅仅是预测下一个符号。
问一个问题，答案第一个单词是下一个符号，那就必须理解这个问题。大多数人认为的“自动填充”则是，看到不同的单词出现在第三位的频率，这样就可以预测下一个符号。但其实不是这样。
为了预测下一个符号，必须理解正在说什么。我们是通过让它预测下一个符号，迫使它理解。很多人说，它们不像人类那样推理，只是在预测下一个符号。但我认为，它的理解方式像我们一样。为了预测下一个符号，它必须进行一些推理。现在已经看到，你制作一个大的模型，不添加任何特殊的推理内容，它们也已经可以进行一些推理。规模越大，它们未来能进行的推理也更多。
主持人： 现在除了预测下一个符号外，还做了其他什么吗？
这就是学习的方式。不管是预测下一个视频帧，还是预测下一个声音。我觉得这就是解释大脑学习的十分合理的理论。
主持人： 为什么这些模型能够学习如此广泛的领域？
大语言模型所做的，是寻找事物之间共同的结构。基于共同结构对事物进行编码，这样一来效率很高。
举个例子。问GPT-4，为什么堆肥堆像原子弹？大多数人都无法回答这个问题，觉得原子弹和堆肥堆是非常不同的东西。但GPT-4会告诉你，尽管能量、时间尺度不同，但相同的是，堆肥堆变热时会更快地产生热量；原子弹产生更多的中子时，产生中子的速度也会随之加快。这就引出了链式反应的概念。通过这种理解，所有的信息都被压缩到它自己的权重中。
这样一来，它将能处理人类尚未见过的数百种类比，这些看似不相关的类比，正是创造力的源泉。我想，GPT-4变得更大时，创造力将非常高。如果只是觉得，它只在反刍学过的知识，只是将它已经学过的文本拼凑在一起，那就小看它的创造力了。
主持人： 你可能会说，它会超越人类的认知。尽管我们看到了一些例子，但貌似尚未真正见到你说的这点。很大程度上，我们仍然处于当前的科学水平。你认为什么能让它开始有所超越呢？
我觉得在特定情况中已经看到这点了。以AlphaGo为例。与李世石的那场著名比赛中，AlphaGo的第37步，所有专家看来都觉得是错棋，但后来他们意识到这又是一步妙棋。
这已经是在那个有限的领域内，颇具创造力的动作。随着模型规模增加，这样的例子会更多的。
主持人： AlphaGo的不同之处在于，它使用了强化学习，能够超越当前状态。它从模仿学习开始，观察人类如何在棋盘上博弈，然后通过自我对弈，最终有所超越。你认为这是当前数据实验室缺少的吗？
我认为这很可能有所缺失。AlphaGo和AlphaZero的自我对弈，是它能够做出这些创造性举动的重要原因。但这不是完全必要的。
很久以前我做过一个小实验，训练神经网络识别手写数字。给它训练数据，一半的答案是错误的。它能学得多好？你把一半的答案弄错一次，然后保持这种状态。所以，它不能通过只看同一个例子来把错误率平均。有时答案正确，有时答案错误，训练数据的误差为50%。
但是你训练反向传播，误差会降到5%或更低。换句话说，从标记不良的数据中，它可以得到更好的结果。它可以看到训练数据是错误的。
聪明的学生能比他们的导师更聪明。即使接收了导师传授的所有内容，但他们能取其精华去其糟粕，最终比导师更聪明。因此，这些大型神经网络，其实具有超越训练数据的能力，大多数人没有意识到。
主持人： 这些模型能够获得推理能力吗？一种可能的方法是，在这些模型之上添加某种启发式方法。目前，许多研究都在尝试这种，即将一个思维链的推理反馈到模型自身中。另一种可能的方法是，在模型本身中增加参数规模。你对此有何看法？
我的直觉告诉我，模型规模扩大后，推理能力也能提升。
人们如何工作？大致来说，人类有直觉进行推理，再用推理来纠正我们的直觉。当然，在推理过程中也会使用直觉。假设推理的结论与直觉冲突，我们就会意识到需要纠正直觉。
这与AlphaGo或AlphaZero的工作方式类似，它们有一个评估函数，只需看一眼棋盘，然后判断“这对我来说有多好？”但是，进行蒙特卡罗推演时，你会得到一个更准确的想法，你可以修改你的评估函数。因此，通过让模型接受推理的结果，来对模型进行训练。
大语言模型必须开始这样做，必须开始通过推理，来训练模型的直觉，知道下一步做什么，并意识到什么是不对的。这样，他们就可以获得更多的训练数据，而不仅仅是模仿人类。这正是AlphaGo能够做出第37步妙棋的原因，它拥有更多的训练数据，因为它使用推理来检查下一步应该是什么。
多模态让模型学习更加容易，同时利于空间推理
主持人： 你对多模态有何看法？我们谈到了这些类比，而这些类比往往远远超出了我们所能看到的范围。模型发现的类比远远超出了人类的能力，可能是在我们永远无法理解的抽象层面上。现在，当我们将图像、视频和声音引入其中时，你认为这会如何改变模型？你认为它将如何改变，它能够进行的类比？
这将带来很大的改变。例如，它将使模型更好地理解空间事物。仅从语言角度来看，很难理解一些空间事物。尽管值得注意的是，即使在成为多模态之前，GPT-4也能做到这一点。但是，当你让模型成为多模态时，如果你让它既能做视觉，又能伸手抓东西，它能拿起物体并翻转它们等等，它就会更好地理解物体。因此，虽然可以从语言中学到很多东西，但如果是多模态，学习起来会更容易。事实上，需要的语言更少。
多模态模型显然会占据主导地位。你可以通过这种方式获得更多数据，它们需要的语言会更少。当然，可以仅从语言中学习出一个非常好的模型，但从多模态系统中学习要容易得多。
主持人： 你认为这将如何影响模型的推理能力？
我认为它将使空间推理变得更好，例如，实际尝试捡起物体，会得到各种有用的训练数据。
主持人： 你认为人类大脑的进化服务于语言，还是说语言的进步是服务于人类大脑？
这是一个非常好的问题，我认为两者是共存的。我曾经认为，可以完全不需要语言去进行大量的认知活动，但现在我的想法有所改变。
那么，我将给出三种不同的语言观点以及它们与认知的关系。
一种观点是陈旧的符号观点，即认知包括使用某种经过清理的逻辑语言中的符号串，这些语言没有歧义，并应用推理规则。这就是认知——只是对语言符号串之类的事物进行符号操作。这是一种极端观点。
另一种极端观点是，一旦你进入头脑，它就全是向量。符号进来了，把这些符号转换成大向量，所有内容都是用大向量完成的，然后想产生输出，又会生成符号。2014年左右，机器翻译中有一个说法，当时人们使用循环神经网络，单词会不断进入，它们会有一个隐藏状态，它们会在这个隐藏状态下不断积累信息。因此，当它们读完一个句子时，它们会得到一个大的隐藏向量，它捕捉到了该句子的含义，然后可以用来生成另一种语言的句子。这被称为思维向量。这是对语言的第二种看法——将语言转换成一个与语言完全不同的大向量，这就是认知的全部内容。
第三种观点，也是我现在所相信的，即你采用这些符号，将符号转换成嵌入，并使用多层嵌入，这样你就得到了这些非常丰富的嵌入。但是嵌入仍然与符号相关联，从某种意义上说，你有一个用于这个符号的大向量，以及一个用于那个符号的大向量。这些向量相互作用，产生下一个单词的符号的向量。这就是理解的本质——知道如何将符号转换成这些向量，并知道向量的元素应该如何相互作用，从而预测下一个符号的向量。无论是在这些大型语言模型中，还是在我们的大脑中，理解就是这样进行的。这是一个介于两者之间的例子。你继续使用符号，但将它们解释为这些大向量，这就是所有工作所在。所有的知识都在于你使用的向量以及这些向量的元素如何相互作用，而不是符号规则。
这并不是说，能完全摆脱符号。而是将符号变成大向量，保留符号的表面结构。这就是这些模型的工作方式。在我看来，这也是人类思维比较合理的模型。
借助共享权重，数字系统的思维迁移十分高效
主持人： 您是最早想到使用GPU的人之一，我知道Jensen（黄仁勋）很喜欢你。2009年你就告诉Jensen，这可能是训练神经网络的一个绝佳办法。当初要使用图形处理单元（GPU）训练神经网络，您是怎么想的？
记得在2006年，我有位研究生，是十分优秀的计算机视觉专家。一次会议上，他建议我考虑使用图形处理卡（GPU），因为它们在矩阵乘法方面表现出色，我所做的基本上都是矩阵乘法。我考虑了下，然后我们开始研究配备四个GPU的Tesla系统。
我们一开始只是购买了游戏用的GPU，发现它们将运算速度提高了30倍。然后又买了一个配备四个GPU的Tesla系统，并在此基础上进行了一次公开汇报，效果非常好。2009年，我在NIPS会议上发表了演讲，告诉在场的一千名机器学习研究人员：你们都应该去购买NVIDIA的GPU，它们是未来，你们需要GPU进行机器学习。
我还给NVIDIA发了一封邮件，说我已经动员一千名机器学习研究人员去购买你们的卡，你们能不能送我一个？他们并没有回复。但后来把这个故事告诉Jensen时，他免费给了我一个（要显卡，得直接找老板谈）
主持人： 人工智能发展过程中，GPU其实也在发展。在计算领域，我们路在何方？
我在谷歌的最后几年里，其实一直在思考模拟计算。这样，我们可以使用 30 瓦的功率（例如大脑），而不是使用一兆瓦的功率。我希望在模拟硬件中，运行这些大型语言模型。虽然从来没实现，但我开始真正重视数字计算。
使用低功耗的模拟计算，每个硬件部分都会有所不同，即需要学习利用特定硬件的属性。这就是人们身上正在经历的。人和人的大脑都是不同的。我们不能将你大脑中的权重，放入我的大脑中。硬件不同，各个神经元的精确属性也不同。我们最后都会死去，我脑中的权重，对其他大脑也毫无用处。
我们可以很低效地将信息从一个人传递给另一个人。我写句子，你想办法改变你思维里的权重，你就会说同样的话。这其实叫做提炼，但这种知识交流非常低效。
数字系统却不同，它们不会死去。一旦有了一些权重，计算机这个壳就不重要了。只需将权重存储在某个磁带或者什么上，就可以把同样的权重转移进另一台计算机。如果是数字的，它就可以与其他系统一样计算。所以，数字系统能够以极高效率共享权重，甚至还能迭代。假设你有一大把数字系统，从相同的权重开始，各自进行微量的学习，还能再次共享权重，这样它们都能知道其他系统学到了什么，甚至完成了迭代。人类无法做到这一点，在知识共享上，数字系统比我们做得好太多。
主持人： 许多已经在该领域实施的想法，其实都是非常传统的，因为这些想法在神经科学中一直存在。那么，你认为还有哪些想法可以应用于我们正在开发的系统呢？
因此，我们仍需追赶神经科学的发展。
在几乎所有的神经网络中，都存在一个快速的活动变化时间尺度。因此，当输入进来后，活动和嵌入向量都会发生变化，然后有一个缓慢的时间尺度会改变权重。这就是长期学习。
你只有这两个时间尺度。然而在大脑中，权重会改变的时间尺度很多。例如，我说一个意想不到的词，比如“黄瓜”，五分钟后，你戴上耳机，会听到很多噪音，而且单词非常模糊，但你会更好地识别“黄瓜”这个词，因为我五分钟前说过这个词。大脑中的这些知识是如何存储的呢？这些知识，显然是突触的暂时变化，而不是神经元在重复“黄瓜”这个词。你没有足够的神经元来做这件事。这是权重的暂时变化。你可以用暂时的权重变化做很多事情，我称之为快速权重。
我们的神经模型并不会这样做，原因是，对依赖于输入数据的权重进行临时更改，则无法同时处理大量不同的情况。目前，我们采用大量不同的字符串，将它们堆叠在一起，然后并行处理它们，因为这样我们可以进行矩阵乘法，效率要高得多。正是这种效率，阻止了我们使用快速权重。但大脑显然将快速权重用于临时记忆。而且，你可以通过这种方式。做各种我们目前不做的事情。
我认为这是你必须学习的最重要的事情之一。我非常希望像Graphcore（一家英国的AI芯片公司）这样的设备，它们采用顺序方式，并只进行在线学习，那么它们就可以使用快速权重。但这还没有奏效。或许当人们使用电导作为权重时，最终它会奏效。
官网截图：https://www.graphcore.ai/
主持人： 了解这些模型如何工作，了解大脑如何工作，对你的思维方式有何影响？
多年来，人们非常看不起大型随机神经网络，只要给它大量的训练数据，它就会学会做复杂的事情的想法。你和统计学家或语言学家，或者大多数人工智能领域的人交谈，他们会说，那只是一个白日梦。没有某种先天知识，没有很多架构限制，模型就不可能学会真正复杂的事情。以为随便用一个大型神经网络，就能从数据中学习一大堆东西——但这是完全错误的。
随机梯度下降，即使用梯度反复调整权重，也可以学习非常复杂的东西，这些大型模型已经证实了这一点。这是对大脑理解的一个重要观点。大脑并不需要拥有所有的先天结构。即使大脑确实拥有许多先天结构，但对易于学习的事物，又并不需要这些先天结构。
乔姆斯基的观点是，只有当知识本身无比扎实、成熟，才能学习像语言这样复杂的事物。然而现在看来，这种观点显然很荒谬。
主持人： 乔姆斯基会很高兴看到你说他的观点很荒谬。
乔姆斯基的许多政治观点非常明智。我很惊讶，为什么一个在中东问题上观点如此明智的人，在语言学方面会犯如此大的错误。
主持人： 你认为什么会让这些模型有效模拟人类的意识？现在的 ChatGPT 每次都从头开始，删除对话的记忆。如果有一个你一生中与之交谈过的人工智能助手，它能自我反省。有一天，你去世了，你认为助手在那个时候会有感觉吗？
我认为他们也会有感觉。所以我认为，就像我们有这种感知的内在剧场模型一样，我们也有一个感觉的内在剧场模型。这些是我能体验到的东西，但其他人却不能。我认为那个模型同样是错误的。我认为，假设我说，我想打Gary的鼻子，我经常这样做。让我们试着从内心剧场的概念中总结出这一点——我真正想告诉你的是，如果不是因为我的额叶受到抑制，我就会采取行动。所以当谈论感觉时，我们实际上是在谈论没有限制的情况下会采取的行动。这就是感觉的真正含义——没有限制时，我们会采取的行动。所以没有理由说这些东西不能有感觉。
在 1973 年，我看到过有情感的机器人。他们在爱丁堡有一个带有两个夹子的机器人，如果你把零件分开放在一块绿色毛毡上，它可以组装一辆玩具车。但是你把零件堆在一起，机器人视力不够，看不清零件。就会把夹子放在一起把零件敲散，再拼一起。要是看到一个人类这么做，你会说这个他不太理解情况，很生气，所以才敲散了零件。
主持人： 在我们之前的谈话中，你把人类和LLM描述为擅长做类比机器（analogy machines）。你一生中发现的，最有力的类比是什么？
我想可能对我影响很大的一种弱类比，是宗教和符号处理之间的类比。
我来自一个无神论家庭，我小时候上学时就面临着宗教信仰。在我看来，这简直是无稽之谈。即使我再次审视，我仍然认为这是无稽之谈。有人将符号处理视为对人们工作方式时，我认为这种观点依然荒谬。
但我不认为现在的观点完全是荒谬的，我们确实在进行符号处理，我们把大的嵌入向量赋予给符号。但不是像人们以为的那样，单单匹配符号——符号的唯一属性就是与另一个符号异同，让这成为符号的唯一属性。但我们并不是这样做的。我们用上下文，为符号提供嵌入向量；借助嵌入向量组成部分之间的交互，我们才能进行思考。
有位非常优秀的谷歌研究员叫 Fernando Pereira。他认为，我们确实在进行符号推理，但唯一符号就是自然语言。我们把自然语言作为符号语言进行推理。我现在觉得这很正确。
很难因为安全问题减缓AI研究，看好医疗保健应用
主持人： 你已经进行了一些计算机科学史上最有意义的研究。你能给我们讲讲，你是如何发现合适的研究问题的？
首先，我要纠正你一下，是我和学生一起完成了很多有意义的研究。这离不开我与学生的良好合作，离不开我发现优秀学生的能力。从70年代到本世纪初，研究神经网络的人不多。我作为少数研究神经网络的人，可以选到最优秀的学生。这非常幸运。
科学家都有自己的一套研究方法理论，虽然很多科学家会总结一套自己的研究方法理论，但是实际上他们不一定真的是这么做的。但我还是想说，我的理论是，我会寻找那些人人都赞同、但直觉又能感觉出有点不对的问题。然后我就把这个定为研究问题，看看我是否能深入，说清楚我认为它是错的原因。比如也许我能用一个小的计算机程序做个demo，说明大家的预期是错的。
让我举一个例子。很多人认为，给神经网络添加噪音会让结果变得更糟。如果训练示例，让一半的神经元保持沉默，效果就会更糟。然而实际上，这样做的话会带来更好的泛化效果。你可以用一个简单的例子来证明这一点。这就是计算机模拟的优点。你可以证明，增加噪音会使情况变得更糟，去掉一半的神经元，会使它工作得更糟。短期内确实如此。但你这样训练它，最终它会工作得更好。你可以用一个小型计算机程序来证明这一点，然后你可以认真思考为什么会这样，以及它如何阻止复杂的协同适应。
这是我的研究方法。找到并研究那些看上去不可靠的事情，看看自己能否给出简单demo，说明为什么错误。
主持人： 你觉得现在有什么不可靠的点呢？
我们不使用快速权重的做法，貌似不是很可靠，我们只有两个时间尺度，这完全是错误的，一点不像大脑的工作方式。从长远来看，肯定要有更多的时间尺度。这只是一个例子。
主持人： 我们谈到了推理、时间尺度。假设一群学生来问你，你的领域中最重要的问题是什么？你又会给他们什么最值得研究的问题？
对于我来说，现在的问题和我过去 30 年来一直存在的问题是一样的，那就是大脑会进行反向传播吗？我相信大脑会获得梯度。你得不到梯度，你的学习效果就会比得到梯度时差很多。但是大脑是如何获得梯度的？它是以某种方式实现某种近似版本的反向传播，还是某种完全不同的技术？这是一个悬而未决的大问题。我继续做研究的话，这就是我要研究的内容。
主持人： 当你现在回顾你的研究生涯时，你会发现你在很多事情上都是对的。但是你在什么地方做错了，以至于你希望自己花更少的时间？
这是两个独立的问题。一是错在什么地方，二是是否希望自己花更少的时间在这上面。
我认为我对玻尔兹曼机的看法是错误的，我很高兴我花了很长时间研究它。关于如何获得梯度，有比反向传播更漂亮的理论。反向传播很普通，很明智，它只是一个链式法则。玻尔兹曼机很聪明，它是一种获取梯度的非常有趣的方法。我希望大脑也能这样工作，但事实应该并非如此。
主持人： 您是否也花了很多时间想象，这些系统开发后会发生什么？您是否曾经想过，我们能让这些系统运行良好，我们就能让教育民主化，让知识更容易获得，解决医学上的一些难题。对您来说，这更多的是了解大脑？
科学家应该做一些对社会有益的事情，但实际上这并不是开展研究的最佳方式。当好奇心驱使时，您会进行最好的研究。您只需要了解一些事情，仅此而已。
但最近，我意识到这些技术是把双刃剑，开始更加担心它们对社会的影响。但这不是我的研究动机。我只是想了解，大脑究竟是如何学习做事的？这正是我想要知道的。但我有点失败了。作为失败的副作用，我们得到了一些不错的工程。
主持人： 是的，这对世界来说是一次很好的“失败”。从真正可能顺利的事情的角度来看，你认为最有前途的应用是什么？
医疗保健显然会是很大的应用。社会可以吸收的医疗保健几乎是无穷无尽的。以一位老年人为例，他们可能需要五位全职医生的照顾。因此，当人工智能在某些领域的表现超过人类时，我们会期待它能在更多领域发挥更大的作用。这可能意味着我们需要更多的医生。每个人都能拥有三位专属的医生，那将是极好的。我们有望实现这一目标，这也是医疗保健领域的优势之一。
此外，新的工程项目和新材料的开发，例如用于改进太阳能电池板或超导性能的材料，或者仅仅是为了更深入地了解人体的运作机制，都将产生巨大的影响。这些都是积极的一面。
然而，我担心有政治家可能会利用这些技术来做邪恶的事情，比如利用人工智能制造杀人机器人，操纵舆论或进行大规模监控。这些都是非常令人担忧的问题。
主持人： 你是否担心，我们放慢这个领域的发展速度，也会阻碍其积极一面的发展？
当然，我有这样的担忧。我认为这个领域的发展速度不太可能放慢，部分原因是它具有国际性。一个国家选择放慢发展速度，其他国家并不会跟随。因此，中国和美国之间显然存在人工智能领域竞争，双方都不会选择放慢发展速度。有人提出我们应该放慢六个月的发展速度，但我并未签署这一提议，因为我认为这种情况永远不会发生。尽管如此，我可能应该签署这一提议，因为即使这种情况永远不会发生，它也提出了一个政治观点。为了表达观点，有时候我们需要提出一些无法实现的要求，这往往是一种有效的策略。但我不认为我们会放慢发展的步伐。
主持人： 你认为有了这些人工智能助手，会对 AI 研究过程产生什么影响？
我认为它们会大大提高研究效率。有了这些助手，AI研究将变得更加高效，它们不仅能帮助你编程，还能帮助你思考问题，甚至可能在各种方程式方面为你提供很大帮助。
建立自己的认知框架对于独立思考来说非常重要
主持人： 你是否考虑过人才选拔的过程？这对你来说主要是依赖直觉吗？例如，当Ilya出现在门口时，你会觉得他很聪明，于是决定与他一起工作。
在人才选拔方面，有时候你就是能感觉到。与Ilya交谈不久后，我就觉得他非常聪明。再深入交谈几句，他的直觉、数学能力都非常出色，这让我觉得他是理想的合作伙伴。
还有一次，我参加了一次NIPS会议。我们有一张海报，有人走过来，他开始询问有关学术海报上的问题。他提出的每一个问题都深入地揭示了我们的错误。五分钟后，我就给他提供了一个博士后职位。那个人就是 David McKay，他非常聪明。他去世了，这让人感到非常遗憾，但他的才华是显而易见的，你会希望能与他一起工作。然而，有时候，情况并不总是那么明显。
我确实学到了一件事，那就是人与人是不同的。优秀的学生并不只有一种类型。有些学生可能没有那么有创造力，但他们在技术上非常强，能够让任何事情都成功。有些学生在技术上可能并不出色，但他们却拥有极高的创造力。理想的情况下，我们希望找到的是既有技术实力又具备创造力的学生，但实际上，这样的学生并不总是那么容易找到。然而，我认为在实验室环境中，我们需要的是各种不同类型的研究生。
我始终坚信我的直觉，有时候，你只需要和某人进行一次交谈，他们就能理解你的意思。这就是我们所期待的。
主持人： 你是否曾经思考过，为什么有些人的直觉会更强呢？他们是否只是比其他人拥有更好的训练数据？或者，你是如何培养自己的直觉的？
我认为，部分原因在于他们不允许胡说八道。因此，这里有一种获取错误直觉的方式，那就是盲目相信你被告知的一切，这是非常危险的。我认为有些人就是这样做的。我觉得有独立思考能力的人会有一个理解现实的完整框架。当有人告诉他们某件事情时，他们会试图弄清楚这件事如何融入他们的框架。无法融入，他们就会予以拒绝。这是一个非常好的策略。
那些试图将他们被告知的一切都融入自己的框架的人，最终会得到一个非常模糊的框架，并且会相信一切。这是无效的。因此，我认为，对世界有强烈的看法，并试图操纵传入的事实以符合自身观点，是非常重要的。显然，这可能会导致你陷入深刻的宗教信仰和致命缺陷等等，就像我对玻尔兹曼机器的信仰一样。但我认为这是正确的做法。
主持人： 当你看到今天正在进行的研究类型时，你是否认为我们把所有的鸡蛋都放在一个篮子里，我们应该在这个领域更加多样化我们的想法？或者你认为这是最有前途的方向然后全力以赴？
我认为拥有大型模型并在多模态数据上训练它们，即使只是为了预测下一个单词，也是一种非常有前途的方法，我们应该全力以赴。显然，现在有很多人在做这件事。看到有很多人似乎在做疯狂的事情，这很好。我认为大多数人走这条路是可以的，它效果很好。
主持人： 你认为学习算法真的那么重要吗，还是只是尺度之一？我们是否有数百万种方法可以达到人类水平的智能，或者我们需要发现少数几种？
特定的学习算法是否非常重要，或者是否有各种各样的学习算法可以完成这项工作，我不知道这个问题的答案。但在我看来，反向传播某种意义上是正确的做法。获得梯度以便更改参数使其更好地工作，这似乎是对的，而且它也取得了惊人的成功。
可能还有其他学习算法，它们是获得相同梯度的替代方法，或者将梯度转移到其他东西上，并且也有效。我认为现在这一切都是开放的，也是非常有趣的问题，关于是否还有其他你可以尝试和最大化利用的东西，可以为你提供良好的系统，也许大脑这样做是因为这样更容易。但反向传播在某种意义上是正确的做法，我们知道这样做效果很好。
主持人： 最后一个问题，当您回顾您几十年的研究历程，您最引以为豪的成就是什么？是你学生的成就吗？或者是您的研究成果？在您的整个职业生涯中，您最引以为豪的是什么？
我的回答是玻尔兹曼机的学习算法。这个算法非常优雅，尽管在实践中可能并不实用，但这是我和 Terry共同开发的过程中最享受的事情，也是我最引以为豪的成就，即使它可能是错误的。
ai教父是什么意思alpacino教父
教父是指在人工智能领域有着卓越贡献和影响力的专家或领袖人物。 这些人通常是在人工智能领域拥有深厚的技术功底和丰富的实践经验，同时也具备着对未来发展趋势的深刻洞察和领导力。 他们的研究成果和思想理念对于推动人工智能技术的发展和应用具有重要的影响力和指导意义。 例如，深度学习领域的神经网络之父Geoffrey Hinton就被誉为AI教父之一。 1. Ai教父是一个语言学习app的名称，用于帮助用户学习外语。 2. Ai教父这个名称是由英文单词Ai(人工智能)和Godfather(教父)组成的，在这里指这个app可以起到指导和帮助的作用，就好像教父指引和帮助黑帮一样。 3. 除了Ai教父，还有很多类似的语言学习app可以帮助用户提高自己的语言技能。 杰弗里·辛顿杰弗里·辛顿被外界称为“AI教父”，他对深度学习和神经网络(模仿人脑的数学模型)的研究帮助奠定了人工智能发展的基础，并且已在AI领域默默深耕数十年
人工智能的发展现状和趋势如何？
近年来我国人工智能产业呈现出了蓬勃发展的良好态势。 一是部分关键应用技术特别是图像识别、语音识别等技术，处于全球相对领先的水平，人工智能论文总量和高倍引用的论文数量，也处在第一梯队，据全球相对前列。 二是产业整体实力显著增强。 全国人工智能产业超过一千家，覆盖技术平台、产品应用等多环节，已经形成了比较完备的产业链。 京津冀、长三角、珠三角等地区的人工智能产业急剧发展的格局已经初步形成。 三是与行业融合应用不断深入。 人工智能凭借其强大的赋能性，正在成为促进传统行业转型升级的重要驱动力量，各领域智能的新技术、新模式、新业态不断涌现，辐射溢出的效应也在持续增强，人工智能概念的火热促进了不少行业的兴起，比如域名，许多相关的top域名已经被注册。 但也要看到，在快速发展过程当中，我国人工智能的基础技术，还有较大欠缺，能够真正创造商业价值的还比较少。 传统行业与人工智能的融合还存在较高门槛，有数据显示，今年人工智能领域投融资比前两年特别是跟去年相比，也有比较大幅度的下调。 中国人工智能应用具有领域广、渗透深的特点，在产业化方面具有独特优势，但也面临巨大挑战，尤其是在基础理论和算法方面，原始创新能力不足，在高端芯片、关键部件等方面基础薄弱，高水平人才也不足。 随着全球人工智能加速发展，各国在认知智能、机器学习、智能芯片等方面将不断取得突破。
人工智能未来的发展前景怎么样？
目前国内人工智能行业的上市公司主要有：网络网络(BAIDU)、腾讯(TCTZF)、阿里巴巴(BABA)、科大讯飞()等。
本文核心数据：人工智能企业核心技术分布情况、中国人工智能市场规模、中国人工智能行业投融资情况、中国人工智能行业投融资轮次分布、人工智能各技术方向岗位人才供需、人工智能本科新专业高校名单、人工智能科技产业区域竞争力、人工智能行业代表性企业区域分布、中国人工智能行业竞争派系、人工智能发展趋势、中国人工智能产业规模预测
行业概况
1、人工智能定义
人工智能作为一门前沿交叉学科，研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，将其视为计算机科学的一个分支，指出其研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
人工智能行业属于战略新兴产业，根据国家发展改革委发布的《战略性新兴产业重点产品和服务指导目录(2016)》来看，我国人工智能可分为三个下属行业，分别为人工智能软件开发、人工智能消费相关设备制造和人工智能系统服务。
2、产业链剖析：产业链涵盖行业庞大
人工智能产业链包括三层：基础层、技术层和应用层。其中，基础层是人工智能产业的基础，主要是包括AI芯片等硬件设施及云计算等服务平台的基础设施、数据资源，为人工智能提供数据服务和算力支撑;技术层是人工智能产业的核心，以模拟人的智能相关特征为出发点，构建技术路径;应用层是人工智能产业的延伸，集成一类或多类人工智能基础应用技术，面向特定应用场景需求而形成软硬件产品或解决方案。
行业发展历程：行业处在突飞猛进阶段
人工智能概念的提出始于1956年的美国达特茅斯会议。人工智能至今已经有60多年的发展历史，从诞生至今经历了三次发展浪潮。分别是1956-1970年、1980-1990年和2000年至今。
1959年Arthur Samuel提出了机器学习，推动人工智能进入第一个发展高潮期。此后70年代末期出现了专家系统，标志着人工智能从理论研究走向实际应用。
80年代到90年代随着美国和日本立项支持人工智能研究，人工智能进入第二个发展高潮期，期间人工智能相关的数学模型取得了一系列重大突破，如著名的多层神经网络、BP反向传播算法等，算法模型准确度和专家系统进一步提升。期间，研究者专门设计了LISP语言与LISP计算机，最终由于成本高、难维护导致失败。1997年，IBM深蓝战胜了国际象棋世界冠军Garry Kasparov，是一个里程碑意义的事件。
当前人工智能处于第三个发展高潮期，得益于算法、数据和算力三方面共同的进展。2006年加拿大Hinton教授提出了深度学习的概念，极大地发展了人工神经网络算法，提高了机器自学习的能力，随后以深度学习、强化学习为代表的算法研究的突破，算法模型持续优化，极大地提升了人工智能应用的准确性，如语音识别和图像识别等。随着互联网和移动互联的普及，全球网络数据量急剧增加，海量数据为人工智能大发展提供了良好的土壤。大数据、云计算等信息技术的快速发展，GPU、NPU、FPGA等各种人工智能专用计算芯片的应用，极大地提升了机器处理海量视频、图像等的计算能力。在算法、算力和数据能力不断提升的情况下，人工智能技术快速发展。
行业政策背景：行业发展从技术过渡到产业融合
人工智能是国家战略的重要组成部分，是未来国际竞争的焦点和经济发展的新引擎。近年来，中国人工智能行业受到各级政府的高度重视和国家产业政策的重点支持，国家陆续出台了多项政策，鼓励人工智能行业发展与创新，《关于支持建设新一代人工智能示范应用场景的通知》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》《新型数据中心发展三年行动计划(2021-2023年)》等产业政策为我国人工智能产业发展提供了长期保障。
2017年之前，人工智能相关政策主要集中在人工智能技术研发突破方面。从2017年开始，政策的重点已经从人工智能技术转向技术和产业的深度融合，特别是2017年7月国务院印发的《新一代人工智能发展规划》明确指出要“加快人工智能深度应用”。
从2018年两会发言的不完全汇总也可以看出，人工智能+产业的融合将是未来的重点，包括科技部、工信部、民政部等官方部门和网络、腾讯、联想等民间代表，均提出了人工智能+产业、人工智能+医疗等。
2019年，两会更是将“智能+”写入政府工作报告，人工智能技术对于社会的赋能被给予最高层次的期待。在工业经济由数量和规模扩张向质量和效益提升转变的关键期，“智能+”的理念给人工智能等数字技术提供了最广阔的落地空间和回报想象。通过智能化手段把传统工业生产的全链条要素打通，可以更好地推动制造业的数字化、网络化和智能化转型，更能反向助推技术自身的迭代和进步。
2020年，明确人工智能作为“新基建”建设重要一环，“十四五”指出要推动互联网、大数据、人工智能等同各产业深度融合。并且各省市也在大力推动人工智能与产业融合，打造应用场景，示范项目。
行业发展现状
1、大数据和云计算为占比最高的核心技术
从人工智能企业核心技术分布看，计算机视觉技术占比最高，达到34%;其次是数据挖掘与机器学习，占比分别为18%和17%;智能语音技术、自然语音处理、知识图谱等技术的热度也较高，分别占比8%、8%和7%。
2、行业呈现快速增长趋势
注：人工智能产业作为典型的融合交叉产业，对产业统计口径的不同会带来市场规模数据上的出入。下文整理了统计口径不同的三大研究机构关于人工智能产业市场规模的测算数据，以期展现多方视角。其中：中国信通院统计口径>中国人工智能学会统计口径>中国电子学会统计口径，三大研究机构的统计口径在图表下方注明。
2017年7月，国务院印发了《新一代人工智能发展规划》，将人工智能上升到国家战略层面，受益于国家政策的大力支持，以及资本和人才的驱动，我国人工智能行业的发展走在了世界前列。根据中国信通院公布的测算数据显示，2021年中国人工智能产业规模为4041亿元，同比增长33.3%。
注：中国信通院对人工智能产业市场规模测算口径包括人工智能核心产业市场规模及带动产业市场规模，即包括人工智能硬件、软件及服务市场
人工智能核心产业市场规模方面，根据中国电子学会测算数据显示，2021年中国人工智能核心产业市场规模为1300亿元，同比增长38.9%。
注：中国电子学会对人工智能核心产业市场规模测算口径包括：计算机视觉、智能语音、对话式AI、机器学习(含自动驾驶)、知识图谱、自然语言处理等核心技术软件、AI芯片等核心硬件
从中国人工智能学会公布的人工智能产业市场规模测算数据来看，2020年中国人工智能行业市场规模约为1858.2亿元，同比增长35.4%，总体上看，当前人工智能核心产业(主要包括软硬件)市场规模增速大于整体产业市场规模增速，人工智能应用服务市场发展相对缓慢。
注：①中国人工智能协会关于人工智能产业市场规模统计范围包括：人工智能软件和硬件市场，不包括服务市场规模;②2021年中国人工智能学会尚未发布最新的人工智能市场规模测算数据
3、下游应用主要集中在政府城市治理和运营
2020年，中国人工智能市场主要客户来自政府城市治理和运营(公安、交警、司法、城市运营、政务、交运管理、国土资源、监所、环保等)，应用占比达到49%，互联网与金融行业紧随其后，占比分别为18%和12%。
企业和政府对人工智能的应用逐渐升温。在决定企业产生经济效益的各个环节，都已能够看到人工智能的身影：AI 核身帮助人们安全生活、远程交易、便捷通行;深度学习和知识图谱帮助企业在生产过程中分析预测、科学决策;人机对话提升了拜访登记、服务响应中的用户体验。人工智能将催生新技术、新产品、新产业、新业态、新模式，实现社会生产力的整体跃升，推动社会进入智能经济时代。前瞻估算，目前中国大型企业基本都已在持续规划投入实施人工智能项目，而全部规上企业中约有超过10%的企业已将人工智能与其主营业务结合，实现产业地位提高或经营效益优化。
4、资本更倾向于人工智能企业的早期投资
截止2022年10月9日，中国人工智能行业总计共有6486起投融资事件发生，总计融资金额为9994亿元。其中2014-2018年在融资事件及融资规模均呈现持续增长态势，2018年融资金额达1366亿元，融资事件1049起。2019-2020年，我国人工智能行业市场相较之前冷静不少，融资事件有所下降但是融资规模有所上升。2021年，我国人工智能资本市场再次迎来增长大潮，投融资事件数量及规模均达到历年峰值，分别增长至1066起和3062亿元。截止2022年10月9日，2022年人工智能行业共有投融资事件532起，融资金额达到1008亿元。
注：2022年数据截至10月9日，下同，不再赘述。
从我国人工智能行业融资轮次分布情况来看，由于初创型企业融资金额与估值相对较合理，泡沫较小，因此资本更倾向于人工智能企业的早期投资，2014-2019年，人工智能行业天使轮和A轮占比最高。随着人工智能市场板块的逐渐成熟，早期的投资占比逐渐降低，人工智能投资轮次逐渐后移。2021年，人工智能行业A轮融资占比下降至37.9%，C轮融资占比则上升至11.37%。
5、技术方面人才不足，高校开设相关专业
根据工信部发布的相关数据，人工智能不同技术方向岗位的人才供需比均低于0.4，说明该技术方向的人才供应严重不足。从细分行业来看，智能语音和计算机视觉的岗位人才供需比分别为0.08、0.09，相关人才极度稀缺。
注：岗位人才供需比=意向进入岗位的人才数量/岗位数量。
相对国外，我国高校人工智能培育起步较晚，但近年来我国人工智能学科和专业加快推进，多层次人工智能人才培养体系逐渐形成。2018年4月，教育部发布的《高等学校人工智能创新行动计划》提出，到2020年建立50家人工智能学院、研究院或交叉研究中心。
2019年，教育部印发了《教育部关于公布2018年度普通高等学校本科专业备案和审批结果的通知》，全国共有35所高校获首批建设“人工智能”本科专业资格。
行业竞争格局
1、区域竞争：北京人工智能竞争能力遥遥领先
从1990年至今，我国人工智能产业发展的城市格局几经变化，目前北京、上海、深圳、杭州等城市变现稳定，这些城市都将电子信息产业作为支柱产业之一，在互联网业发展中也排名靠前。这些城市均强化科研与人才优势、加速补充完善人工智能自身及面向行业落地的产业链、建设示范性智能应用场景、前瞻性布局人工智能相关标准体系、推动公共资源共享、提升城市环境与宜居性、支持系统性超前研发布局等措施将成为城市把握人工智能发展重大历史机遇的谋划方向。
在2021年中国新一代人工智能科技产业发展区域竞争力排名中，排名前五的省市分别是北京、广东、上海、浙江和江苏，属于第一梯队;排名第六至第十的省份分别是山东省、四川省、安徽省、辽宁省和湖南省。
在四大都市圈排名中，排名第一的是长三角，排名第二的是京津冀，排名第三和第四的分别是珠三角和川渝地区。
2、企业竞争：参与者众多，主要分为三个派系
从企业的竞争来看，我国人工智能企业主要可以分为三个派系，分别是头部平台代表企业、融合产业活跃企业、技术层面代表企业。
人工智能平台的代表性企业主要有网络、阿里云、腾讯、华为、京东和科大讯飞;而小米、平安科技、苏宁、滴滴是融合产业较活跃的企业;技术层企业代表有商汤科技、旷视科技、云从科技和依图科技作为独角兽公司。
从人工智能独角兽企业来看，根据胡润排行榜，商汤科技以500亿元的价值位列2021年胡润中国人工智能行业独角兽排行榜首位;其次，旷视科技、云从科技、地平线机器人与明略科技也具备较大的市场潜力，价值均超200亿元。
行业发展前景及趋势预测
1、“十四五”建设继续推进，高质量、现代化、智能化发展
近年来，人工智能在经济发展、社会进步、国际政治经济格局等方面已经产生重大而深远的影响。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》对十四五及未来十余年我国人工智能的发展目标、核心技术突破、智能化转型与应用，以及保障措施等多个方面都作出了部署。
2、“十四五”期间核心产业规模达到4000亿
根据《新一代人工智能发展规划》，到2025年,我国人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平，人工智能成为带动我国产业升级和经济转型的主要动力，智能社会建设取得积极进展，人工智能核心产业规模将超过4000亿元，带动相关产业规模超过5万亿元;到2030年，我国人工智能理论、技术与应用总体达到世界领先水平。
此外,为加快落实《国务院关于印发新一代人工智能发展规划的通知》,科技部于2019年8月印发《国家新一代人工智能创新发展试验区建设工作指引》,旨在有序推动国家新一代人工智能创新发展试验区建设。截至2021年3月末,我国已有14个市+1个县获批建设试验区;至2023年,试验区数量预计将达20个左右。
以上数据参考前瞻产业研究院《中国人工智能行业市场前瞻与投资战略规划分析报告》。
