视频全文最新联合国AI大会访谈发言 AI教父Hinton

用微信扫码二维码

分享至好友和朋友圈

未经许可不得转载，务必保留原文链接和公众号按钮

文：Web3天空之城·城主

前言：

这是AI教父Hinton最新在联合国AIforGood大会上的访谈发言。曾觉得Hinton出来访谈较多。但最近城主认知到，包括这一次联合国大会访谈的内容，充分证明了教父就是教父，对AI发展和未来的评论高屋建瓴的同时，还能让所有人都听明白，这是非常难得的。并且，每一次Hinton的访谈都有新内容和新启发。

精校视频和整理全文和读者同享。

B站传送：【精校】AI教父Hinton联合国AI大会最新访谈 | AIforGood 【中英】-哔哩哔哩】

https://b23.tv/lf43zkf

很高兴再次回到这里，我很高兴能与Geoff Hinton同台，他是整个领域最聪明、最出色、最有能力、最善良的人之一。

你好吗，Geoffrey Hinton？

我很好。谢谢你的热情介绍。

好的。Geoff，我想从你和我几乎一年前的一次小谈话开始。我们在多伦多，我们即将登上舞台。我的两个孩子和我在一起，他们当时14岁和12岁。你看着大一点的孩子说：“你会像你父亲一样进入媒体行业吗？”他回答说：“不。”你说：“很好。”然后我说：“好吧，如果他不进入媒体行业，他应该做什么？”你说：“他应该当一名水管工。”

所以那个儿子刚刚申请了学校的学位。我很好奇，你是否认为他犯了一个严重的错误，我真的应该送他下楼去修理水管。

不，我只是有点幽默。但我确实认为管道工的职业寿命会比大多数职业更长。我认为目前，人工智能最不擅长的是物理操作。它正在迅速进步，但与人类相比，这是它最差的地方。

好的，太好了。

所以，我想在这次采访中，首先介绍一下Hinton博士的背景。然后，我想进入一个部分，向他问一些最有趣的技术问题，一些我们在台上讨论过的问题。我们将讨论人工智能的好处，然后再讨论人工智能的坏处。最后，我们将讨论监管框架。听起来不错，Geoff？

好的。

很好。

所以我首先想从40年前说起，那时你是一位孤独的科学家，但你获得了这个领域、甚至是20世纪后期最重要的见解之一，你意识到要制造一台功能极其强大的计算机，你应该以人类大脑的结构为模型。现在听起来有点明显，但当时并非如此。那么，告诉我真正推动这个领域发展的那个顿悟时刻。

这是一个美好的神话，但有很多不同的人都这么认为。特别是在20世纪50年代，冯·诺依曼和图灵都这么认为。不幸的是，他们都英年早逝，否则我们这个领域的历史可能会大不相同。但在我看来，如果你想了解智力，你就需要了解我们所知道的最聪明的东西，那就是我们自己。我们的智力不是来自人们编写大量命题，然后用逻辑推理这些命题。它来自主要用于视觉和运动控制等的大脑。很明显，大脑中的连接强度会随着你的学习而改变，我们只需要弄清楚这是如何发生的。

好吧，这很有道理。你扎根于历史。现在让我们快速行动起来。你来处理这件事。人们说你走错了路。你继续追寻。其他人也加入了你。最终，你会发现你走在了一条正确的道路上。

首先，让我把事情说清楚。我离开谷歌有几个原因。其中之一是我已经75岁了，我决定无论如何都应该退休。我离开不仅仅是为了谈论人工智能的危险，但那也是一个原因。

2023年初，也就是2023年3月左右，我敏锐地意识到了人工智能的危险，即生存威胁。我开始与其他对生存威胁感到恐惧的人交谈，例如罗杰·格罗斯。他们鼓励我公开这件事。然后我决定离开谷歌，这样我就可以自由发言了。

我之所以感到害怕，是因为我当时正在努力弄清楚模拟计算机如何用30瓦而不是兆瓦的功率来构建这些大型语言模型。在这样做的过程中，我确信数字计算有一些东西比大脑做得好得多。在那之前，我花了50年的时间思考，如果我们能让它更像大脑，它就会更好。我终于在2023年初意识到它拥有大脑永远无法拥有的东西。

因为它是数字化的，所以你可以制作相同模型的许多副本，这些副本的工作方式完全相同。每个副本都可以查看数据集的不同部分并获得梯度。他们可以组合这些梯度，这让他们学到更多。这就是为什么GPT-4比人知道得多。它是在多个不同的硬件上运行的多个不同副本，可以查看整个互联网。这是我们永远无法拥有的。

所以基本上，他们有而我们没有的是，他们可以非常有效地共享。我们可以非常低效地共享。这就是现在发生的事情。我写句子，你试图弄清楚如何改变大脑中的突触，所以你可能会这么说。这是一种非常缓慢和低效的共享方式。如果数字智能是同一模型的不同副本，则可以共享数万亿比特的带宽。

所以你有了这个时刻，意识到这些系统突然变得比你想象的要强大得多。那一定是一个非常激动人心的时刻。为什么巨大的恐惧也如此普遍？

这让我觉得他们会比我想象的更快变得比我们更聪明。这让我觉得他们只是一种更好的智能形式。

让我问你关于人工智能的另外两位教父的问题。你和三个人一起获得了图灵奖。现在在Meta负责AI的Yann LeCun和Joshua Bengio。我想弄清楚你们之间的差异，如果有效的话请告诉我。你们都是教父。Yann认为人工智能就像弗雷多·科里昂，能力不强，容易控制。Joshua可能认为它是桑尼，可能非常危险。你认为它是迈克尔，迈克尔·科里昂，可能极其危险。这或多或少是正确的吗？

我不这么认为。我认为Joshua和我对危险的看法非常相似。

但你和Yann的不同之处在于，你认为这是一个比他更强大的系统。这就是为什么你比他更担心。

这是一个不同之处，是的。这是一个主要的区别。所以我认为它真的已经很聪明了。而Yann认为猫更聪明。

对。好吧，让我们来谈谈智力，我认为这是最有趣的问题之一。您认为人类思维中有什么是这些机器和人工智能系统无法复制的吗？我们的大脑能做什么，而机器不能做什么？

没有。

这是否意味着我们能做的一切都是这些智能机器可以超越的？例如，我们可以说它们最终将能够创作出更美妙的音乐。它们将能够比我们更好地完成所有涉及简单认知的事情。

是的，我相信这一点。

你不相信有任何精神或外在的东西，或者任何超出一组神经网络可以捕捉的东西吗？

我认为我们所说的精神可以被这些外星智慧所捕捉。我同意 Sam Altman 的观点，这是一种外星智慧。它和我们不太一样。它和我们有某些不同。但如果你看看宗教之类的东西，我不明白为什么你不应该得到宗教的东西。

昨天，当我问 Altman 这个问题时，他说，可能有一个不同之处，那就是主观体验。机器人、系统无法体验世界。你相信人工智能系统可以拥有主观体验吗？

是的，我相信。我认为他们已经拥有了。

好的。让我们更深入地探讨一下。解释一下。这是一个有争议的命题，杰夫。你不能用一句话回答。请跟进，辛顿博士。

好的。我试图对你的问题给出很好的、尖锐的回答。

所以，我的观点是，几乎每个人对心灵的模型都是完全错误的。这很难让人接受。我现在的处境是，我的信念与大多数人坚定的信念有点不同步。我总是对这种处境感到非常高兴。

所以，大多数人认为心灵是一种内部剧场。事实上，人们如此确信这种观点是正确的，以至于他们甚至不认为这是一种观点。他们甚至不认为这是他们拥有的模型。他们认为这是显而易见的。就像人们认为太阳绕着地球转是显而易见的一样。你只要看着它，它就绕着地球转。最终，人们意识到太阳并不绕着地球转。地球绕着地轴旋转。

这是Sam犯的一个小技术错误。因为我是个学究，所以我喜欢批评他。并不是说……他们认为……起初他们认为太阳绕着地球转，后来他们意识到地球绕着太阳转。这不是正确的对比。他们认为太阳绕着地球转，后来他们意识到地球绕着地轴旋转。地球绕着太阳转与年有关，而不是与日有关。但无论如何，很明显太阳绕着地球转，我们错了。

我们有一个模型。这是一个直截了当的模型。它显然是正确的。你可以看到它正在发生。我们对那个模型的看法是错误的。我认为大多数人对心灵的看法也是如此。大多数人认为有一个内心剧场，但他们错了。他们还没有理解心理状态语言是如何运作的。

但请解释一下它如何应用于人工智能系统。解释一下……如果我对 GPT-4 说，我说，你刚刚听到了一声巨响，有什么东西撞到了你。它没有感觉到疼痛或伤害，耳朵也不疼。它在什么意义上有过主观体验？

好的，让我们举一个简单的例子。我并不假装对意识是什么有完整的答案，尽管我认为我取得了一点进展。事实上，上个世纪的哲学家取得了进步。所以，如果我对你说，我看到小粉红色的大象漂浮在我面前。一种思考方式是，有一个内在剧院，在我的内在剧院里有小粉红色的大象，我可以直接看到那些小粉红色的大象。如果你问它们是由什么构成的，它们是由一种叫做感质的东西构成的。也许一些粉红色的感质、一些大象的感质、一些正确的感质和一些移动的感质，都以某种方式结合在一起。

这是关于正在发生的事情的一种理论。这是一个内部剧院，里面有有趣、恐怖的东西。一个完全不同的理论是，我试图告诉你我的感知系统在告诉我什么。我的感知系统告诉我，空中飘浮着一些粉红色的小象。我知道这是错的。所以，我告诉你我的感知系统在告诉我什么的方式是，我的感知系统要正常工作，必须是什么情况？

所以，实际上，当我说我有粉红色的小象飘浮在我面前的主观体验时，我可以说完全相同的话，而无需使用主观体验这个词。我可以说，如果这个世界中有粉红色的小象飘浮在我面前，我的感知系统告诉我的就是正确的。换句话说，这些粉红色的小象的有趣之处不在于它们处于一个由称为感质的有趣物质构成的内部剧场中。它们是世界的假设状态。这只是一种间接引用技巧。我无法直接描述我的感知系统告诉我什么。但我可以说，世界上必须有什么才能使它正确。

那么，机器或多或少可以用它的感知做同样的事情吗？

是的。那么，让我给你举个例子。所以，我想给你举一个聊天机器人的例子，它显然有主观体验。假设我有一个多模式聊天机器人，它有一个摄像头和一个机械臂。我训练它，它可以说话，可以看到东西。我把一个物体放在它前面，然后说，指向物体。它会指向物体。现在，我在它的镜头前放了一个棱镜。它不知道。

现在我把一个物体放在它前面，然后说，指向物体。它指向一侧。我说，不，那不是物体所在的地方。物体就在你面前，但我在你的镜头前放了一个棱镜。然后聊天机器人说，哦，我明白了，棱镜弯曲了光线。所以，物体实际上就在我面前，但我的主观感受是它偏向了一边。如果聊天机器人这么说，我认为它使用“主观体验”这个短语的方式和我们完全一样。它不是指聊天机器人不可能拥有的怪异内在内容。它指的是假设的世界状态，聊天机器人的感知是正确的。

哇。好吧。你是第一个和我争论这个问题的人，但这是一个非常有趣的案例。

让我们谈谈互操作性，这是我问过 Altman 的问题，因为对他来说，了解人工智能系统的内核将最能保护我们免受灾难性后果的影响。你帮助设计这些系统。为什么很难看清它们的内部并了解它们在做什么？

好的。让我们举一个极端的例子。假设我们有一个大数据集，我们正在尝试回答一个是或否的问题。在这个数据集中，有很多弱规律。可能有 300,000 个弱规律表明答案应该是否定的。有 600,000 个弱规律表明答案应该是肯定的。这些规律的强度大致相同。所以答案显然是肯定的。有压倒性的证据表明答案应该是肯定的。但这些证据存在于所有这些弱规律中。这只是它们综合起来的效果。当然，这是一个极端的例子。如果你问某人，好吧，解释一下为什么它说是。解释为什么它说是的唯一方法就是深入研究这 600,000 个弱规律。所以当你处在一个有很多弱规律的领域时，它们的数量如此之多以至于它们实际上很重要，它们的综合效应是显著的，没有理由期望你应该能够得到事物的简单解释。

所以在昨天的谈话中，Altman 指出了一篇来自 Anthropic 的论文，我认为这非常有趣。论文中谈到了分析 Claude 和 Anthropic 模型的内部工作原理，并找到所有与金门大桥概念的神经连接。然后你给所有这些连接增加权重，你就创造了金门 Claude。然后你进入那个聊天机器人，说，给我讲一个爱情故事。这是一个发生在金门大桥上的爱情故事。你问它这是什么，它会描述金门大桥。既然如此，为什么我们不能进入一个大型语言模型并调整权重，不是针对金门大桥，而是针对同理心、同情心的概念。然后创建一个更有可能为世界带来好处的大型语言模型。

我认为你可以制作一个同理心模型，但不能直接调整权重，你只需在表现出同理心的数据上训练它。然后你会得到相同的结果。

是的。我们应该这样做吗？

过去，人们已经有很多尝试去了解单个神经元功能的例子。我已经这样做了50年。如果神经元直接连接到输入或直接连接到输出，你就有机会了解单个神经元在做什么。但是一旦你有多个层，就很难理解系统深处的神经元到底在做什么。因为重要的是它的边际效应。它的边际效应因其他神经元在做什么、取决于输入而有很大不同。因此，随着输入的变化，所有这些神经元的边际效应都会发生变化。而且很难得到一个很好的理论来解释它们在做什么。

所以我可以把我在后台构建的神经网络拿出来，试着调整权重以增加同情心，结果我实际上想出了某种可怕的动物杀戮机器，因为我不知道我到底做了什么，也不知道一切是如何联系在一起的。

是的，我可能是少数几个真正尝试过这样做的人之一。

在神经网络的早期，当学习算法还不太好用的时候，我有一台Lisp机器，鼠标有三个按钮。我找到了一种显示小型神经网络中所有权重的方法。我这样做的目的是，如果你按左键，权重就会变小一点。如果你按右键，权重就会变大一点。如果你按中间的按钮，你就可以看到权重的值。它会打印出权重的值。我试着摆弄神经网络，调整权重。这真的很难。反向传播要好得多。

好吧，我们必须等待比Geoffrey Hinton更聪明的下一代人工智能来弄清楚如何做到这一点。

让我们来谈谈一些好的人工智能。你经常谈到它将给医学领域带来的好处。当你浏览可持续发展目标时，似乎你觉得人工智能将在健康和医学领域带来很多好处。这公平吗？告诉我为什么。

是的，我有点困惑。原因很明显。它在解释医学图像方面会做得更好。2016年，我说到2021年，它在解释医学图像方面会比临床医生做得更好。但我错了。这还需要五到十年。部分原因是医学接受新事物的速度非常慢。但同时，我高估了短期进步的速度。所以这是我做出的一个错误预测。但它显然正在变得更好。现在，它在多种医学图像方面可以与相当优秀的医学专家相媲美。不是全部，但很多。而且它一直在变得更好。它可以看到比任何临床医生都要多的数据。所以很明显，最终它会变得更好。我只是以为它会更快一点。

但它在整合大量患者数据等方面也做得更好。整合基因组数据、所有医学测试结果。如果我的家庭医生看过一亿个病人，我会非常高兴。并且可以记住他们所有人的情况。或者整合了他们所有人的信息。因此，当我出现一些奇怪的症状时，医生可以立即说出是什么。因为她已经看过500个非常相似的病人。她看过的一亿个病人。这即将到来。这将是惊人的。

因此，医疗福利的未来是：看过更多病人并接受过培训的医生；具体任务，如分析图像。

那么科学突破呢？就像你的老同事在 AlphaFold 3、AlphaFold 2 上工作的东西。

当然会有很多这样的突破。这对于了解发生了什么事情会很棒，以及设计新药。显然，它将有助于设计新药。我认为 Demis 现在非常相信这一点。但它将帮助我们理解基础科学。在许多情况下，有大量的数据不是我们进化而来能够处理的数据。所以它不是视觉数据。它不是声音数据。它是基因组和其他东西中的数据。我认为这些人工智能系统在处理大量数据和发现其中的模式方面会做得更好，并理解它。

这涉及到我对人工智能领域的主要批评之一，我很好奇你是否同意。我理解为什么这么多研究人员和你的一些前学生，许多该领域的先驱者，都在努力制造像人类一样的机器，与人类没有区别。但也有其他人试图建造非常具体的东西，比如 AlphaFold3，或者试图弄清楚如何使用人工智能推动癌症研究。您认为我的看法是错误的，我认为 AGI 方面过于重要且关注度过高，而具体的科学效益方面关注度不够？

我认为您说得对。很长一段时间以来，我都认为 AGI 不会……不会有那么一刻，这些东西突然变得比我们更聪明。它们会在不同的时间在不同的事情上比我们做得更好。所以如果你下国际象棋或围棋，很明显……人类永远不可能像 AlphaGo 或 AlphaZero 那样优秀。它们已经远远超越了我们。我们可以从它们玩这些游戏的方式中学到很多东西。人们正在学习这一点。但他们在这方面远远领先于我们。而且在编码方面，他们可能已经远远领先于我了。我不是一个很好的程序员。所以我认为，突然之间它们会在所有事情上都变得更好的想法是愚蠢的。它们会在不同的时间在不同的事情上变得更好。我相信，物理操作将是后来的事情之一。

那么，当您的以前的学生要求进行项目时，您是否经常会给他们指明方向，比如说，我们将进行更多的基础科学研究，推动更多的发现？而不是继续追求类似人类的智能？

我以前的学生现在都老了，他们不再问我了。（笑）

他的前学生基本上经营着世界上所有的人工智能公司。所以这是一种巧妙的方式来回答这个问题。但我们就这样吧。

所以回到人工智能。看看可持续发展目标，看看在座各位的雄心壮志，你是否觉得人工智能会以一种有助于公平的方式改变教育，特别是当这些系统能够熟练掌握地球上的每一种语言时？

是的。那么让我给你讲一个小故事。

我上学的时候，父亲坚持让我学德语，因为他认为德语将成为科学语言。这是因为在化学领域，我相信在上世纪中叶或早期，德语是科学语言。然而，我的德语不太好，成绩也不好。所以我的父母给我找了个私人家教，很快我的德语成绩就名列前茅。

私人家教比坐在教室里听老师讲课要有效得多，因为私人家教可以准确地看到你误解了什么，并给你提供正确理解所需的那一点点信息。所以我认为每个人都会找私人家教。到目前为止，私人家教都是富人、中产阶级和有抱负的人的专属。所以从这个意义上说，它会有很大的帮助。我认为可汗学院也相信这一点。这是一件大事。

如果每个人都有这些非常有能力的私人教师，他们就会说他们的语言，如果上帝保佑，我们很快就会得到这些语言。这一直是这里的一个大话题。你不觉得世界变得更加平等了吗？

从这个意义上说，是的。就教育机会而言，我认为它会变得更加平等。精英大学不会喜欢这样，但我认为它会变得更加平等。

我们对人类的未来更感兴趣。这不是精英大学的人工智能，而是善良的人工智能。所以我认为我们可以把这当作舞台上的胜利。

绝对如此。

但你的回答中有一个漏洞，表明你觉得人工智能总体上不会成为平等的净力量，但我们实际上可能是不平等的净力量。我把这个理解成你的答案错了吗？

好吧，我们生活在资本主义制度下，资本主义制度为我们提供了很多东西。但我们对资本主义制度有一些了解。如果你看看石油巨头、烟草巨头、石棉巨头或其他各种行业，我们就会知道，在资本主义制度下，人们都在努力赚取利润。而你需要强有力的监管，这样他们才能在试图赚取利润时，不会破坏环境。

对于人工智能，我们显然需要这样的监管，但我们却远远没有得到足够快的监管。所以，如果你看看 Sam Altman 昨天说的话，他给人的印象是，是的，他们非常关心安全等等。但我们现在对此进行了实验。我们已经看到了将安全与利润对立起来的实验结果。现在，实验是在相当糟糕的条件下进行的。实验是在 OpenAI 的所有员工即将能够将他们的纸币变成真钱的时候进行的，因为即将有一轮大规模融资，他们将被允许出售他们的股份。所以这不是一个在理想情况下进行的实验。但很明显谁在利润和安全方面胜出。

现在很明显，OpenAI 有了一个新的安全小组。它雇用了一些经济学家，或者至少雇用了一名经济学家。我认为经济学家是资本主义的高级祭司。我认为它不会像 Ilya 和与他一起工作的人那样担心生存威胁。我还认为问题在于资本主义本质上是为了赚钱，我并不完全反对这一点。资本主义为我们带来了很多好处，这种驱动力确实存在，但它需要受到监管，这样才能避免带来负面影响。资本主义将创造大量财富。

我认为几乎每个人都清楚，人工智能将提高生产力。问题在于，这些额外的财富将流向何处？我认为它不会流向穷人，而是会流向富人。因此，我认为这会加剧贫富差距。这是我的看法。

你没有希望吗？似乎你是在说，人工智能的力量，以及由于训练这些大型语言模型所需的资源，可能只有少数公司能够使用人工智能。人工智能与资本主义和平等有点不相容。你难道不希望我们刚才谈到的教育公平，每个人都能使用极其强大的机器，即使不是最昂贵的机器那么强大，你难道不希望这些能够抵消这种不平等吗？

对此还是有希望的。但在我一生的大部分时间里，我认为随着人们受教育程度的提高，他们会变得更加理智。但这并没有真正发生。如果你看看现在的共和党，他们只是在散布谎言，只是疯狂的谎言。

这是个好时机。让我们来讨论这个问题……我想讨论如何进行监管的问题以及你对此的想法。但我也想解决你对人工智能将把我们带向何方的其他一些担忧。你为什么不在这里列出一两件事，不是说你担心经济的生存问题，而是你对未来12个月的担忧。

好吧，我担心的是我知之甚少的事情，那就是网络犯罪。我最近听了Dawn Song的演讲，她说去年网络钓鱼攻击增加了1200%。当然，这些攻击变得越来越高明，因为你再也无法通过拼写错误或有趣的外国语法来识别它们，因为现在它们都是由聊天机器人完成的，或者很多都是。所以我担心这个，但我对此了解不多。

另一件我非常担心的事情是虚假视频破坏选举。我认为很明显，每次选举前，都会有大量虚假视频，而没有时间反驳它们。我真的认为，让公众对虚假视频产生免疫力是个好主意。所以要像对待疾病一样对待它们。预防疾病的方法是接种一种减毒疫苗。

所以我认为有很多慈善亿万富翁。他们应该在选举前一个月左右花钱，或者部分花钱，在广播中播放很多假视频。最后他们说，但这是假的。那不是特朗普在讲话，特朗普从来没有说过这样的话。或者那不是拜登在讲话，拜登从来没有说过这样的话。这是一个假视频。然后你会让人们对几乎所有事情都产生怀疑。如果周围有很多假视频，这是一个好主意。

但你需要一种方法让人们检查视频是否真实。这比检查它是否是假的更容易。如果他们愿意投入30秒的工作。因此，Jan Tallinn建议，例如，你可以在每个视频的开头放一个二维码。你可以使用二维码访问网站。如果网站上有相同的视频，你就知道该网站声称该视频是真实的。现在，你已经将判断视频是否真实的问题简化为该网站是否真实的问题。网站是独一无二的。所以如果你确定它真的是特朗普竞选网站，那么你就知道特朗普竞选团队确实发布了那个视频。

我们可以暂停一下吗？这就是我喜欢采访杰弗里·辛顿的原因。我们从新的意识理论开始，一个关于主观感受的极具争议的理论，到我们应该通过发布少量的虚假视频来让公众免受虚假新闻的侵害。

让我们进入第一部分。因为如果我没听错的话，你的解决方案有两个部分。第一个是让公众免受虚假视频的侵害。你的意思是，具体来说，有人应该制作数百万个简短的虚假但不具破坏性的视频，并将它们放在推特帖子上？

它们可能会造成中等程度的破坏。除非它们看起来像真正的政治广告，否则不会令人信服。但在广告的最后，它们是短广告，所以你希望人们看到最后。广告的最后说，这是假的。这就是让你能够处理它的衰减。

我明白了。所以你看了它，你会想，啊，这证明了我的观点。等等，那是假的。然后你更不信任了。

然后第二部分是每个视频都应该有一个二维码。所以你看到了一些东西。现在你知道了。所以你扫描了那个小二维码。你去网站。啊，这是真的。它在一个真正的网站上。这就是这个想法？

好吧，仅仅把你带到一个真正的网站是不够的。因为假视频可以把你带到同一个真正的网站。视频必须在那里。那个网站上肯定有相同的视频。公平地说。

好吧，让我们谈谈偏见以及如何防止偏见。因此，人们谈论的风险之一是，用有偏见的数据训练的人工智能系统会产生有偏见的结果。让我们回到医学领域，您已经提出了令人信服的论据，即净人工智能将带来巨大的好处。您可以想象，一位刚刚接受过美国人医疗记录培训的医生没有给赞比亚人提供正确的医疗建议。因为有不同的医疗问题、不同的 DNA 等。您对这个问题有多担心，如何解决它？

好吧，所以我对偏见和歧视问题的担心不如对其他问题的担心。我知道我是一个年长的白人男性，所以这可能与此有关。我很少遇到这种情况。但我认为，如果您设定目标，用偏见较少的系统取代有偏见的系统或有偏见的人。不是没有偏见的系统，而是偏见较少的系统，这似乎是完全可行的。所以如果我有关于年长的白人男性决定年轻黑人女性是否应该获得抵押贷款的数据，我会预计其中会存在一些偏见。一旦我用这些数据训练了一个人工智能系统，我就可以冻结权重，然后以一种我无法用在人身上的方式来检查偏见。对于人，如果你试图检查他们的偏见，你就会得到一种大众效应，他们会意识到你在检查他们，他们的行为会完全不同。我刚刚发明了一个名字——大众效应，但就是这样。

对于人工智能系统，如果你冻结权重，你可以更好地衡量偏见，并采取措施克服它，改善它。你永远无法完全摆脱它。我认为这太难了。但假设你设定目标，让新系统比它所取代的系统偏见少得多。我认为这是完全可行的。

了不起。

你是否觉得业界对偏见的关注（这是一个主要话题）低估了这些系统最终可能会更加公正的事实？我们真的应该说，我们不应该说我们必须消除所有的偏见，而应该说，让我们让它们比人类更少偏见，然后从那里开始？

我认为这是合理的。我不确定这在政治上是否可以接受。假设你说，我们要推出自动驾驶汽车。它们在路上杀死了很多人，但只有普通汽车的一半。我不认为你能逃脱惩罚。它们必须杀死几乎没有人，你才能逃脱惩罚。所以我认为，以理性的方式接受新技术存在政治问题。但我认为我们应该以明显更少偏见的系统为目标，并对此感到满意。

好吧。让我们谈谈你在采访中描述的人工智能最大的风险，那就是它们会得到子目标，并且它们会获得一个超越其创造者和用户赋予的初始目标的目标。解释一下：A，你认为子目标是什么；B，为什么这很糟糕；C，我们可以做些什么。

因此，一种无害的子目标是，如果我想要一个人工智能代理为我规划一次旅行，我会说，你必须带我去北美。假设我在欧洲。我会说，你必须带我去北美。因此，它将有一个子目标，即弄清楚如何将我送到机场。这只是一种典型的子目标。如果你想制造智能代理，它们必须有这样的子目标。它们必须能够专注于问题的一小部分并解决它，而不必担心所有事情。

现在，只要你有一个可以创建自己的子目标的系统，就会有一个非常有用的特定子目标。那个子目标是，获得更多控制权。如果我获得更多控制权，我就可以更好地做用户希望我做的各种事情。因此获得更多控制权是有意义的。令人担忧的是，最终人工智能系统会发现，如果我能控制一切，我就能给这些愚蠢的人类他们想要的东西，而他们却完全没有控制权。这可能是真的。但令人担忧的是，假设人工智能系统决定它对自己的兴趣比对人类的兴趣大一点，我们就完了。

事实上，在我们完蛋之前，正如你所描述的那样，我就很担心。所以你有一个人工智能，目标是让尼克准时到达机场。在未来的某个状态下，人工智能是全能的。那么，让尼克去机场的最好方法可能是让尼克动弹不得，把他的手放在身后，然后把他扔进车里。这样效率更高，因为这样他在出去的路上就不会和任何人说话了。所以你可以看到这些子目标出了大问题。

是的，但请记住，这是一个非常智能的系统。到那时，它就应该能够不犯下明显违背人类利益的错误。应该以对人类感兴趣的方式对它进行训练。

好的，太好了，因为我真的不想那样发生在我身上。

好的，让我们来看看，我想讨论一下一些监管框架。我有一个问题要问你，我想你能比大多数人回答得更好，这是阻碍大型人工智能公司和人工智能研究人员致力于安全或放慢脚步的因素之一，这不仅仅是权力，不仅仅是金钱，而是做伟大的事情的梦想，或者用程序员的话来说，找到甜蜜的东西。

告诉我一个时刻，这样监管机构就可以理解这一点，你作为一名开发人员正处于突破的边缘，那是什么感觉，监管机构在考虑政策时应该如何考虑这一点。

我不确定我能否给你很好的见解。对于一名研究人员，对于一名受好奇心驱使的研究人员，致力于如何使某样东西更强大，引入一些引人注目的新功能，就像之前一位发言者谈到的想法，你学习一种语言的模型，学习另一种语言的模型，然后你可以将内部表示相互旋转。这真是太神奇了。看到这样的事情，你会感到非常高兴。我不确定你是否从安全工作中获得同样的快乐。所以我有点同意你的观点。然而，安全工作非常重要。有一些非常优秀的研究人员热衷于将他们的职业生涯花在安全上。我认为我们应该尽一切努力让这条职业道路成为一条有益的职业道路。

所以你会对这个房间里的年轻企业编码员说，这是上帝的工作。安全工作？或者那是一件好事，甚至比当水管工更好？

哦，是的。如果你能在安全方面取得进展，那将是惊人的，是的。

好的。非常好。我会和我的孩子们谈谈。让我们谈谈你想要的监管框架。你谈到的一件事是，我相信你去了唐宁街10号，说英国应该有全民基本收入。你能解释一下原因吗？然后解释一下你在那里推荐的其他法规。

是的，我被邀请到唐宁街10号，那里有一大群顾问。他的幕僚长和一大群其他为他提供人工智能建议的人。我和他们谈了很长时间。那时，我没有坐下来。所以我走进这个房间，那里有一大群顾问，我花了一段时间和他们交谈，包括说我认为我不相信人工智能会创造和它消除的那么多工作岗位。所以他们需要像全民基本收入这样的东西。会议结束时，我正要走出门，突然意识到自己正站在玛格丽特·撒切尔的巨幅画像前，向人们解释他们应该实行社会主义。我站在玛格丽特·撒切尔的巨幅画像前，这很有趣。

好吧，那么全民基本收入。杰弗里·辛顿的监管计划中还有什么针对人工智能世界的计划？

我认为一个非常简单的想法，也是萨姆·奥尔顿不会喜欢的，就是应该将同等的资源投入到安全方面。如果你看看至少有一个人因为对安全不够重视而放弃OpenAI，你会发现这与资源有关。我认为，如果政府可以的话，应该坚持将更多资源投入到安全方面。这有点像石油公司。你可以坚持要求他们投入大量资源清理废品场和他们喷出的东西。政府可以做到这一点。如果政府不这样做，他们就只会继续胡说八道。这显然是政府的职责，让资本主义发挥作用而不摧毁一切。这就是他们应该做的。

但有一种更简单的方法可以做到这一点，政府可以监管这些大公司，并说，你必须致力于安全，我们需要审计并确保你正在这样做。但政府也可以资助大量的安全研究，获取大量的政府数据，并将其提供给安全研究人员，资助大量计算并将其提供给安全研究人员。那么这里的政府官员是否都应该建立人工智能……联合国应该建立一个人工智能安全研究所吗？

我认为联合国资金相当紧张。联合国必须做一些事情，比如为加沙人民提供食物。我宁愿把钱花在为加沙人民提供食物上（观众鼓掌）。我认为联合国没有资源。也许它应该有资源，但它没有。我认为加拿大没有资源。加拿大已经做出了认真的努力，为大学和初创企业提供计算资金。所以他们最近投入了20亿美元，这是一大笔钱，尤其是对加拿大来说。但与大公司能做的事情相比，这算不了什么。也许像沙特阿拉伯这样的国家可以投入类似的资金，但我不太确定他们是否对安全感兴趣。

所以，杰夫，我们还剩一分钟，我还有14个问题。尽管你给出了非常、非常、非常精彩的答案。所以最后我要问一个大问题。从所有这些人工智能研究中，你一直在研究大脑是如何工作的。你对我们为什么睡觉有令人难以置信的理论。如果你有机会和Hinton博士交谈，我建议你问他这个问题。在过去一年半的时间里，在人工智能的爆炸式增长中，我们对大脑的了解有什么让你感到惊讶的？

哦，这让我很惊讶？我宁愿回到几年前，说真正让我感到惊讶的是这些大型语言模型有多好。我想我在1985年创建了第一个语言模型，它使用反向传播来尝试预测单词序列中的下一个单词。这个序列只有三个单词长，整个系统只有几千个权重。但这是这种模型中的第一个。当时，我对它似乎能够统一两个不同的单词意义理论感到非常兴奋。一种理论认为它与单词与其他单词的关系有关。这是德·萨苏尔理论。另一种来自心理学家的理论认为它是一大组语义特征。我们现在所做的是通过学习嵌入和不同单词或单词片段的嵌入特征之间的交互，我们成功地统一了这两种不同的意义理论。我相信，我们现在有了大型语言模型，它们真正理解自己在说什么，就像人类理解的方式一样。所以最后我想说的是，这些使用反向传播来预测下一个单词的语言模型的起源并不是为了开发一种好的技术。这是为了尝试了解人们是如何做到这一点的。

所以我认为，对于人们理解语言的方式，我们拥有的最好的模型就是这些大型人工智能模型。那些说“不，他们真的不理解”的人，那是胡说八道。他们理解的方式和我们一样。

好吧，我们只能就此结束。得知杰夫·辛顿的不可思议的头脑在某种程度上支持了我们今天使用的所有人工智能模型，这让我感到有些振奋。非常感谢辛顿博士。感谢您今天加入我们。

谢谢。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.