Anthropic 的 CEO Dario Amodei发表了一篇名为《 机器爱的恩宠 》的文章，讨论了强大人工智能（AI）对人类社会的潜在影响。
他不仅描绘了一个充满希望的未来，还提出了具体的AI技术如何能够改变这些领域的预测。
Amodei 预测： AI可能会在未来5到10年内实现50到100年的医学进步。
这意味着可能出现以下成果：
- 疾病预防与治疗的重大突破 ： 几乎所有自然传染性疾病将得到有效的预防和治疗 。mRNA疫苗技术的进步将有 可能创造出“万能疫苗” 。
- 癌症的消除 ： 癌症死亡率预计将下降95%以上 ，个性化基因治疗和靶向治疗技术的发展将使癌症治疗更加精准和高效。
- 遗传病的治愈 ：通过改进后的CRISPR技术和胚胎筛选，遗传性疾病将得到大规模预防和治疗。
- 寿命延长 ： 人类寿命有望翻倍，达到150岁 。AI有可能通过开发抗衰老药物和疗法，使人类健康寿命显著延长。
- 神经科学与心理健康 ：AI可以帮助科学家更好地理解大脑的工作机制，从而开发出新的治疗方法， 治愈如抑郁症、精神分裂症等精神疾病 。
- 重新定义工作与生活的意义 ：AI可以自动化大部分重复性劳动，从而让人类专注于更有创造性和价值的工作。
- 经济增长的推动 ：AI也有潜力推动全球经济增长，尤其是 帮助低收入国家实现快速的经济追赶 。
Dario认为，许多人低估了AI的正面潜力，同时也低估了AI可能带来的风险。他的观点是，虽然AI的风险需要谨慎对待，但如果我们能够有效地解决这些风险，AI将为人类带来巨大的进步。这篇文章提供了对未来的猜想，试图让人们更清楚地看到AI可能带来的积极变革。
以下是全文翻译
机器的爱之恩典 AI如何让世界变得更美好
我经常思考并讨论强大AI的风险。我领导的公司Anthropic开展了大量的研究，旨在减少这些风险。因此，有时人们得出结论，认为我是个悲观主义者或“末日论者”，觉得AI大部分情况下是危险或不好的。我并不这么认为。实际上，我之所以关注风险，是因为我认为它们是阻碍我们走向一个根本上积极未来的唯一障碍。我认为大多数人低估了AI带来的积极影响，就像我认为大多数人低估了AI可能带来的巨大风险一样。
在这篇文章中，我将尝试勾勒出这种积极影响的可能样貌——如果一切顺利的话，强大AI将如何改变世界。当然，没有人能够确定地预测未来，强大AI的影响可能比过去的技术变化更加难以预测，所以这一切不可避免地都充满了猜测。但我努力使这些猜测至少是经过深思熟虑且有益的，即使大多数细节可能是错误的。我包括了很多细节，主要是因为我认为具体的愿景比高度保留和抽象的愿景更能推动讨论。
不过首先，我想简要解释一下为什么我和Anthropic没有太多讨论强大AI的好处，为什么我们可能会继续更多地讨论风险。特别是，我做出这种选择是基于以下几点：
尽管以上所有问题存在，我真的认为讨论强大AI可能带来的美好世界非常重要，同时我们应尽力避免上述陷阱。实际上，我认为拥有一个真正鼓舞人心的未来愿景至关重要，而不仅仅是灭火计划。强大AI的许多影响是对抗性的或危险的，但最终必须有一个我们为之奋斗的目标——一个正和的结果，让每个人都能变得更好——一个让人们超越彼此的分歧，共同应对未来挑战的愿景。恐惧是一种动力，但它还不够：我们还需要希望。
AI的积极应用领域非常广泛（包括机器人技术、制造、能源等），但我将重点放在几个我认为最有可能直接改善人类生活质量的领域。这五个类别是：
我的预测可能被大多数标准视为激进（与科幻“奇点”愿景[^2] 相比除外），但我是真诚地在进行这些预测。所有我说的内容都可能是错误的（如前文所述），但我至少尝试将我的观点建立在对各领域进展速度的半分析性评估上，并试图理解这些进展可能在实践中意味着什么。幸运的是，我在生物学和神经科学领域有专业经验，我在经济发展领域则是一名知识丰富的业余爱好者，但我确信自己会在许多方面出错。
撰写本文让我意识到，召集一组领域专家（在生物学、经济学、国际关系等领域）来撰写一份比我所做的更好、更专业的版本将会非常有价值。最好将我在这里的努力视为为该小组提供的一个起点。
基本假设和框架
为了使整篇文章更加具体并更具依据，清楚地阐明我们所说的强大AI的定义（即5到10年倒计时开始的临界点），并且明确这种AI一旦出现时其影响的框架是有帮助的。
什么是强大AI （我不喜欢“AGI”这个术语[^3]），以及它何时（如果会的话）出现，本身就是一个巨大的讨论话题。我已经在公开场合讨论过这个问题，未来可能还会写一篇单独的文章来深入探讨。当然，许多人对强大AI即将建成持怀疑态度，有些人甚至怀疑它是否会被建成。我认为它可能最早在2026年出现，尽管也有可能需要更长时间。但是为了本文的目的，我希望暂时搁置这些问题，假设它会很快到来，并且重点关注它到来后5至10年内会发生什么。我还希望在这篇文章中假设关于这种系统的定义、它的能力以及它如何互动的基本概念，尽管在这些问题上仍然存在分歧。
按照我对强大AI的定义，我所想象的AI模型可能与今天的大型语言模型（LLM）在形式上相似，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且训练方式也可能不同。具有以下几个特征：
我们可以将这一切总结为 “数据中心中的天才国度”。
显然，这样一个实体能够解决非常困难的问题，而且速度极快，但弄清楚它的速度究竟有多快并不容易。两种极端观点在我看来都是错误的。首先，你可能会认为世界会在几秒或几天的时间里瞬间转变（所谓的“奇点”），因为更高的智能将自我加速，并几乎立即解决所有可能的科学、工程和操作任务。这个问题在于，存在真实的物理和实践限制，例如制造硬件或进行生物实验的实际速度。即使一个新的天才国度也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘。
另一方面，你可能认为技术进步已经饱和，或者受限于现实世界的数据或社会因素，并且比人类更智能的AI几乎不会带来太大变化。这在我看来同样不可信——我能想到数百个科学甚至社会问题，如果有一大群非常聪明的人从事这些问题的研究，进展将显著加快，尤其是如果他们不仅限于分析，还能在现实世界中实际推动进展（正如我们设想的天才国度可以做到的那样，包括指导或帮助人类团队）。
我认为，真相可能是这两种极端图景的某种混合体，并且其效果会因任务和领域的不同而异，并在细节上极为微妙。我相信，我们需要新的框架来以一种富有成效的方式思考这些细节。
经济学家经常谈论“生产要素”：如劳动力、土地和资本。“劳动/土地/资本的边际回报”这个短语描述了在给定的情况下，某种要素可能是限制因素——例如，一个空军既需要飞机也需要飞行员，如果你没有足够的飞机，雇佣更多的飞行员也无济于事。我相信在AI时代，我们应该讨论 智能的边际回报 ，并尝试弄清楚还有哪些因素与智能互补，并且当智能非常高时会成为限制因素。我们不习惯以这种方式思考——即询问“在这项任务中，变得更聪明有多大帮助，且在什么时间框架内？”——但这似乎是理解一个拥有非常强大AI的世界的正确方式。
根据我对这些问题的猜测，限制或与智能互补的因素包括：
此外，还存在基于时间尺度的区别。在短期内是困难的限制因素，随着时间推移，智能可能使这些因素变得更加灵活。例如，智能可以用来开发新的实验范式，使我们能够通过体外实验来学习以前需要在活体动物身上进行的实验，或者建造所需工具来收集新数据（例如更大的粒子加速器），或（在道德限制范围内）找到绕过人类限制的方法（例如，帮助改进临床试验系统，帮助创建新的管辖区，在这些管辖区内临床试验的官僚程序较少，或者改进科学本身，使人体临床试验不再那么必要或昂贵）。
因此，我们应该想象这样一种图景：最初智能在其他生产要素的限制下严重受阻，但随着时间推移，智能逐渐绕过这些限制，尽管它们永远不会完全消失（某些物理法则是绝对的）。关键问题是这些过程发生的速度以及顺序如何。
生物学与健康
生物学与健康领域的巨大潜力
生物学可能是科学进步对人类生活质量产生最直接和明确影响的领域。在过去的一个世纪里，人类终于战胜了一些古老的疾病（如天花），但许多其他疾病依然存在，战胜这些疾病将是一项巨大的成就。更进一步，生物科学原则上可以提高人类的健康基础质量，延长健康寿命，增加对我们自身生物过程的自由掌控，并解决一些我们目前认为是人类生存状态中不可避免的挑战。
在前面提到的“限制因素”框架中，将AI应用于生物学的主要挑战包括数据、物理世界的速度和固有的复杂性（实际上，这三者是相互关联的）。人类的限制因素也在后期阶段发挥作用，尤其是涉及临床试验时。让我们逐一分析这些因素。
物理世界的速度 ：细胞、动物甚至化学过程的实验都受到物理世界的速度限制。许多生物学实验涉及细菌或其他细胞的培养，或者等待化学反应发生，这有时需要数天甚至数周，没有明显的方式加速这一过程。动物实验可能需要数月，而人体实验通常需要数年（甚至几十年，尤其是长期结果研究）。有时也与此相关，数据往往不足——不仅是数量上的不足，更是质量上的不足：总是缺乏明确、无歧义的数据来隔离我们关心的生物效应，或在某一过程上进行因果干预，或者直接测量某些效应（而不是以某种间接或噪音较大的方式推断其后果）。
数据复杂性 ：即使我们拥有大量分子数据，例如我在进行质谱技术工作时收集的蛋白质组数据，这些数据往往也非常嘈杂，而且遗漏了很多信息（例如，这些蛋白质存在于哪些细胞类型？它们位于细胞的哪个部位？处于细胞周期的哪个阶段？）。
固有复杂性 ：如果你曾经见过人体代谢的生物化学图，你就会知道要隔离这个复杂系统中的任何部分的效应是非常困难的，而要精确干预该系统则更加困难。最后，超越了在人体实验上运行实验所需的时间，实际的临床试验还涉及大量的官僚主义和监管要求，许多人（包括我在内）认为这些要求是额外的负担，导致进展延迟。
鉴于此，许多生物学家对AI以及“生物大数据”的价值一直持怀疑态度。历史上，数学家、计算机科学家和物理学家在过去30年中将他们的技能应用于生物学，取得了相当的成功，但并没有带来最初预期的真正颠覆性影响。像AlphaFold这样的重大突破（它的创始人刚刚赢得了诺贝尔化学奖）以及AlphaProteo的成功，减少了这种怀疑，但人们仍然认为AI仅在有限的环境下有用。一种常见的说法是：“AI可以更好地分析数据，但它不能产生更多数据或提高数据质量。输入的是废品，输出的也是废品。”
但我认为，这种悲观观点是用错误的方式看待AI。如果我们关于AI进步的核心假设是正确的，那么看待AI的正确方式不是作为一种数据分析方法，而是一个虚拟生物学家，它可以执行生物学家所做的几乎所有任务，包括设计和运行现实世界中的实验（通过控制实验室机器人或简单地告诉人类该进行哪些实验——就像一个博士生导师对他的研究生那样），发明新的生物学方法或测量技术，等等。通过加速整个研究过程，AI可以真正加速生物学的进步。我想重申这一点，因为这是我谈论AI在生物学中的变革能力时最常见的误解：我不是在说AI只是数据分析工具。根据本文开头对强大AI的定义，我在说的是利用AI来执行、指导和改进生物学家所做的几乎一切。
更具体地说，我认为加速可能来自的领域是：生物学的进步中相当大的一部分实际上来自少数几项重大发现，这些发现往往与广泛的测量工具或技术有关[^12]，它们允许对生物系统进行精确但通用或可编程的干预。每年大约只有一项这样的重大发现，但这些发现大致推动了生物学50%以上的进步。它们之所以如此强大，正是因为它们能够穿透固有复杂性和数据限制，直接增加我们对生物过程的理解和控制。每隔十年左右出现的少数发现，既奠定了我们对生物学的基本科学理解，也推动了许多最强大的医疗治疗方法。
一些示例包括：
我费力列出这些技术的原因是，我想提出一个关键主张：如果有更多聪明的、创造性的研究人员，这些技术的发现速度可以增加10倍甚至更多。换句话说，我认为这些发现的 智力回报 很高，而生物学和医学中的其他大多数进展主要都是基于这些发现。
我为什么这么认为？因为在我们试图确定“智力回报”时，我们应该习惯于询问一些问题。首先，这些发现通常是由极少数研究人员取得的，通常是同一批人反复取得成功，表明技能比随机搜索更重要（后者可能表明冗长的实验是限制因素）。其次，这些发现往往可以“提前”数年完成：例如，CRISPR本质上是细菌免疫系统的组成部分，自80年代以来就为人所知，但又过了25年，才有人意识到它可以被重新用于基因编辑。此外，它们通常因缺乏科学界的支持而被延迟多年（见这篇关于mRNA疫苗发明者的报道，类似的故事不胜枚举）。第三，成功的项目往往是草根性的，或者最初并不被认为是有前途的副产品，而不是大规模资助的努力。这表明不仅仅是大规模的资源集中推动了发现，更多的是 智慧和创造力 。
最后，尽管一些发现具有“连锁依赖性”（你需要先做出发现A，才能有工具或知识来做出发现B）——这再次可能造成实验延迟——但很多，甚至可能大多数发现是独立的，这意味着可以并行进行多个工作。这些事实，再加上我作为生物学家的总体经验，强烈表明，如果科学家们更聪明，并且更善于将人类掌握的大量生物学知识联系起来，可能有数百个这样的发现等着被发现（再次参照CRISPR的例子）。AlphaFold和AlphaProteo在解决人类几十年来精心设计的物理建模问题方面的成功（尽管是在狭窄领域内的狭窄工具），证明了原理，这应该为未来的发展指明方向。
因此，我的猜测是，强大的AI至少可以将这些发现的速度提高10倍，使我们在未来5到10年内取得相当于50到100年的生物学进展[^14]。为什么不可能提高100倍？也许有可能，但在这里 连锁依赖性 和实验时间变得重要：在一年内取得100年的进展需要很多事情首次正确，包括动物实验，以及设计显微镜或昂贵的实验室设备。我实际上对这个（或许听起来荒谬的）想法持开放态度，即我们可以在5到10年内取得相当于1000年的进展，但我对在一年内取得100年的进展持高度怀疑。另一种表达方式是，我认为存在一个不可避免的常量延迟：实验和硬件设计有一定的“潜伏期”，需要一定的迭代次数才能学习那些不能通过逻辑推导出来的东西。但在此基础上，可能存在大规模的并行性[^15]。
那么临床试验呢？虽然临床试验确实涉及大量的官僚主义和拖延，但事实是，它们的大多数（虽然不是全部）慢速最终归因于必须严格评估那些效果微弱或效果模糊的药物。遗憾的是，大多数疗法今天的情况正是如此：平均癌症药物可以使生存时间延长几个月，但同时伴有需要仔细测量的显著副作用（阿尔茨海默症药物也有类似的故事）。这导致了庞大的研究（为了实现统计学上的显著性），并且难以做出折衷选择，监管机构通常不擅长做这些复杂决策，因为官僚主义以及利益冲突的复杂性。
当某种疗法效果显著时，审批速度会快得多 ：有一个加速批准通道，当疗法效果更明显时，审批的难度也会大大降低。COVID-19的mRNA疫苗在9个月内获批——比通常的速度快得多。尽管如此，即使在这些条件下，临床试验仍然太慢——有人认为，mRNA疫苗本应在大约两个月内获批。但这些延迟（例如药物从头到尾1年的开发时间）加上大规模的并行化，并不需要过多的迭代，而只需“一些尝试”，这些都是在5到10年内实现激变性变革的兼容因素。更乐观的是，AI辅助的生物科学可能会通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验的迭代需求，这些模型能够更准确地预测人体会发生的情况。对于开发抗衰老药物尤为重要，因为衰老是一个持续几十年的过程，我们需要一个更快的迭代循环。
最后，关于临床试验和社会障碍，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着异常强大的记录，这与某些其他技术形成了鲜明对比[^16]。如前所述，许多技术虽然在技术上表现良好，但由于社会因素的限制未能得到有效应用。这可能会让人对AI的潜力持悲观态度。但生物医学领域的独特之处在于，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署并使用。
总结以上内容，我的基本预测是，AI辅助的生物学和医学将使我们在5到10年内取得相当于人类生物学家在未来50到100年内本应取得的进展。我将这一过程称为“压缩的21世纪”：强大AI问世后，几年的时间内，我们将在生物学和医学领域取得相当于整个21世纪的进展。
虽然预测强大的AI能在几年内完成什么仍然是非常困难和充满猜测的，但询问“如果人类在接下来的100年内不借助AI能做什么？”却有一些具体的参考依据。简单地回顾20世纪我们取得的成就，或从21世纪头20年的进展进行外推，或者问自己“10个CRISPR和50个CAR-T会带来什么？”都可以为我们提供一些实际且有依据的方式来估算强大AI可能带来的进展。
以下是我尝试列出的一些可能实现的预期。这并不是基于任何严格的科学方法，而且很可能在细节上会出错，但它传达了我们应该对AI进步抱有的那种 激进程度 ：
我们应该回顾一下这份清单，并思考如果所有这些目标在接下来的7到12年内（与积极的AI时间表一致）实现，世界将会变得多么不同。这毫无疑问将是一场难以想象的人道主义胜利，一次性消除大多数困扰人类几千年的灾难。我的许多朋友和同事正在养育子女，我希望当这些孩子长大后，任何提及疾病的事物对他们而言都像坏血病、天花或黑死病之于我们一样遥远。那一代人还将从增加的生物自由和自我表达中受益，并且如果幸运的话，可能还能够活到他们愿意的任何年龄。
这些变化对那些没有预料到强大AI的人们来说将是多么令人震惊，实在难以估量。比如，成千上万的经济学家和政策专家目前在美国争论如何保持社会保障和医疗保险的可持续性，更广泛来说，还讨论如何控制医疗成本（主要由70岁以上人群，尤其是癌症等终末期疾病患者消耗）。如果上述预测成真，那么这些计划的状况将发生根本性的变化，因为工作年龄人口与退休人口的比例将发生巨大改变。毫无疑问，这些挑战将被新的挑战所取代，例如如何确保新技术的广泛获取，但反思一下即使只有生物学领域的加速成功，也能让世界发生多大的变化是非常有意义的。
神经科学与心智
在前一节中，我重点讨论了身体疾病和生物学的一般领域，但我并没有涉及神经科学或心理健康。然而，神经科学是生物学的一个分支，心理健康与身体健康同样重要。实际上，如果非要区分，心理健康对人类幸福的直接影响甚至比身体健康还要大。成百上千万的人因成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍（PTSD）、精神病等问题而生活质量极低。还有数十亿人在日常生活中遭受各种问题的困扰，这些问题常常可以看作是这些严重临床疾病的轻微版本。与普通生物学一样，神经科学不仅可以解决这些问题，还可以提升人类体验的基准质量。
我在上一节中提出的基本框架同样适用于神经科学。这个领域的进展往往依赖于少量关键的测量或精确干预工具的发现——在前文中提到的那些技术中，光遗传学（Optogenetics）就是一种神经科学发现，最近的CLARITY和扩展显微技术（expansion microscopy）也是沿着相同方向的进步。此外，许多通用的细胞生物学方法可以直接应用于神经科学。我认为，AI将在神经科学领域加速这些技术的发现，因此“5-10年取得100年进展”的框架同样适用于神经科学，并且理由与生物学领域相同。正如生物学一样，20世纪的神经科学取得了巨大进展——例如，直到20世纪50年代我们才明白神经元是如何以及为何发放信号的。因此，预计AI加速的神经科学能够在几年内迅速取得进展是合理的。
我们还需要补充一个额外的方面：过去几年我们在AI领域学到的一些知识，甚至在神经科学仍由人类主导的情况下，也可能有助于神经科学的进步。 可解释性 （interpretability）是一个明显的例子：虽然生物神经元在表面上与人工神经元的运作方式完全不同（它们通过尖峰（spike）和尖峰频率（spike rate）进行通信，因此存在人工神经元中没有的时间元素，同时细胞生理和神经递质的诸多细节极大地改变了它们的运作），但“简单单元构成的分布式、训练过的网络如何协同工作以执行重要计算”这个基本问题是相同的，我强烈怀疑，在大多数关于计算和回路的有趣问题中，个体神经元通信的细节将被抽象掉。例如，AI系统中的可解释性研究人员发现的一种计算机制最近在小鼠大脑中也被重新发现。
在人工神经网络上做实验比在真实神经网络上容易得多（后者通常需要切割动物的大脑），因此 可解释性 可能成为改进我们对神经科学理解的工具。此外，强大的AI可能比人类更能开发和应用这个工具。
除了可解释性之外，关于如何训练智能系统，我们从AI中学到的知识应该（尽管我不确定它是否已经这样做了）引发神经科学的革命。当我从事神经科学工作时，很多人关注的都是我现在会认为是“错误”的学习问题，因为当时“规模假设”或“苦涩的教训”（the scaling hypothesis / bitter lesson）还不存在。简单的目标函数加上大量数据可以驱动复杂行为的事实，使得理解目标函数和结构性偏差比理解计算的细节更有趣。我近年来并没有密切跟踪这个领域，但我隐约感觉到计算神经科学家可能还没有完全吸收这一教训。对我来说，“规模假设”一直是“关于智能如何运作及其为何如此轻松进化的高层解释”，但我不认为这是神经科学家的普遍看法，部分原因是AI领域内对于规模假设作为“智能的秘密”的接受度还不够高。
我认为，神经科学家应该试图将这一基本见解与人类大脑的特殊性结合起来（生物物理限制、进化历史、拓扑结构、运动和感官输入输出的细节），以试图解决神经科学中的一些关键谜题。有些人可能已经在这样做了，但我怀疑还不够，我也相信AI神经科学家将能够更有效地利用这一角度来加速进展。
我预计AI将沿着四条不同的路线加速神经科学的进展，所有这些进展共同努力，能够治愈精神疾病并提高人类认知功能：
我猜测，这四条进展路线协同作用，和身体疾病一样，可能会在接下来的100年内治愈或预防大多数精神疾病，即便没有AI的帮助——因此，在AI的加速下，可能会在5到10年内完成这一目标。具体来说，我猜测可能会发生的情况如下：
在科幻作品中，AI常常与“意识上传”（mind uploading）相关联，即捕捉人类大脑的模式和动态，并将其转化为软件。我有意没有在此讨论这一话题，这个话题本身可以写一篇单独的文章。简而言之，我认为 上传意识 在原则上几乎肯定是可能的，但在实践中，即使是强大的AI，技术和社会上的挑战也很大，可能需要更长的时间来实现，因此不太可能在我们讨论的5到10年时间范围内实现。
总结来看，AI加速的神经科学很可能大幅改善精神疾病的治疗，甚至可能治愈大多数精神疾病，同时极大拓展人类的“认知与心理自由”，并提升认知和情感能力。这将与上一节中描述的身体健康改善一样激进。也许外部世界不会有明显变化，但人类对世界的体验将变得更美好、更具人性，同时也会提供更多自我实现的机会。我还怀疑，心理健康的改善将有助于缓解许多其他社会问题，包括一些看似政治或经济问题的现象。
经济发展与贫困
前两节讨论了开发新技术来治愈疾病并改善人类生活质量。然而，从人道主义的角度来看，一个显而易见的问题是：“每个人都能获得这些技术吗？”
开发出一种治疗方法是一回事，但将这种疾病从世界上根除又是另一回事。更广泛地说，许多现有的医疗干预措施还没有在全球范围内得到应用，实际上，许多（非健康类的）技术进步在世界范围内的普及也存在差距。换句话说，世界上许多地方的生活水平仍然非常贫困：撒哈拉以南非洲的人均GDP约为2000美元，而美国的人均GDP约为7.5万美元。如果AI进一步提高了发达国家的经济增长和生活质量，却未能对发展中国家产生类似的帮助，那么我们应该将其视为一个巨大的道德失败，并为之前两节所描述的人道主义胜利蒙上阴影。理想情况下，强大的AI不仅应当在发达国家掀起变革，还应当帮助发展中国家缩小与发达国家的差距。
我并不像确信AI能够发明基本技术那样确信它能够解决不平等和促进经济增长，因为技术具有明显的高智力回报（包括绕过复杂性和数据缺乏的能力），而经济则涉及许多来自人类的限制因素，以及大量固有的复杂性。我对AI是否能解决著名的“社会主义计算问题”[^23] 持怀疑态度，我也不认为政府会（或应该）将经济政策交给这样一个实体，即使它能做到。此外，还有如何说服人们接受有效但可能会被他们怀疑的治疗等问题。
发展中国家面临的挑战由于公共和私人领域的普遍腐败而变得更加复杂。腐败导致了恶性循环：它加剧了贫困，而贫困又滋生更多腐败。AI驱动的经济发展计划需要正视腐败、脆弱的制度和其他非常人性化的挑战。
尽管如此，我仍然看到一些乐观的理由。许多疾病已被根除，许多国家从贫困走向富裕，显然这些任务的决策展现了高智力回报（尽管受到人类限制和复杂性的影响）。因此，AI很可能能比人类做得更好。也可能有一些针对性干预措施，可以绕过人类的限制，并且AI能够专注于这些措施。更重要的是，我们必须努力。AI公司和发达国家的政策制定者都必须尽其所能，确保发展中国家不被落下；这是一个重大的道德责任。鉴于此，在这一节中，我将继续做出乐观的论述，但请记住，成功并不保证，取决于我们的集体努力。
下面我做一些猜测，描述我认为在强大的AI问世后5到10年内，发展中国家可能会发生的情况：
全球健康干预的分配
我最为乐观的领域之一是将健康干预措施分配到全球各地。历史上，疾病确实通过自上而下的运动得以根除：天花在20世纪70年代被彻底消灭，脊髓灰质炎和几内亚虫病几乎被根除，每年只有不到100例病例。复杂的流行病学模型在疾病根除运动中发挥了积极作用，而AI系统比人类做得更好似乎是很有可能的。物流分配问题也可以大大优化。我作为GiveWell的早期捐赠者学到的一点是，某些健康慈善组织的效果远远好于其他组织；希望AI加速的努力能做得更有效。此外，某些生物技术进步实际上使分配的物流更简单：例如，疟疾一直难以根除，因为每次感染该病都需要治疗；但一种只需接种一次的疫苗将使物流更简单（而此类疟疾疫苗目前正在开发中）。甚至更简单的分配机制也是可能的：原则上，一些疾病可以通过针对其动物宿主进行干预来根除。例如，释放携带某种细菌的蚊子，这种细菌阻止它们携带疾病（这些蚊子随后会感染其他蚊子），或者简单地使用基因驱动技术消灭蚊子。这只需要一两次集中行动，而不是必须对数百万人进行协调的运动。总的来说，我认为5到10年是一个合理的时间线，用来让一部分AI驱动的健康益处传播到全球最贫困的国家。一个不错的目标可能是在强大的AI问世5到10年后，发展中国家至少要比今天的发达国家更健康，尽管它可能仍然落后于发达国家。实现这一目标当然需要在全球健康、慈善事业、政治倡导和许多其他方面进行巨大的努力，AI开发者和政策制定者应该共同努力。
经济增长
发展中国家能否快速赶上发达国家，不仅仅是在健康领域，还包括经济上的全面发展？对此有一些先例：在20世纪的最后几十年，几个东亚经济体实现了持续10%的年均实际GDP增长率，使它们赶上了发达国家。这些成功是由人类经济规划者做出的决策推动的，他们不是通过直接控制整个经济，而是通过拉动一些关键的政策杠杆（例如以出口为导向的增长工业政策，抵制依赖自然资源财富的诱惑）；如果有AI财政部长和央行行长，有可能复制或超过这一10%的成就。一个重要问题是如何在尊重自决权的前提下，推动发展中国家政府接受它们——有些国家可能会热情拥抱它们，但其他国家可能会持怀疑态度。乐观的一面是，前文提到的许多健康干预措施可能会自然而然地推动经济增长：消灭艾滋病/疟疾/寄生虫病将对生产力产生变革性影响，更不用说某些神经科学干预措施（如改善情绪和专注力）将在发达国家和发展中国家同样产生的经济效益了。最后，非健康领域的AI加速技术（例如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等）可能会自然而然地渗透到全球各地。例如，即使没有慈善努力，手机也通过市场机制迅速在撒哈拉以南非洲普及。负面的一面是，尽管AI和自动化有许多潜在好处，但它们也给经济发展带来了挑战，尤其是对于尚未实现工业化的国家。在自动化日益普及的时代，确保这些国家能够继续发展和改善经济是经济学家和政策制定者需要解决的一个重要问题。总体而言，一个理想的场景——或许是一个值得追求的目标——是发展中国家实现20%的年GDP增长率，其中10%来自AI支持的经济决策，另外10%来自AI加速技术的自然传播，包括但不限于健康。如果实现了这一目标，这将使撒哈拉以南非洲在5到10年内达到中国当前的人均GDP水平，同时使其他发展中国家的人均GDP超过当前的美国水平。当然，这是一个理想场景，不是默认发生的事情：这是我们大家必须共同努力争取的。
粮食安全
20世纪通过更好的肥料和杀虫剂、更多的自动化和更高效的土地利用大幅提高了作物产量，拯救了数百万人免于饥饿。基因工程目前正在进一步改良许多作物。找到更多方式来改进作物技术以及提高农业供应链的效率，可以为我们带来一个AI驱动的 第二次绿色革命 ，帮助缩小发展中国家与发达国家的差距。
减缓气候变化
气候变化将在发展中国家感受得更为强烈，并且会阻碍其发展。我们可以预计，AI将促进技术进步，从而减缓或防止气候变化，包括大气碳移除、清洁能源技术以及减少对碳密集型工厂化农业依赖的实验室培育肉类。当然，正如前文所述，技术并不是阻碍气候变化进展的唯一因素——与所有讨论过的问题一样，人类的社会因素也很重要。但有充分的理由相信，AI增强的研究将为我们提供减缓气候变化所需的手段，使这一过程的成本和破坏性大大降低，从而消除许多反对意见，并使发展中国家得以实现更多经济进步。
国家内部的不平等
我主要讨论的是全球不平等现象（我确实认为这是不平等最重要的表现形式），但国家内部当然也存在不平等现象。随着先进健康干预措施的普及，尤其是预期寿命急剧延长或认知增强药物的使用，毫无疑问，人们会担心这些技术“只为富人服务”。然而，我对国内不平等问题，尤其是在发达国家，持更乐观态度，原因有二。首先，发达国家的市场运作更好，市场通常能够随着时间的推移降低高价值技术的成本[^25]。其次，发达国家的政治制度对公民的回应更灵敏，并且在执行全民接入计划上有更强的国家能力——我预计公民们会要求获得那些能够如此显著改善生活质量的技术。当然，不能预先假定这些需求会成功——在这里，我们也必须共同努力，确保一个公平的社会存在。在不平等的财富分配问题上（而不是不平等的获取救命和提升生活质量的技术），这个问题似乎更加棘手，我将在第5节中讨论这个问题。
选择退出的问题
在发达国家和发展中国家，人们选择放弃AI支持的技术（类似于反疫苗运动或更普遍的反科技运动）可能会导致人们担心产生一种不良反馈循环。例如，最难做出好决策的人选择放弃那些能够提升决策能力的技术，从而导致差距不断扩大，甚至产生一个反乌托邦式的下层阶级（一些研究人员认为这将削弱民主，我将在下一节进一步讨论这一话题）。如果AI的积极进步确实造成这种情况，这将再次给人道主义的胜利蒙上阴影。解决这一问题很难，因为我认为不可以强迫人们接受某些技术，但我们至少可以努力提高人们的科学理解——或许AI本身可以帮助我们做到这一点。一个值得期待的积极信号是，历史上的反技术运动通常是雷声大雨点小：虽然反对现代技术的声音很大，但大多数人最终还是会采用它，至少当涉及到个人选择时。个体往往采用大多数健康和消费技术，而真正受阻的技术，如核能，通常是集体的政治决策。
总体而言，我对迅速将AI的生物学进步带到发展中国家感到乐观。我对AI是否能推动前所未有的经济增长并使发展中国家至少超越发达国家目前的发展水平抱有希望，尽管没有十足的信心。我担心“选择退出”问题在发达国家和发展中国家都会出现，但我认为这一问题最终会消退，并且AI可以帮助加速这个过程。这个世界不会是一个完美的世界，落后的人可能在前几年内不会完全赶上发达国家。但如果我们做出足够努力，我们可以使事情朝着正确的方向发展——并且速度很快。如果我们这样做，我们将能够兑现给予每一个地球人的尊严和平等承诺的首付款。
和平与治理
假设前三节中的一切都进展顺利：疾病、贫困和不平等得到了显著的缓解，人类的基本生活水平得到了显著提升。但这并不意味着所有导致人类痛苦的主要原因都已解决。人类之间的威胁仍然存在。尽管技术进步和经济发展总体上倾向于促进民主与和平，但这只是一个非常松散的趋势，并且常常会出现反复倒退。在20世纪初，人们曾以为战争已经远去，然而两次世界大战随之而来。30年前，弗朗西斯·福山（Francis Fukuyama）撰写了《历史的终结》，预言自由民主的最终胜利，但这一预测至今尚未实现。20年前，美国的政策制定者相信与中国的自由贸易会随着经济的增长促使其自由化，然而事实并非如此，我们现在似乎正在步入第二次冷战，与重新崛起的威权主义阵营对峙。更有理论表明，互联网技术实际上可能更有利于威权主义，而不是人们最初在“阿拉伯之春”时期所相信的那样促进民主。因此，重要的是我们要努力理解强大的AI与这些关于和平、民主和自由的问题之间的关系。
不幸的是，我并没有强有力的理由相信AI会优先或系统性地推动民主与和平，正如我相信AI会系统性地推动人类健康和减轻贫困那样。人类的冲突是对抗性的，原则上，AI可以帮助“好人”也可以帮助“坏人”。事实上，有些结构性因素令人担忧：AI可能会促进更好的宣传和监控，而这些正是独裁者的两大工具。因此，问题的关键在于，我们作为个体行动者，必须尽力将事情引向正确的方向：如果我们希望AI支持民主和个人权利，我们必须为这一结果而奋斗。我对此的感觉甚至比国际不平等问题更加强烈：自由民主的胜利和政治稳定并非板上钉钉，甚至可能不太可能，它需要我们像过去一样做出巨大的牺牲和承诺。
我将问题分为两个部分： 国际冲突 和 国家内部的治理结构 。在国际方面，确保当强大的AI问世时，民主国家在全球舞台上占据主导地位似乎至关重要。AI支持的威权主义前景过于可怕，令人不敢想象。因此，民主国家必须能够主导强大AI的推出方式，既要防止被威权国家超越，又要避免在威权国家内发生侵犯人权的行为。
我目前的猜测是，通过“协约策略”[^26]，民主国家之间结成联盟，寻求在强大AI上获得明确的优势（即使只是暂时的），是实现这一目标的最佳途径。这个联盟应当确保其供应链安全，迅速扩大规模，并阻止或延迟对手获取关键资源，如芯片和半导体设备。这个联盟一方面通过AI获得稳固的军事优势（“大棒”），同时提供强大AI带来的益处（“胡萝卜”）给越来越多的国家，以换取他们支持联盟的民主促进战略（这有点类似于“和平原子”计划）。该联盟的目标是赢得越来越多的国家支持，将我们的最糟糕的对手孤立起来，最终使他们处于一种位置：他们最好与世界其他国家一样，放弃与民主国家的竞争，以便享有所有的益处，并避免与实力更强的对手交战。
如果我们能够做到这一点，我们将生活在一个由民主国家主导的世界中，它们拥有足够的经济和军事力量，避免被威权主义国家颠覆、征服或破坏，并可能将它们的AI优势转化为持久的优势。乐观地看，这可能导致一个类似“永恒的1991年”——一个民主国家占据上风的世界，福山所预言的梦幻世界得以实现。再强调一次，这将非常困难，特别是需要私人AI公司与民主政府之间的密切合作，以及在胡萝卜与大棒之间做出极为明智的决策。
即便这一切进展顺利，也仍然存在民主与威权主义在各国内部的斗争问题。对此我们无法做出精确预测，但我确实对以下几个方面持有一定的乐观态度：如果全球环境是由民主国家主导强大AI的发展，那么AI可能在结构上有利于全球范围内的民主。特别是在这种环境下，民主国家可以利用其优越的AI赢得信息战：它们能够反击威权国家的影响力与宣传行动，甚至可能通过提供全球自由的信息环境，提供无法被威权国家技术封锁或监控的AI服务。可能并不需要发布宣传，只需对恶意攻击进行反击，并解除信息流通的封锁。在这种环境下，全球治理有可能逐步向民主方向倾斜，原因有如下几个：
首先，生活质量的提高（前文第1至第3节提到的改进）通常会促进民主：历史上，在某种程度上确实如此。特别是，我预计心理健康、福祉和教育的改善将提高对民主的支持，因为这三者与支持威权领导人的情感负相关。总的来说，当人们的其他需求得到满足时，他们更希望获得自我表达的权利，而民主在某种程度上也是一种自我表达的形式。相反，威权主义依赖于恐惧和怨恨。
其次，只要威权国家无法审查自由信息，自由信息确实有很大的机会削弱威权主义。而且，未被审查的AI还可以为个人提供有力的工具，帮助他们削弱压制性政府。压制性政府通过拒绝某种形式的共同知识得以生存，阻止人们意识到“皇帝没有穿衣服”的事实。例如，斯尔扎·波波维奇（Srđa Popović）帮助推翻了米洛舍维奇政府，他广泛撰写了关于如何在心理上剥夺威权者权力的技术，以打破他们的神话并聚集支持者反对独裁者。如果每个人口袋里都有一个超级有效的AI版波波维奇（他的技能似乎具有极高的智力回报），而独裁者又无力封锁或审查它，这将为全球范围内的异见人士和改革者提供巨大的推动力。再重申一遍，这将是一场漫长而艰苦的斗争，胜利并非唾手可得，但如果我们设计和构建AI的方式正确，它至少可能是一场自由倡导者占据优势的战斗。
如同神经科学和生物学，我们还可以问，事情是否可能“超出正常情况”，不仅仅是如何避免威权主义，还可以如何使现有的民主制度更好。即使在民主国家，诸多不公仍然时有发生。法治社会向公民承诺每个人都将在法律面前平等，每个人都应享有基本人权，但显然，这些权利并不总是在实践中得到保障。这一承诺的部分实现已经是一件值得骄傲的事情，但AI能否帮助我们做得更好？
例如，AI能否通过更加公正的决策和流程改进我们的法律和司法系统？目前人们在法律或司法背景中最担心的是AI系统会导致歧视，这些担忧是重要的，且需要加以防范。但与此同时，民主的活力取决于是否能够利用新技术改善民主制度，而不仅仅是应对风险。真正成熟和成功的AI实施有潜力减少偏见，使系统对每个人都更加公平。
几个世纪以来，法律制度面临的两难困境是：法律的目标是公正的，但它本质上是主观的，因此必须由存在偏见的人类进行解释。试图使法律完全机械化是行不通的，因为现实世界是复杂的，不能总是被数学公式所捕捉。因此，法律制度依赖于臭名昭著的模糊标准，如“残忍和不寻常的惩罚”或“毫无 redeeming社会意义”，然后由人类解释——但这些解释往往表现出偏见、偏袒或随意性。加密货币中的“智能合约”未能彻底改变法律，因为普通代码还不够聪明，无法裁决很多具有实际意义的事物。但AI可能够聪明：它是第一个能够广泛做出模糊判断，并以可重复且机械的方式处理复杂现实世界的技术。
我并不是在建议我们用AI系统取代法官，但将 公正性 与 理解和处理复杂现实世界情况的能力 相结合，似乎应该在法律和司法领域有一些重要的积极应用。至少，这样的系统可以与人类一起工作，作为决策的辅助工具。透明性在任何这样的系统中都至关重要，成熟的AI科学可能会提供这种透明性：这些系统的训练过程可以被广泛研究，并可以通过先进的可解释性技术查看模型内部，以评估其是否存在隐藏的偏见，这些是我们无法在对人类进行评估时做到的。此类AI工具还可以用于监控司法或警察背景下是否存在基本权利的侵犯，使宪法的自我执行性更强。
类似地，AI可以用于汇集公民的意见并推动共识，解决冲突、寻找共同点、寻求妥协。计算民主项目已经在这一方向进行了一些早期探索，包括与Anthropic的合作。一个更有见识和深思熟虑的公民群体显然将加强民主制度。
还有一个明确的机会是，AI可以用于帮助提供政府服务——例如，理论上每个人都可以享有的但实际上往往严重缺乏的社会服务，且在某些地方比其他地方更糟。这包括医疗服务、车管所（DMV）、税务、社会保障、建筑规范执行等。拥有一个非常体贴且信息丰富的AI，其工作是确保你获得政府按法律规定你应得的一切，并且以你能理解的方式解释，同时还帮助你遵守通常让人困惑的政府规定，这将是一件大事。提高国家能力不仅有助于实现法律面前人人平等的承诺，还加强了对民主政府的尊重。糟糕的服务实施目前是造成政府冷漠情绪的一个主要原因[^27]。
所有这些想法都多少有些模糊，正如我在本节开头所说，我对它们的可行性远不如对生物学、神经科学和扶贫的进步抱有信心。这些想法可能过于乌托邦式的理想化。但重要的是拥有一个雄心勃勃的愿景，愿意敢于梦想并尝试新的事物。AI作为 自由、个人权利和平等法治的捍卫者 这一愿景过于强大，不容忽视。一个21世纪AI支持的政体既可以是更强大的个人自由捍卫者，也可以是全球范围内希望自由民主成为普遍治理形式的希望灯塔。
工作与意义
即使前面四节中的所有目标都实现了——不仅我们消除了疾病、贫困和不平等，甚至自由民主也成为了主导的政府形式，并且现有的自由民主国家变得更好——至少还会有一个重要问题留存。“我们的世界虽然技术先进、充满公正与体面的氛围，”有人可能会反驳道，“但在AI无处不在的时代，人类如何找到意义？更不用说他们如何在经济上生存？”
我认为这个问题比前面提到的其他问题更加复杂。我并不是说我对这个问题比其他问题更悲观（尽管我确实看到一些挑战），而是说这个问题更加模糊，难以提前预测，因为它涉及如何组织社会的宏观问题，而这些问题往往只有随着时间的推移，通过去中心化的方式自行解决。例如，历史上的狩猎采集社会可能会认为，生活在没有狩猎及其相关宗教仪式的环境中是没有意义的，可能认为我们机械化社会中的富裕生活缺乏目的感。他们可能也无法理解我们的经济如何养活每个人，或人们在机械化社会中能有什么用处。
尽管如此，仍然值得对此发表一些见解，尽管这些见解是有限的。请注意，这部分篇幅较短，并不意味着我不重视这些问题——相反，这反映了我在这些问题上缺乏明确的答案。
关于“意义”问题，我认为仅仅因为AI能比你更好地完成任务就认为你的工作没有意义，这是一个严重的错误。大多数人并不是世界上最优秀的某个领域的专家，但这并不会对他们造成特别大的困扰。当然，今天人们可以通过比较优势继续做出贡献，并从自己创造的经济价值中获得意义感，但人们也同样热衷于从不产生经济价值的活动中找到乐趣。我花大量时间玩电子游戏、游泳、在外面散步、与朋友交谈，这些都不产生任何经济价值。我可能会花一整天的时间试图提高游戏水平，或者在骑自行车上山时提高速度，而事实上，这些任务中总有人比我做得更好，但这并不会真正影响我。我认为意义更多来自于人际关系和人与人之间的连接，而非经济劳动。人们确实需要成就感，甚至竞争感，而在后AI时代，人们完全可以花数年时间去尝试一些非常困难的任务，并采用复杂的策略，类似于今天人们投入研究项目、试图成为好莱坞演员或创办公司的过程。这些任务中存在的两个事实——(a) AI在某处可以做得更好，(b) 这些任务不再是全球经济体系中被经济回报激励的内容——我认为对大多数人来说影响不大。
经济问题 实际上比“意义问题”更困难。在本节中，我所说的“经济问题”是指大多数或所有人类可能无法在AI驱动的高度发达经济中作出有意义贡献的潜在问题。这比第3节中讨论的不平等问题更为宏观，尤其是关于获取新技术的不平等问题。
首先，在短期内，我同意 比较优势 的逻辑：人类将继续在劳动中保持相关性，事实上，他们的生产力可能会因此大幅提高，甚至在某些方面使人与人之间的差距缩小。只要AI在某个任务中只比人类好90%，其余的10%就会让人类具有更高的杠杆作用，提高薪酬，事实上也会创造出许多新的与AI互补的人类工作岗位，使这“10%”得以扩大，继续雇佣几乎所有人。事实上，即便AI能够在100%的任务上优于人类，但如果AI在某些任务上效率较低或成本较高，或者人类和AI所需的资源输入存在显著差异，那么 比较优势 的逻辑仍然适用。一个领域中，人类可能会在相当长的时间内保持相对（甚至绝对）的优势，那就是 物理世界 。因此，我认为即便在我们达到“数据中心中的天才之国”之后的某个节点，人类经济仍然有可能继续正常运作。
然而，我确实认为，从长远来看，AI将变得如此广泛且成本如此低廉，以至于比较优势将不再适用。到了这个时候，我们当前的经济结构将不再合理，需要进行更广泛的社会讨论，讨论经济应该如何组织。
虽然这听起来可能很疯狂，但事实上，人类文明已经成功应对了几次重大经济变革：从狩猎采集转向农业，从农业转向封建主义，从封建主义转向工业化。我怀疑我们需要一种新的、甚至更加陌生的经济模式，而今天没有人能很好地预见它。这可能简单到大规模的全民基本收入，尽管我怀疑这只会是解决方案的一部分。也可能是一个由AI系统主导的资本主义经济，这些AI系统会将资源（会有大量资源，因为整体经济规模将极其庞大）分配给人类，基于某种最终源自人类价值观的判断标准。也许，经济会基于 Whuffie分数 （一种基于声誉的虚拟货币）。或者，也许人类在某种尚未被现有经济模型预测的方式中依然会保持经济价值。所有这些解决方案都有大量潜在问题，在没有经过大量迭代和实验之前，无法确定它们是否合理。正如其他挑战一样，我们可能需要努力争取一个好的结果：显然，剥削性或反乌托邦的方向也是可能的，必须加以防范。关于这些问题的讨论还可以写很多内容，我希望在未来某个时候能对此进行更详细的探讨。
总结
在上面讨论的多个主题中，我试图描绘出一个世界的愿景：如果一切顺利，强大的AI将带来一个比当今世界更加美好的未来。我不知道这个世界是否现实可行，即使可行，若要实现，也将需要无数勇敢且有奉献精神的人付出巨大努力。每个人（包括AI公司）都需要尽其所能，既要防范风险，也要充分实现这些潜在益处。
但这是一个值得为之奋斗的世界。如果这一切真的在5到10年内发生——大多数疾病被消除，生物和认知自由得到增长，数十亿人摆脱贫困，共享新技术，自由民主和人权的复兴——我怀疑每个人都会为这场变革的影响感到惊讶。我并不是指个人享受新技术带来的好处，尽管这无疑会令人惊叹。我是指看到一个长期持有的理想一瞬间在我们面前成真，这一过程会让许多人感动至深。
在撰写这篇文章的过程中，我注意到了一种有趣的矛盾。从某种意义上说，这里描绘的愿景极具激进性：几乎没有人预料到这些事情会在未来十年内发生，许多人可能会认为这是荒谬的幻想。也许有些人甚至不认为这是一个值得追求的愿景；它体现了不为所有人所接受的价值观和政治选择。但与此同时，某种显而易见、理所当然的感觉也贯穿其中——许多不同的试图设想美好世界的努力最终不可避免地通向这里。
在伊恩·M·班克斯（Iain M. Banks）的《游戏玩家》[^29]中，主人公（来自一个被称为“文化”的社会，其原则与我在此描述的类似）前往一个压迫性的、军事化的帝国，帝国的领导者通过在一场复杂的对战游戏中竞争产生。然而，这场游戏足够复杂，玩家的策略往往反映了他们自身的政治和哲学观念。主人公击败了皇帝，展示了他的价值观（“文化”的价值观）即使在一个由残酷竞争和适者生存原则设计的游戏中，也是一个制胜策略。Scott Alexander的一篇著名博文也有同样的观点——即竞争自我毁灭，最终导致了基于同情心和合作的社会。另一类似概念是“道德宇宙的弧线”。
我认为，“文化”的价值观之所以是一种制胜策略，是因为它们汇聚了无数个清晰的道德力量所促成的决定，这些决定共同将每个人拉到同一边。人类的基本直觉，如公平、合作、好奇心和自主性，很难与之争论，并且它们具有累积效应，往往会胜过我们的破坏性冲动。很容易说服人们认为，如果我们可以预防，儿童不应该死于疾病；从这一点出发，再进而说所有儿童应享有同样的权利也并不难。再从这里出发，我们可以顺理成章地认为，大家应该团结起来，运用我们的智慧来实现这一结果。很少有人会反对这样一个观点：人们不应该毫无必要地攻击或伤害他人，并且从这一点推导出惩罚应该对所有人一致且系统化的想法也并不困难。同样，自主权和对自己生活的选择权也是人们的直觉追求。这些简单的直觉，如果被推至逻辑上的终极，将最终导向法治、民主和启蒙价值观。即便这一过程并非必然，至少作为一种统计趋势，人类已经朝这个方向前进。AI只不过是提供了加速这一过程的机会，使得逻辑更加清晰，目的地更加明确。
尽管如此，这仍是一件充满超凡之美的事情。我们有机会在这一伟大的变革中扮演某个小角色，使它成为现实。
感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic团队的许多人对本文草稿的审阅。
致2024年诺贝尔化学奖的获奖者，感谢你们为我们指明了方向。
