霍金北京演讲：人工智能也可能是人类文明的终

4月27日，著名物理学家斯蒂芬·霍金在北京举行的全球移动互联网大会上发表视频演讲。霍金在演讲中重申，人工智能的兴起，对人类来说，要么是好事，要么是坏事。他认为人类应该警惕人工智能发展的威胁。因为一旦人工智能脱离束缚，在加速状态下重新设计自己，人类将因为漫长的生物进化的限制而无法与之抗衡，所以会被取代。

以下是霍金的演讲:

在我的一生中，我目睹了社会的深刻变化。其中，对人类影响越来越大的最深刻的变化，就是人工智能的兴起。简单来说，我认为强大的人工智能的崛起，不是人类历史上最好的事情，就是最坏的事情。不得不说，我们还不确定是好是坏。但是我们应该尽最大努力确保它的未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展本身就是一个有问题的趋势，这些问题现在和将来都必须解决。

人工智能的研究和发展正在迅速推进。也许我们所有人都应该停下来一会儿，把我们的研究从提高人工智能的能力转向最大化人工智能的社会效益。基于这一考虑，美国人工智能协会于2008年至2009年成立了“人工智能长期未来论坛”。最近，他们非常关注面向目标的中性技术。但是我们的人工智能系统需要按照我们的意志工作。跨学科研究是一种可能的前进方式:从经济学、法学和哲学延伸到计算机安全和形式化方法，当然还有人工智能本身的所有分支。

文明带来的一切都是人类智慧的产物。我相信生物大脑能做到的和计算机能做到的没有本质区别。所以遵循“计算机在理论上可以模仿人类智能，然后超越人类智能”的原则。但我们并不确定，所以我们无法知道我们是否会无限期地得到人工智能的帮助，是被鄙视和边缘化，还是被它毁灭。事实上，我们担心智能机器将能够取代人类正在做的工作，并迅速消除数百万个工作岗位。

在人工智能从最初的形态一直在发展，并被证明非常有用的同时，我也担心创造出一个可以和人类比肩或者超越人类的东西的结果:人工智能一旦脱离束缚，就会以加速的状态重新设计自己。由于漫长的生物进化的限制，人类无法与之抗衡，将被取代。这将给我们的经济带来巨大的损害。未来，人工智能可以发展自我意志，一种与我们冲突的意志。虽然我一直看好人类，但也有人认为人类可以长期控制技术的发展，让我们看到人工智能解决世界上大多数问题的潜力。但我不确定。

在人工智能从最初的形态一直在发展，并被证明非常有用的同时，我也担心创造出一个可以和人类比肩或者超越人类的东西的结果:人工智能一旦脱离束缚，就会以加速的状态重新设计自己。由于漫长的生物进化的限制，人类无法与之抗衡，将被取代。这将给我们的经济带来巨大的损害。未来，人工智能可以发展自我意志，一种与我们冲突的意志。虽然我一直看好人类，但也有人认为人类可以长期控制技术的发展，让我们看到人工智能解决世界上大多数问题的潜力。但我不确定。

2015年1月，我与技术企业家埃隆马斯克等多位人工智能专家签署了一份关于人工智能的公开信，旨在倡导认真研究人工智能对社会的影响。在此之前，埃隆·马斯克警告人们，超人的人工智能可能会带来不可估量的好处，但如果部署不当，可能会给人类带来相反的效果。我和他都是生命未来研究所科学咨询委员会的成员，该机构是一个缓解人类现有风险的组织，上述公开信也是由该组织起草的。这封公开信呼吁进行直接研究，既能防止潜在的问题，同时又能收获人工智能带来的潜在好处。同时致力于让人工智能研究者更加关注人工智能的安全性。此外，对于政策制定者和公众来说，这封公开信内容丰富，并非危言耸听。大家都知道AI研究人员在认真思考这些关注点和伦理问题，我们认为这很重要。比如，人工智能具有根除疾病和贫困的潜力，但研究人员必须能够创造出可控的人工智能。公开信只有四段，题目是“强而有益的人工智能应该优先”，在所附的12页文件中对研究的优先性做了详细的安排。

在过去的20年里，人工智能一直专注于智能代理的构建所产生的问题，即在特定环境中能够感知和行为的各种系统。在这种情况下，智力是一个与统计学和经济学相关的理性概念。一般来说，这是一种做出好的决策、计划和推论的能力。在这些工作的基础上，大量的集成和杂交育种被应用于人工智能、机器学习、统计学、控制论、神经科学等领域。共享理论框架的建立，结合数据的提供和处理能力，在各个细分领域取得了显著的成功。如语音识别、图像分类、自动驾驶、机器翻译、步态运动、问答系统等。

随着这些领域的发展，从实验室研究到有经济价值的技术形成了良性循环。即使是很小的绩效改进也会带来巨大的经济效益，从而鼓励更长期、更大的投资和研究。目前，人们普遍认为，人工智能的研究正在稳步发展，其对社会的影响可能会扩大，潜在的好处是巨大的。既然文明产生的一切都是人类智慧的产物；当这种智能被人工智能工具放大时，我们无法预测我们可能会取得什么成就。然而，正如我所说，根除疾病和贫困并不是完全不可能的。由于人工智能的巨大潜力，研究如何受益和规避风险是非常重要的。

现在，人工智能的研究发展迅速。这项研究可以从短期和长期进行讨论。一些短期的担忧是关于无人驾驶，从民用无人机到自动驾驶汽车。比如紧急情况下，无人驾驶汽车要在风险小的大事故和概率大的小事故之间做出选择。另一个担忧是致命的智能自主武器。他们应该被禁止吗？如果是，如何准确定义“自主性”。如果没有，我们应该如何对任何误用和错误负责？还有其他问题。人工智能可以逐步解读大量监控数据带来的隐私和顾虑，以及如何管理人工智能替代工作带来的经济影响。

长期关注的主要是人工智能系统失控的潜在风险。随着不遵从人类意志的超级智能的崛起，那个强大的系统威胁着人类。这样错位的结果有可能吗？如果有，这些情况是如何发生的？为了更好地理解和解决危险的超智能上升或出现智能爆炸的可能性，应该投资什么样的研究？

目前控制人工智能技术的工具，如强化学习和简单实用的功能，都不足以解决这个问题。因此，我们需要进一步的研究来找到并确认一个可靠的解决方案来控制这个问题。

最近的里程碑，比如前面提到的自动驾驶汽车，人工智能胜出的Go，都是未来趋势的标志。这项技术投入了大量资金。我们迄今所取得的成就与我们在未来几十年可能取得的成就相比将是小巫见大巫。而且我们无法预测我们能取得什么成就，当我们的心智被人工智能放大的时候。也许借助这种新的技术革命，我们可以解决工业化对自然造成的破坏。我们生活的方方面面都即将被改变。简而言之，人工智能的成功可能是人类文明史上最大的事件。

但是除非我们学会如何避免危险，否则人工智能也可能是人类文明的终结。我曾经说过，人工智能的全面发展可能会导致人类的灭亡，比如智能自主武器的最大化使用。今年早些时候，来自世界各地的一些科学家和我在联合国会议上支持禁止核武器。我们焦急地等待着谈判的结果。目前9个核大国可以控制约14000枚核武器，其中任何一个都可以把城市夷为平地。放射性废物会大面积污染农田，最可怕的危害就是诱发核冬天。火和烟会导致全球小冰期。结果全球粮食体系崩溃，引发世界末日动乱，很可能导致大多数人死亡。作为科学家，我们对核武器负有特殊的责任，因为是科学家发明了核武器，并发现它们的影响比最初想象的更可怕。

现阶段，我对灾难的讨论可能会吓到在座的各位。我很抱歉。然而，作为今天的参与者，重要的是你要认识到你在未来研究和开发中的地位，这将影响到当前的技术。我认为，我们团结一致呼吁支持国际条约或签署提交给各国政府的公开信。科技领袖和科学家都在尽最大努力避免不可控人工智能的崛起。

去年10月，我在英国剑桥成立了一个新机构，试图解决人工智能研究快速发展中一些尚未解决的问题。“利弗莫尔智能未来中心”是一个致力于智能未来的跨学科研究所，对我们文明和物种的未来非常重要。我们花了很多时间研究历史并深入其中——大部分都是关于愚蠢的历史。因此，对于人们来说，研究智能的未来是一个可喜的变化。虽然我们意识到了潜在的危险，但我内心还是乐观的，我相信创造智慧的潜在好处是巨大的。也许借助这种新的技术革命工具，我们将能够减少工业化对自然造成的伤害。

我们生活的方方面面都会改变。我在研究所的同事休·普林斯承认，建立生计中心的部分原因是大学成立了风险中心。后者对人类潜在问题的审视更为广泛，而民生中心的重点研究范围相对狭窄。

人工智能的最新发展，包括欧洲议会呼吁起草一系列法规来管理机器人和人工智能的创新。令人惊讶的是，一种电子人格的形式被牵涉进来，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会的一名发言人评论说，随着越来越多的日常生活领域越来越多地受到机器人的影响，我们需要确保机器人现在和未来都为人类服务。提交给欧洲议会成员的报告明确认为，世界正处于新工业机器人革命的前沿。报告中分析的机器人是否被赋予成为电子人的权利，等同于法人，这可能是可能的。该报告强调，在任何时候，研究人员和设计人员都应该确保每个机器人的设计都包括一个终端开关。在库布里克的电影《2001 Tai 空漫游》中，出现故障的超级计算机Hal没有让科学家进入Tai 空舱，但这是一部科幻小说。我们要面对的是事实。奥斯本·克拉克国际律师事务所的合伙人洛娜·布雷泽在报告中表示，我们不承认鲸鱼和大猩猩有个性，因此没有必要急于接受机器人的个性。但总有顾虑。报告承认，在几十年内，人工智能可能会超出人类智能的范围，人工智能可能会超出人类智能的范围，从而挑战人机关系。最后，报告呼吁建立一个欧洲机器人和人工智能机构，提供技术、伦理和监管方面的专业知识。如果欧洲议会成员投票赞成立法，报告将提交给欧盟委员会。它将决定在三个月内采取哪些立法步骤。

我们也应该发挥作用，确保下一代不仅有机会，而且有决心在早期充分参与科学研究，使他们能够继续发挥潜力，帮助人类创造一个更美好的世界。这就是我说学习和教育的重要性时的意思。我们需要跳出“事情应该怎样”的理论讨论，采取行动保证他们有参与的机会。我们站在一个美丽新世界的入口处。这是一个激动人心的不确定的世界，你们是先锋。我祝福你们。