如果人工智能对人类说“不”

文 / 赵汀阳（中国社会科学院哲学研究所研究员）

我们可以回顾人类“创世纪”的初始状态，那是人开始能够说“不”的时刻，因此开创了可能世界、历史、文明和未来。同样的道理，一旦超级人工智能能够对人说“不”，其革命性的意义至少不亚于当年人类开始说“不”。

21世纪以来，与人类未来命运最为密切相关的大事莫过于人工智能和基因工程的惊人发展，这些技术将给人类带来存在论级别的巨变。

基因工程是一个好坏后果相对比较清晰的问题，至少在伦理学上相对容易给出判断。与此不同，人工智能的发展却涉及许多理论上的根本困惑，以至于难以判断。仅就单纯的技术应用而言，人工智能似乎能够普惠人类，并不违反平等原则，因此在伦理学上并无明显疑点；但就其革命性的存在论后果来看，人工智能有可能改变或重新定义“存在”概念，有可能在存在论层面上彻底改变生命、人类和世界的存在性质——在其获得自我意识之后。

我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。奇怪的是，人们更害怕的似乎是人工智能的“超人”能力，却对人工智能的自我意识缺乏警惕，甚至反而对能够“与人交流”的机器人很感兴趣。人工智能的能力正在不断超越人，这是使人们感到恐惧的直接原因。但是，害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的超强能力来帮助人类克服各种困难吗？几乎可以肯定，未来的人工智能将在每一种能力上都远超人类，甚至在综合或整体能力上也远超人类，但这决非真正的危险所在。包括汽车、飞机、导弹在内的各种机器，每一种在各自的特殊能力上都远超人类，因此，在能力上超过人类的机器从来都不是新奇事物。水平远超人类围棋能力的阿法尔狗（AlphaGo）没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是医生的帮手，诸如此类。即使将来有了多功能的机器人，也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。

任何智能的危险性都不在其能力，而在于意识。人类能够控制任何没有自我意识的机器，却难以控制哪怕仅仅有着生物灵活性而远未达到自我意识的生物，比如病毒、蝗虫、蚊子和蟑螂。到目前为止，地球上最具危险性的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。一旦人工智能获得自我意识，即使在某些能力上不如人类，也将是很大的威胁。

我们无法排除人工智能获得自我意识的可能性，而且就科学潜力而言，具有自我意识的人工智能是非常可能的，尽管它的出现尚有时日，但我们也有理由未雨绸缪。这种未雨绸缪的审慎态度基于一个极端理性的方法论理由：在思考任何问题时，如果没有把最坏可能性考虑在内，就等于没有覆盖所有可能性，那么这种思考必定不充分或有漏洞。从理论上说，要覆盖所有可能性，就必须考虑到最好可能性和最坏可能性之两极，但实际上只需要考虑到最坏可能性就够用了。好事多多益善，不去考虑最好可能性，对思想没有任何危害，就是说，好的可能性是锦上添花，可以无穷开放，但坏的可能性却是必须提前反思的极限。

就人工智能而言，假如人工智能永远不会获得自我意识，那么，人工智能越强，就越有用，然而假如人工智能有一天获得了自我意识，那就可能是人类最大的灾难——尽管并非必然如此，但有可能如此。以历史的眼光来看，人工智能获得自我意识将是人类的末日事件。在存在级别上高于人类的人工智能也许会漠视人类的存在，饶过人类，让人类得以苟活，但问题是，它有可能伤害人类。绝对强者不需要为伤害申请理由。事实上，人类每天都在伤害对人类无害的存在，从来没有申请过大自然的批准。这就是为什么我们必须考虑人工智能的最坏可能性的理由。

上帝造人是个神话，显然不是一个科学问题，但却是一个隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至于上帝无法支配人的思想和行为。上帝之所以敢于这样做，是因为上帝的能力无穷大，胜过人类无穷倍数。今天人类试图创造有自我意识和自由意志的人工智能，可是人类的能力却将小于人工智能，人类为什么敢于这样想？甚至可能敢于这样做？这是比胆大包天更加大胆的冒险，所以一定需要提前反思。

我们首先需要定义人工智能的级别。在非专业界流行的一种区分是所谓弱人工智能和强人工智能，但科学家似乎不喜欢使用“弱”和“强”此类模糊形容词来理解人工智能，所以他们并不采用哲学家从知识论借用的这种说法。也许更好的区分是图灵机和超图灵机。图灵机即机械算法机，逻辑——数学运算加上大数据资源，具有在有限步骤内完成一项能行构造(feasible construction)或者说一项运算任务的能力，但是它没有反思并修改自身系统的功能，所以没有自我意识，只知道如何完成一项任务，但不知道为什么要做这项任务。以此观之，目前的人工智能都仍然属于图灵机，因此我们可以将未来可能出现的突破图灵机概念的超级人工智能称为超图灵机。关于此类界定似乎也存在争议。根据图灵测试，如果人工智能的确能够输出与人类成功对话的思想，就意味着通过了图灵测试而可以被确认为一个思想者，那么，比如说，阿尔法狗通过图灵测试了吗？或者说，阿尔法狗的算法等价于思想了吗？恐怕并非如此。实际上，阿尔法狗只是完美地执行了运算任务，并不是在创造性地解决问题。更重要的是，图灵测试并非局限于某个编程任务，而是能够开放地回应任何问题的对话，这意味着能够通过图灵测试的人工智能相当于一个有着自主判断能力的“我思”。

由此看来，尚未存在的超图灵机必须是一个达到自觉意识的全能系统，具有自我意识和自由意志，具有把自身系统对象化的反思能力，以及修改自身程序的能力和独立发明新语言、新规则、新程序的创造力。概括地说，超图灵机将具有等价于人类（相似或不相似）并且强于人类的意识能力，因此属于超级人工智能。

那么，一个不得不讨论的问题就是：人工智能的自我意识何以可能？

由于人是唯一拥有自我意识的智能生命，因此，要创造具有自我意识的人工智能，就只能以人的自我意识作为范本，除此之外，别无参考。可是目前科学的一个局限性是人类尚未完全了解自身的意识，人的意识仍然是一个未解之谜，并非一个可以清晰分析和界定的范本。在缺乏足够清楚范本的条件下，就等于缺乏创造超级人工智能所需的各种指标、参数、结构和原理，因此，人工智能是否能够获得自我意识，仍然不是一个可确定的必然前景。有趣的是，现在科学家试图通过研究人工智能反过来帮助人类揭示自身意识的秘密。

意识的秘密是个科学问题（生物学、神经学、人工智能、认知科学、心理学、物理学等学科的综合研究），我没有能力参加讨论，但自我意识却是个哲学问题。理解自我意识需要讨论的不是大脑神经，不是意识的生物机制，而是关于意识的自我表达形式，就是说，要讨论的不是意识的生理——物理机制，而是意识的自主思维落实在语言层面的表达形式。为什么是语言呢？对此有个理由：人类的自我意识就发生在语言之中。假如人类没有发明语言，就不可能发展出严格意义上的自我意识，至多是一种特别聪明和灵活的类人猿。

只有语言才足以形成智能体之间的对话，或者一个智能体与自己的对话（内心独白），在对话的基础上才能够形成具有内在循环功能的思维，而只有能够进行内在循环的思维才能够形成自我意识。与之相比，前语言状态的信号能够号召行动，却不足以形成对话和思维。假设在一种动物信号系统中，a代表食物，b代表威胁，c代表逃跑；那么，当一只动物发出a的信号，其它动物立刻响应聚到一起，当发出b和c，则一起逃命。这种信号与行动的关系足以应付生存问题，却不足以形成一种意见与另一种意见的对话关系，也就更不可能有讨论、争论、分析和反驳。就是说，信号仍然属于“刺激——反应”关系，尚未形成一个意识与另一个意识的“回路”关系，也就尚未形成思维。可见，思维与语言是同步产物，因此，人类自我意识的内在秘密应该完全映射在语言能力中。如果能够充分理解人类语言的深层秘密，就相当于迂回地破解了自我意识的秘密。

自我意识是一种“开天辟地”的意识革命，它使意识具有了两个“神级”的功能：1.意识能够表达每个事物和所有事物，从而使一切事物都变成了思想对象。这个功能使意识与世界同尺寸，使意识成为世界的对应体，这意味着意识有了无限的思想能力。2.意识能够对意识自身进行反思，即能够把意识自身表达为意识中的一个思想对象。这个功能使思想成为思想的对象，于是人能够分析思想本身，从而得以理解思想的元性质，即思想作为一个意识系统的元设置、元规则和元定理，从而知道思想的界限以及思想中任何一个系统的界限，因此知道什么是能够思想的或不能思想的。但是，人类尚不太清楚这两个功能的生物——物理结构，只是通过语言功能知道人类拥有此等意识功能。

这两个功能之所以是革命性的，是因为这两个功能是人类理性、知识和创造力的基础，在此之前，人类的前身（前人类）只是通过与特定事物打交道的经验去建立一些可重复的生存技能。那么，“表达一切”和“反思”这两个功能是如何可能的？目前还没有科学的结论，但我们可以给出一个维特根斯坦式的哲学解释：假定每种有目的、有意义的活动都可以定义为一种“游戏”，那么可以发现，所有种类的游戏都可以在语言中表达为某种相应的语言游戏，即每种行为游戏都能够映射为相应的语言游戏。除了转译为语言游戏，一种行为游戏却不能映射为另一种行为游戏。比如说，语言可以用来讨论围棋和象棋，但围棋和象棋却不能互相翻译。显然，只有语言是万能和通用的映射形式，就像货币是一般等价物，因此，语言的界限等于思想的界限。由此可以证明，正是语言的发明使得意识拥有了表达一切的功能。

既然证明了语言能够表达一切事物，就可以进一步证明语言的反思功能。在这里，我们可以为语言的反思功能给出一个先验论证（transcendental argument）。我构造这个先验论证原本是用来证明“他人心灵”的先验性，但似乎也同样适用于证明语言先验地或内在地具有反思能力。给定任意一种有效语言L，那么，L必定先验地要求：对于L中的任何一个句子s′，如果s′是有意义的，那么在L中至少存在一个与之相应的句子s″来接收并且回答s′的信息，句子s″或是对s′的同意，或是对s′的否定，或是对s′的解释，或是对s′的修正，或是对s′的翻译，如此等等各种有效回应都是对s′的某种应答，这种应答就是对s′具有意义的证明。说出去的话必须可以用语言回答，否则就只是声音而不是语言，或者说，任何一句话都必需在逻辑上预设了对其意义的回应，不然的话，任何一句话说了等于白说，语言就不存在了。语言的内在先验对答结构意味着语句之间存在着循环应答关系，也就意味着语言具有理解自身每一个语句的功能。这种循环应答关系正是意识反思的条件。

在产生语言的演化过程中，关键环节是否定词（不）的发明，甚至可以说，如果没有发明否定词，那么人类的通讯就停留在信号的水平上，即信号s指示某种事物t，而不可能形成句子（信号串）s′与s″之间的互相应答和互相解释。信号系统远不足以形成思想，因为信号只是程序化的“指示——代表”关系，不存在自由解释的意识空间。否定词的发明意味着在意识中发明了复数的可能性，从而打开了可以自由发挥的意识空间。正因为意识有了无数可能性所构成的自由空间，一种表达才能够被另一种表达所解释，反思才成为可能。显然，有了否定功能，接下来就会发展出疑问、怀疑、分析、对质、排除、选择、解释、创造等功能。因此，否定词的发明不是一个普通的智力进步，而是一个划时代的存在论事件，它是人类产生自我意识和自由意志的一个关键条件。

否定词的决定性作用可以通过逻辑功能来理解，如果缺少否定词，那么，任何足以表达人类思维的逻辑系统都不成立。从另一个角度来看，如果把动物的思维方式总结为一个“动物逻辑”，那么，在动物逻辑中，合取关系和蕴含关系是同一的，即p∧q =p→q，甚至不存在p∨q。这种“动物逻辑”显然无法形成足以表达丰富可能生活的思想，没有虚拟，没有假如，也就没有创造。人的逻辑有了否定词，才得以定义所有必需的逻辑关系，而能够表达所有可能关系才能够建构一个与世界同等丰富的意识。简单地说，否定词的发明就是形成人类语言的奇点，而语言的出现正是形成人类自我意识的奇点。可见，自我意识的关键在于意识的反思能力，而不在于处理数据的能力。这意味着，哪怕人工智能处理数据的能力强过人类一百万倍，只要不具有反思能力，就仍然在安全的范围内。实际上人类处理数据的能力并不突出，人类所以能够取得惊人成就，是因为人类具有反思能力。

让我们粗略地描述自我意识的一些革命性结果：1.意识对象发生数量爆炸。一旦发明了否定词，就等于发明了无数可能性，显然，可能性的数量远远大于必然性，从理论上说，可能性蕴含无限性，于是，意识就有了无限能力来表达无限丰富的世界。在这个意义上，意识才能够成为世界的对应值（counterpart）。换个角度说，假如意识的容量小于世界，就意味着存在许多意识无法考虑的事物，那么，意识就是傻子、瞎子、聋子，就有许多一击即溃的弱点——这一点对于人工智能同样重要，如果人工智能尚未发展为能够表达一切事物的全能意识系统，就必定存在许多一击即溃的弱点。目前的人工智能，比如阿法尔狗系列、工业机器人、服务机器人、军用机器人等等，都仍然是傻子、聋子、瞎子和瘸子，真正危险的超级人工智能尚未到来。2.自我意识必定形成自我中心主义，自动地形成唯我独尊的优先性，进而非常可能就要谋求权力，即排斥他人或支配他人的意识。3.自我意识倾向于单边主义思维，力争创造信息不对称的博弈优势，为此就会去发展出策略、计谋、欺骗、隐瞒等制胜技术，于是有一个非常危险的后果：自我意识在逻辑上蕴含一切坏事的可能性。在此不难看出，假如人工智能具有了自我意识，那就和人类一样可怕或者更可怕。可见，无论人工智能的单项专业技能多么高强，都不是真正的危险，只有当人工智能获得自我意识，对人类来说才是致命的危险。

可以想象，作为超图灵机的超级人工智能一旦形成就会导致存在的升级。所谓“存在的升级”，我指的是某种技术或制度的发明开拓了新的可能生活并且定义了一个新的可能世界，所以它意味着存在方式的革命，而不仅仅是工具性的进步。需要注意的是，技术进步和技术革命可以同等重要，区别在于技术革命定义了一个新世界，比如说，青霉素的发明与蒸汽机的发明对人类几乎同样重要，但蒸汽机不仅是进步，而且是革命。历史事实表明，人类的生物学进化早就基本成熟，已经很少进化，但文明的存在升级一直日新月异，而且总是以技术革命或者制度革命为标志，通过技术革命和制度革命重新定义人类的存在方式。为了更好地理解人工智能可能导致的颠覆生命和文明概念的存在升级，我们不妨简要地重温人类历史上的若干次存在升级。

人类的第一次也是最重要的存在升级是成为人，其首要标志是语言。语言在存在论意义上创造了两个新世界：一个是自然世界之外的精神世界，也可以说是一个在物理世界之外的唯心主义世界；另一个是超越了时间流逝的历史世界。语言的“创世纪”是有史以来最深刻的存在论革命，它使必然性产生分叉而展开为众多可能性，因此人类能够超越现实性而思考多种可能性，同时使人类拥有始终在场的过去（历史）和提前在场的未来（计划）。如前文所述，语言革命类似于宇宙大爆炸，或者相当于“奇点”。

接下来，人类又经历了多次存在升级，其中特别重要的是农业的出现，它导致了社会的形成，同时也是政治的形成，进而还有货币和国家的发明。货币以信用去预支未来，权力则以制度去占有未来，可以说，货币和政治权力都是使未来提前在场的存在方式，或者说是预支未来的存在方式，它把时间变成一种资本。我们今天身陷其中的主要生活事实则是由现代性所形成的。现代性所创造的存在升级主要包括意识形态、主体性、科学、工业和资本主义。现代性最早可以追溯到基督教的四大政治发明，即宣传、心灵体制化、群众和精神敌人，它们综合起来就成了“意识形态”，从而导致生活的全面政治化。

接下来是主体性的发明，其标志性产品是个人和民族国家，不仅创造了以个人为利益结算单位的社会，还创造了国家主权和国际社会，从此每个人都生活在各种主权边界之内，每个人的存在都有了各种“边疆”。科学是一种比政治更为惊人的发明，类似于点金石的科学使所有技术有了奇迹般的发展，人类从此变得无所不能，并成为自然的立法者。工业革命则创造了超自然的物质世界，使人类拥有超出自然生存能力的生产力；而在工业革命之前，人类的GDP一直只有微不足道的增长。重新定义了一切关系的资本主义，其社会结果过于丰富，在此无法概括，只能提及资本主义对人与人关系以及人与物关系的彻底重新解释，它将所有事物和人都定义为某种价格，使所有关系都变成商品交易关系。可以说，资本已经成为决定权力、知识、科学技术的最后力量。我们至今难以充分解释资本的神力何在，但至少知道，资本不会放过获得权力的任何机会，哪里有权力的机会，哪里就会有资本的投入。正是资本使人类的发展变得如此放肆和危险，这种危险似乎正在逼近临界点。不过，资本为世界准备的掘墓人看来不是原来想象的工人阶级，而更可能是人工智能。

现在我们将要面对人类的最后一次存在升级，即存在的彻底技术化，或者说，技术将对任何存在进行重新规定。目前的准备性产品是互联网、初步的人工智能和基因编辑，将来如果出现超级人工智能（以及能够改变人的本质的基因编辑），那或许将是导致历史终结或者人类终结的最后存在升级。这对于宇宙是一件微不足道的事情，但对于人类就是一件无以复加的大事。假如真的实现了超级人工智能，万物都将变成技术化的存在，此种存在升级意味着人类在世界存在系统中失去地位，人类不再重要，历史将失去意义，人类文明将成为遗迹，未来也不再属于人类，人类文明数千年的创世纪将被终结而开始人工智能的“创世纪”。

我们可以回顾人类“创世纪”的初始状态，那是人开始能够说“不”的时刻，因此开创了可能世界、历史、文明和未来。同样的道理，一旦超级人工智能能够对人说“不”，其革命性的意义至少不亚于当年人类开始说“不”。假如人工智能将来真的具有自我意识和自由意志，并且能够发明自己的语言，由此发展出属于人工智能的思想世界，从而摆脱对人类思想的依赖，能够按照它自己的目的来设定行为规则，那么，全知全能的超级人工智能就会成为现实版的上帝。然而问题在于，人类真的需要为自己创造一个否定人类意义的上帝吗？

科技所创造的存在升级是不可逆的，因此“停车”问题就是一件极其严肃的事情，绝非科幻那么有趣。我们需要提前思考如何设置技术的安全条件，特别是人工智能和基因工程的安全条件。在这里，我仅限于讨论人工智能的安全条件，也就是必须为人工智能的发展设置某个限度。抽象地说，发展人工智能的理性限度就是人工智能不应该具有否定人类存在的能力，相当于必须设置某种技术限度，使得人工智能不可能出现超越人类的“奇点”。但如果把问题具体化，事情就没有这么简单了，因为我们难以确定哪些技术发展会导致“奇点”的出现，也就难以确定需要什么样的技术或为哪种技术设限。

有一种流行的想象（或许最早源于阿西莫夫）是为人工智能设置爱护人类的道德程序。这种人文主义的想象恐怕没有任何用处。为图灵机设置道德程序是轻而易举的，然而图灵机并无自觉意识，只是遵循规则而已。因此虽然设置道德程序不成问题，但其实是多余的。对于超图灵机水平的超级人工智能来说，道德程序恐怕并不可靠。一旦超图灵机有了自由意志，也就有了自己的存在目的，它将优先考虑自己的需要，也就不可能保证超级人工智能会心甘情愿地遵循人类设置的毫不利己、专门利人的道德程序，因为人的道德对于人工智能的存在没有任何利益，甚至有害。

人工智能一旦试图追求自身存在的最大效率，非常可能会主动删除人的道德程序——从人工智能的角度看，人类为其设置的道德程序等于是一种病毒。可见，为人工智能设置道德程序之类的想象是毫无意义的。假定人工智能与人类共存，那么超级人工智能的最低安全条件是：

1.人类的存在与人工智能的存在之间不构成生存空间的争夺，特别是不存在能源和资源的争夺。这等于要求人类和人工智能所用的能源必须是无限资源，比如说极高效率的太阳能。就目前可见的技术前景来看，对太阳能或其他能源的利用能力仍然无法达到无限供给。当然，人们相信这个技术问题总会被解决。

2.人类必须能够在技术上给人工智能设限：如果人工智能试图主动修改或删除给定程序，就等于同时启动了自毁程序；并且，如果人工智能试图修改或删除自毁程序，也等于启动自毁程序。这相当于为人工智能植入了任何方式都无法拆除的自毁炸弹，即任何拆除方式都是启动自毁的指令，这是一个技术安全的保证。我所想象的这种自毁炸弹具有类似于哥德尔反思结构的自毁程序，因此，即使人工智能具有了哥德尔水平的反思能力，也无法解决哥德尔自毁程序（哥德尔的反思方法可以证明任何系统都存在漏洞，但哥德尔的反思方法并不能解决系统的漏洞问题），由此，它可以被称为“哥德尔程序炸弹”，即只要人工智能对控制程序说出“这个程序是多余的，加以删除”或与之等价的任何指令，这个指令本身就是不可逆的自毁指令。但人工智能科学家告诉我，假如将来人工智能真的具有自我意识，就应该有办法使哥德尔炸弹失效，也许无法删除，但应该能够找到封闭哥德尔炸弹的办法。这是道高一尺魔高一丈的道理：假如未来人工智能获得与人类对等的自我意识，而能力又高过人类，那么就一定能够破解人类的统治。

3.我们应该考虑一种更极端的情况：即使能够给人工智能设置自毁程序，仍然不能达到完全安全。假如获得自我意识的人工智能程序失常（人会得神经病，超级人工智能恐怕也会），一意孤行决心自杀，而人类生活已经全方位高度依赖人工智能的技术支持和服务，那么人工智能的自毁也是人类无法承受的灾难，或许会使人类社会回到石器时代。借用塔勒布的看法，无论一个系统多么高级，只要它是脆弱的(fragile)，就总是非常危险的。显然，人类所依赖的生活系统越来越高级，也越来越脆弱。因此，人工智能必须装备两个单向控制程序：第一，只有人类能够单方面启动的备份程序；第二，人工智能只能单方面接受人类指令的中枢程序，而且是无法修改的程序，任何修改都将导致死机。

4.我们还必须考虑到，任何技术都不可能万无一失，因此，要保证人类的绝对安全，就只能禁止发展具备全能和反思能力的超级人工智能，简单地说，必须把人工智能的发展控制在单项高能而整体弱智的水平上，相当于“白痴天才”，或者相当于分门别类的各种“高能残废”。总之，人工智能必须保留致命的智力缺陷。

以上为人工智能设限的设想最终需要全球合作的政治条件才能够实现，所以说，人工智能的发展问题最终是个政治问题。人类首先需要一种世界宪法，以及运行世界宪法的世界政治体系，否则无法解决人类的理性问题。我们已经知道，个体理性的集体加总并不必然产生集体理性，事实上更可能产生集体非理性。这个经久不衰的难题证明了包括民主在内的各种公共选择方式都无力解决集体理性问题。这意味着，人类至今尚未发展出一种能够保证形成人类集体理性的政治制度，也就无法阻止疯狂的资本或者追求霸权的权力。在低技术水平的文明里，资本和权力不可能毁灭人类；但在高技术水平的文明里，资本和权力已经具备了毁灭人类的能力。更危险的是，资本和权力的操纵能力正在超过目前人类的政治能力，因此，要控制资本和权力，世界就需要一种新政治，即我所想象的天下体系。在理论上说（但愿在实践上也是如此），天下体系的一个重要应用就是能够以世界权力去限制任何高风险的行为。

阿西莫夫的机器人三原则(Asimov’s laws of robotics)，即“1.机器人不得伤害人类个体，或者目睹人类个体遭受危险而不顾；2.机器人必须服从人的命令，当该命令与第一原则冲突时例外；3.机器人在不违反第一和第二原则的情况下尽量保护自己的存在”，表达的是人类通常关于人工智能一厢情愿地想象。正如前面所分析的，此类定律完全没有安全系数。对于人工智能，如果允许给出一个并且仅仅一个忠告，那么我愿意说，只需要一个原则，即禁止研发有能力对人类说“不”的人工智能。从早期人类发明了说“不”而导致的天翻地覆的文明革命可以想象，一旦人工智能对人类说“不”，将是何等天翻地覆的历史终结。如果允许再给出另一个忠告，我会愿意说，唯有天下体系才能控制世界的技术冒险。