虽然在流行文化尤其是科幻文艺中，文明的AI危崖问题非常“吸睛”，但是严肃的思想家并不关注，或者说认为这类问题远比不上气候变化、核大战和新发未知病毒等的威胁重要。

撰文 | 刘永谋（中国人民大学吴玉章讲席教授）

01

有人指出，20世纪下半叶新科技发展会导致意想不到的后果：单个人有能力实施危害巨大的恐怖行为，巨大灾难可能由无心的技术错误引发。

鉴于新科技可以毁灭整个人类文明的惊人破坏力，21世纪以降，很多思想家都开始关切当下的文明是否存在全局性的崩溃，甚至灭绝的生存性风险，使得人类社会如跌下悬崖一般，突然陷入黑暗甚至永夜之中？这便是近年来尤其是新冠疫情暴发之后，全球广为讨论的“文明危崖问题”。

的确，人类从未如此切实地感受到技术末世的逼近。历经70多年的世界大体和平之后，“第三次大战”被人越来越多地提及。绝大多数人相信，它将是人类最后一战，全球核战之后文明将被荡平。一些人则认为，气候变化已经到了十万火急的程度，很快将迫使人类搬到地下，然后灭绝。另有一些人认为，穷国的“核武器”即廉价生化武器，迟早会造成无法挽回的毁灭性灾难。还有一些人表示，超级AI很快会出现，之后硅基文明将取代碳基文明——很多人不相信这种观点，认为在这之前人类更有可能用核武器、AI武器、生化武器相互残杀殆尽。

法国人类学家、人工智能专家保罗·若里翁却认为“AI危崖”很重要，并写了《最后走的人关灯：论人类的灭绝》一书加以讨论。该书的核心问题是，“为何人类的智慧可以制造出那些就算有一天人类消失了还能存在的智能机器，而不能同时保证人类自己的生存？”

若里翁的提问方式，包含着两个成见。

第一，他相信人类在两三代人之后即21世纪末很可能就会灭绝，并表示这是科学家尤其是物理学家、化学家和古生物学家经过计算得出的科学结论。

第二，他认为人类没有准备好面对“AI危崖”，不可能避免自身的灭绝。人类能做的事情就是分析人类悲剧如何发生。因此本书只能是一篇悼词，根本改变不了结局。

为了支持技术末世说，若里翁总结了“人类三大危机”。第一是环境危机，根源于人类不可持续和不可再生的生存方式；第二是复杂性危机，根源于世界联系越来越紧密，变得越来越复杂，人类难以认识和掌控；第三是经济与金融危机，即经济系统只从商业视角考虑问题，成为无视物种未来和灭绝风险的敛财机器。

总之，“地球毁灭的原因就在我们身边，就是我们自己的行动”。

02

应该说，上述危机并非新见解，早已为各种社会批判理论所详述。何况这三大危机并不能得出人类很可能在21世纪末灭绝的结论。而且人类灭绝不等于地球毁灭。换句话说，当代人的能力足以灭绝自己，却完全谈不上毁灭地球。

地球自诞生以来，历经多次物种大灭绝，以及超级火山爆发、小行星撞击、冰雪覆盖，不仅没有被毁灭，连此间的生命也未完全灭绝。所以，若里翁的言辞颇为夸张和武断。

更重要的是，若里翁没有仔细论证，就得出人类根本应对不了灭绝风险的悲观结论。为什么人类不具备避免自身灭绝的能力？他的理由主要是人性使然，比如人类短视、毫无斗志、虚度光阴，所以他“对扭转形势也不抱任何期望了”。

如他所说，人们面对即将到来的灭绝可能有4种态度：否认和忽视危险；承认但毫不在意；积极面对，加速应对；承认但无能为力，“只能为人类哀悼”。若里翁坚持的是第四种态度，并自认为这是“对人类的命运做出的一种现实和真实的描述”，而“我们陷入对人类物种的过分眷恋是不明智的”。

如果说提醒人们重视即为贡献，本书的确敲响了技术末世论的警钟。但是，若里翁的丧气话一再显示出他对人性的武断。

古人类学研究表明，现代智人是一种具有强烈进取心的种族。在长期的生存竞争中，现代智人灭绝了地球上大量的物种，甚至灭绝了尼安德特人、弗洛勒斯人等其他同类。

当然，以此可以指责现代智人是残暴的物种，但残暴的另一面是进取、奋斗和勇气。面对灭绝风险，人类必定不会完全无所作为。仅仅哀叹“你们最好不要出生”，绝不是现代智人的做派。

03

总的来说，AI至少有两个问题直接与文明危崖相关。第一，AI特别是超级AI在总体上会不会威胁人类文明？第二，对于全局性生存性风险的应对，AI是有所助益，还是只能加剧潜在的危险？
 

AI可能导致的文明危崖风险可以分为两类：一是AI灭绝，即AI可能灭绝人类；二是AI衰退，即AI可能导致文明衰退。

虽然在流行文化尤其是科幻文艺中，类似的问题非常“吸睛”，但是严肃的思想家并不关注，或者说认为“文明的AI危崖”远比不上气候变化、核大战和新发未知病毒等的威胁。一些人认为，在生存性风险中，超级AI对人类文明的威胁完全排不上号。

进一步而言，若里翁对人类能力的否定，并无令人信服的科学证据和推导，只是某种哲学思辨或价值观的选择。同样，相反的结论也无法被科学所证明。没有人能断定现代智人会安然跨越文明危崖，更没有人能找到一劳永逸的万全之策。

很多人认为，跨越文明危崖需要数个世纪，这相对于地球历史只是一刹那，但对于人类文明却是一次长期的艰苦考验。在行过危崖的漫长旅程中，面临许多危险的歧路，不断考验人类的智慧和德行。

应对文明危崖，首先需要直面危崖，而不是视而不见、掩耳盗铃。放任自流会错过应对风险的良机，莽撞冒进同样会加大悲剧发生的可能性。对于AI的发展，既不要小觑它的冲击，也不能夸大它的风险。尤其不能将还没有实现的“超级AI神话”当作已经发生的东西，结果是自乱阵脚，甚至误入歧途。

因此，人类必须保持勇气、下定决心，认真研究和反思可能出现的文明危崖。

具体到超级AI问题上，既然超级AI可能奴役人类，甚至灭绝人类，我们为什么要发展超级AI呢？仅仅为了某种好奇心，就置AI产生意识的生存性风险于不顾，这难道不是完完全全的莽撞和不负责任吗？因此，AI发展的有限主义，反对将道德问题交给AI处理，反对在无法控制的情况下放任AI意识的出现。

对AI取代人类的可能前景，有些人甚至大为欢迎，高喊“爱那些机器人吧，我们应该爱这些我们设计的机器人而不是爱我们自己”。这多么荒唐！人类的使命不是迎接智能机器的来临，而是种族的繁衍、进取和幸福。说得严重一点，爱机器人而不爱人，多少有点反人类的倾向吧？

《最后走的人关灯：论人类的灭绝》，[法]保罗·若里翁著，颜建晔、刘杰、苏蕾译，中国人民大学出版社2023年3月出版

本文经授权转载自微信公众号“中国科学报”。