脑和人工智能领域存在着许多没有定论的开放性问题（open problems）。此前，在关于欧盟人脑项目的文章中，我曾介绍过自己的观点；而后，王培老师又点评了我与IT工程师和连续创业者卡尔·施拉根霍夫之间的讨论。可以说，我与王培老师的分歧主要集中在以下三点：

 

（1）意识和脑的关系；

 

（2）意识的科学研究能做什么和不能做什么？

 

（3）是否能实现人工意识？

 

人们对开放性问题的看法都是长期形成的，各人有各自的依据，不大可能通过几篇短文的交流就消除歧见。尽管如此，真诚的争论仍然颇有裨益：反对意见提供了新的角度让我们审视自己，迫使我们提炼、纠正、补充自己的看法，并做进一步思考。我将在一个更广阔的背景中回答王培老师的评论，期待广大读者的进一步批评和争论。

 

撰文 | 顾凡及（复旦大学生命科学院）

 

“意识”：一个勉为其难的概念

 

“意识”并没有一个公认的定义。在一些百科全书中，意识的定义往往是用了它的一些同义语，或是一些同样没有公认定义的概念来进行解释。例如在《大英百科全书》中，按照英国哲学家洛克（John Locke）的说法，把意识定义为“进入个人心灵（mind）中的知觉（perception）”。这里，“心灵”和“知觉”同样都没有公认的定义。在维基百科（wikipedia.org）里则把意识定义为“对内外存在的知觉（sentience）或觉知（awareness）的状态或特性”——同样使用了两个没有公认定义的词：“知觉”和“觉知”。如果你再去查查维基百科对“觉知”的定义，那么它告诉你：“更广义些说，觉知就是能意识到某些东西的状态。”两条释义成了同义反复。所以，这种定义实际上等于什么也没说。

 

另外，人们往往把意识的不同方面等同于意识。例如，把清醒程度、自我感、存在感以及内心所体验到的具体内容（qualia）等等当成意识本身。由于各人理解不一样，有关意识问题的争论有时仿佛鸡同鸭讲。

 

如果要找一个绝大多数人都认可的“最大公约数”，在笔者看来当属埃德尔曼（Gerald Edelman）的描述：“意识就是随着无梦深睡……深度麻醉或昏迷……而随之而去，而在这些状态之后又随之而来的那个东西。” [2]虽然这仍然算不上是什么定义，但起码大家都能明白我指的是什么。

 

在笔者看来，如果一定要说这些形形色色的意识概念有什么共同特征的话，那无疑是意识的主观性和私密性。意识只存在于主体的内心之中，而且不能为其他主体所共享。虽然，这里的“内心”一词同样也没有明确的定义。

 

如果将上述议论作为我们讨论的出发点，那么王培老师所提出的“主观性和私密性不限于意识，而是普遍存在于各种精神、心理活动之中”，“外向的感知也不是完全没有主观性和私密性，所以这个差别是相对的，而不是绝对的”就值得商榷了。因为按照上述讨论，“各种精神、心理活动”以及“外向感知”都属于意识。而只有“外部环境是共享的”（意识之外的身体，相对于意识来说也算是“外部环境”）。

 

如此一来，意识和其他物质过程就有着根本性的差别。这种差别主要表现为意识的主观性和第一人称视角。这是我与王培老师之间的第一点不同看法。

 

不可还原的涌现

 

 

确实，人们容易以为我主张意识是由脑“产生”的一种“东西”。这也确实是许多人的看法。但其实我要表达的确切意思是：“意识是特定脑中特定神经活动的一种不可还原的涌现性质。”（关于这一点，我在去年的一篇文章《有关意识研究中的两个开放性问题》[3]中曾经有专门的论述。）这句话蕴含着多层意思：

 

（1）意识是特定脑中特定神经活动的一种性质。这里加了两个“特定”，是因为并非所有的神经活动（例如当深睡无梦时脑中的神经活动）都表现出意识的性质。

 

（2）意识是一种性质，而不是一种实体；且，意识不是一种普通的性质，而是脑这样一种多级系统在最顶层所表现出来的一种“涌现性质”。所谓涌现性质，如一位读者在评论中指出的那样，其意思是上一层次表现出来的、下一层次的元素所不具有的性质。所以，当我们说“意识是人脑涌现出来的”，并不意味着意识可以完全用神经方面的术语来描述，也不是意味着意识是一种“导出”，而是强调意识是低层次的神经活动所不具有的性质。

 

（3）意识不仅是一种涌现性质，而且还是一种不可还原的涌现性质。由为数不多的公理来证明定理、由细胞活动来解释组织现象，都属于还原。有些涌现性质也可以还原，例如：水由氢氧原子组成，而表现出氢和氧都不具备的性质；同时，人们有可能根据氢和氧的性质来解释水的性质（例如，用量子力学或其他物理规律——虽然我暂时还不知道）。但是，还原并不是无限的，例如公理就不可再被推导，有些情况则从高层开始就无法向底层还原，例如蒙娜丽莎的美无法用颜料分子的性质去解释。同理，意识也是一种不可还原的性质，

 

问一个正确的问题

 

意识不能从神经层次描述，且由于其主观性和私密性，很难为外界观察者所观察到。与此相反，神经层次上的现象在原则上都可以从外界观察到。所以，两者还是有“本质不同”的。

 

读者读到这里，可能会责问我：“按你这么说，那么是不是就是意味着无法科学地研究意识？”我的回答当然是否定的。我认为查默斯（D. Chalmers）所提的“困难问题（hard problem）”——“主观的意识是如何从客观的脑中产生出来的”——是一个提错了的问题。因为意识就是特定脑的特定神经活动的一种不可还原的涌现性质，就像带有负电荷是电子的一种性质一样。你能问电子为什么或是如何带有负电荷的吗？

 

我们可以问的问题是：什么是意识涌现的条件？即，什么样的脑中、什么样的神经活动会涌现出意识？

 

当然，理想的情况是能研究出意识涌现的充分必要条件。现在的研究主要集中在意识研究的必要条件，也取得了突出进展。这就是埃德尔曼和托诺尼所提出的动态核心假设[2]和迪昂（S. Dehaene）对“进入意识（conscious access）”所提出的“神经全局工作空间假设（neuroal global workspace hypothesis）”[4]。这些假设都提出了当脑中神经活动表现出意识或其某个方面需要满足的条件：对前者来说这些神经活动要具有整体性和复杂性，而对后者来说则是在脑活动中出现一系列特殊的“印记（signature）”。

 

但是这些条件都并不充分，因为按照他们的假设所构造的人工神经网络虽然都能表现出他们所提出的那些特性，但是并没有涌现出主观性。迪昂和埃德尔曼都坦率地承认他们的网络并无意识。后来，托诺尼把他们当初提出的意识的整体性和复杂性扩大成了5条公理，并在此基础上制定了有关意识的一个定量指标Φ，以此度量某个主体是否有意识。[5]但是，在他的5条公理中根本就没有主观性，而且大量复杂系统都可能有非零Φ值，而他又没有给出有意识时Φ值有什么阈值，所以按照他的判据，大量系统都有了意识——这在笔者看来似乎是陷入了泛灵论的泥沼。

 

因此，我认为意识科学研究的适当问题是问：什么样的系统的什么样的活动在什么样的条件下会涌现出意识这样的特性？放在当前，我们要问的具体问题是：人脑神经活动表现出意识或其某个方面的特性的必要条件是什么？

 

至于充分条件，现在还不到研究的时候。原因就在于意识研究中的“两难问题”，而不是查默斯那著名的“困难问题”。

 

意识研究的两难问题

 

如上面所讲，意识研究的根本困难在于意识的主观性，外部观察者不可能观察另一个主体的内在意识，他所能观察的只是对方的行为或神经活动。他只能依靠对方的主诉（能做到这一点的主体现在只有人）得知对方的意识内容，同时观察对方的大脑活动，并与其没有意识时的大脑活动进行比较——这正是埃德尔曼曾经建议过的，而迪昂付诸实践的大量研究。迪昂（Stanislas Dehaene）研究了当同一个刺激从被试意识不到转变为能意识到时（进入意识），脑活动发生了怎样的变化，他把这些变化称为“印记”，例如强烈的脑活动从脑的后部传到前部又反传回来，在事件相关电位中出现明显的P300峰以及大区域的同步活动等。由于脑的活动非常复杂，不可能只保留这些印记而排除脑的其他一切活动，因此这些印记就只能说是进入意识的必要条件，而非充分条件。如果缺乏主诉，光根据行为，观察者无从确知主体当时的意识内容，甚至无法判断主体是否有意识。这就是哲学上所谓的“他人心智问题（Problem of other minds）”。

 

这样，我们就碰到了一个两难问题。如果仅凭行为就来判断主体是否有意识，就可能把本来没有意识的主体误判为有意识；而如果不看行为或不听取主诉，我们又没有其他手段知道主体内在的意识内容，那么可能把本来是有意识的主体误判为无意识，或者根本无从知道其是否有意识。笔者认为这就是当前意识研究所面临的最大困难，也是同行之间争论不休的症结所在。笔者称之为“意识研究的两难问题”。

 

简而言之，笔者的观点是：意识不等同于行为（这个行为可以是广义的，包括可测量的神经活动之类）。意识是内在的，是外部观察者观察不到的；而行为则是外在的，原则上可以用科学仪器进行客观测量。

 

正是因为混淆了意识与行为，现在的媒体和科学讨论中才常常出现纷争。特别当牵涉到机器的时候，用了许多拟人化的表述，虽然博人眼球，但是却造成了思想上的混乱。例如把表情（expression，情绪的外在表现）说成感受（feeling，情绪的内在表现），把语言信号处理说成语言理解，把神经信号控制说成意念控制，如此等等。而一般人也很愿意接受这种拟人化的“骗局”。事实上，即使在人工智能的早期，麻省理工学院计算机科学家魏岑鲍姆（Joseph Weizenbaum）就于1966年开发了一种聊天程序（chatterbot）（注：许多人把它译为“聊天机器人”，因为这个词的英文词和机器人的英文词有相同的词尾bot。不过王老师认为，最好把机器人这个词留给有实体的硬件，还是译为聊天程序好些。）伊莉莎（ELIZA）。伊莉莎模仿了一位心理治疗师，主要是将病人的描述改写为问题：

 

人类：我的男朋友让我来这里。

 

伊莉莎：是你的男朋友让你来这里的？

 

人类：他说我大部分时间都很郁闷。

 

伊莉莎：听到你很郁闷，我很抱歉。

 

人类：这是真的。我不开心。

 

伊莉莎：你认为来这里能帮助你摆脱郁闷吗？

 

魏岑鲍姆发现，即使患者完全意识到他们正在和一个简单的计算机程序对话，人们仍然会把它看作是一个真实的、能思考的、关心他们问题的人。这种现象现在被称为“伊莉莎效应”。魏岑鲍姆后来写道：“我当时没有料到......和相当简单的计算机程序只谈了短短一会儿就可能会引起正常人的强烈妄想。”这可能是人们愿意相信本无意识的主体也有意识的一个重要原因吧。

 

理解意识的科学理论≠体验意识

 

美国神经科学家和科普畅销书作家萨克斯（O. Sacks）曾在他的书中描述过一个十分罕见而生动的案例：

 

美国神经科学家巴里（S. Barry）生下来就是对眼，两眼不能协同工作。这样，除非把东西放到她鼻尖附近，她就没有任何双眼视差。不过她可以利用单眼线索判断远近，因此正常人能做的事她也都能做。萨克斯有一次问她，能否想象立体视觉的感受？她回答说，应该能够做到。要知道，她本人是一位神经生物学教授，读过休伯尔（D. H. Hubel）和维泽尔（T. Wiesel）的文章，还读过许多有关视觉信息处理、双眼视觉和立体视觉的材料，因此她相信这些知识能让她洞烛自己的视觉缺陷。她认为，尽管从未体验过立体视觉，也一定知道这种知觉是怎么回事。

 

然而，事隔9年之后，巴里写信给萨克斯说：“您问过我能否想象用双眼看东西的感觉如何，而我告诉您我想自己能做到这一点……但是我错了。”原来，不久前巴里经过治疗后真正拥有了双眼视觉。她回忆起当时的感觉：“我回到车里，正巧看着方向盘，方向盘一下子从仪表板处跳了出来……我看了一眼后视镜，它也从挡风玻璃处跳了出来。”她惊叹道：“绝对是一种惊喜，真无法想象之前我一直缺少的是什么……这个早上当我带了狗去跑步时，我注意到灌木丛看上去不一样了。每片叶子看上去都屹立在它自己那小小的三维空间中，叶片不再像我以前一直看到的那样重叠在一起，我可以看到在叶片之间有空间。树上的枝条、路面上的鹅卵石、石墙中的石块也无不如此。每样东西的质地都丰富了起来……”她在信中描写了所有这些对她说来全新的体验，都是之前她无法想象或推断得出的。她发现没有东西能代替自己的体验。[6]她知道立体视觉在神经层次的全部描述（根据这种描述所发明的立体电影，确实能使正常人产生非常逼真的立体感，这足以说明这种理论的正确性），但是这不能代替她主观上的立体感，不管在什么层次进行描述都没有用。

 

另外，观察神经层次的是一位外界观察者（第三人称视角），而体验主观的立体知觉（某种特定的意识内容）的只能是主体自己（第一人称视角）。巴里在缺乏立体感时，尽管她懂得双眼视差是产生立体感的主要机制，但是她完全体验不到立体感。当她经过治疗恢复立体感后，她对某个对象的立体感也未必和我的立体感一样。——只有在治疗后，才能谈得上王培老师所说的“私用眼镜”和“共用眼镜”。治疗之前的故事只能说明，科学理论本身不等于感受，它只能解释共用眼镜生效（有立体感）的条件，而不能令其生效（让巴里产生立体感），更不能解释为什么会生效（人为什么会有立体感）。

 

科学理论和体验意识不是一回事，埃德尔曼对此曾有一段很精辟的阐述：

 

主观体验特性假设说的是，意识的主观的、定性的方面具有私密性（private），它不能直接通过本质上是公开的和主体间的（intersubjective）科学理论进行交流。接受这一假设并不意味着我们不可能描写产生意识的充分必要条件，而只是说描述意识并不等于产生和体验意识本身……我们可以分析意识，描写意识是怎样涌现出来的，但是如果我们不先拥有生物个体体内适当的脑结构及其动力学过程，我们就没有办法产生意识。这一假设有助于避免下列观念：有关意识的成功科学理论就是意识经验本身的替身，或者只要根据科学描述和假设（不管它们和意识的关系如何密切）就可以体验到某个主观体验特性。[2]

 

私密性和共情

 

关于意识私密性的起源，埃德尔曼有一段很有启发性的议论：

 

我们把功能性聚类定义成在单个脑中彼此相互作用的一组神经元素，这种相互作用比它和周围神经元的相互作用要强得多。因为动态核心构成了一个功能性聚类，发生在核心中的变化很快强烈影响到核心的其余部分，而发生在核心之外的变化对它的影响就要慢得多，也要弱得多，甚至根本没有什么影响。因此，在环境和动态核心内部的信息性状态之间有某种功能性的边界，这使得这些核心状态是非常“私密的”。[7]

 

王培老师认为，共情可以破除部分私密性，这想法自然有他的道理。毕竟，人脑从大体结构上来说是类似的，因此类似脑区活动所涌现出的特性有其类似之处，这可能是共情的神经基础。近年来对镜像细胞（mirror neuron）的研究也提示，当主体看到其他主体的活动时，主体的镜像细胞（更可能是某个镜像系统，而不是孤立的细胞）也会激活起来，仿佛自己也在做同样的事情。有科学家认为这就是共情的神经基础。[8]

 

然而没有两个人的脑是完全一样的，哪怕他们是同卵双胞胎。再加上后天经历对神经回路的修饰，差别就更大了。因此共情只能是大致的、而不可能确切地体验到他人的感受。正如当我们看到一位西方朋友吃皮蛋时的表情，可能会使我们联系起我们吃意大利蓝奶酪（blue cheese，有强烈的气味，一般国人都吃不惯）时的感受。我们主管厌恶情绪的脑区都给激活了起来。但是我们永远也不能确切地体验他们吃皮蛋时的真正体验。

 

 

拉马钱德兰曾经提出过消除意识私密性的一个思想实验。他假想，可以用一根神经束或一根电缆把两个人的脑的相应脑区联结起来，那么这两个人就能共享他们的感受了。[9]然而他忘记了，没有两个人的脑是完全一样的，因此也就不可能找到一一对应的神经元用神经或电线联系起来，这在原则上就是无法做到的。即使，假设真的做到了这一点，两个原来各自分离的动态核心现在联结成了一个大的新动态核心，那么原来两个脑的活动必然要互相作用，而不再是两个独立分离的脑了——其活动肯定不同于联结之前每个脑的导读活动。不独立，也就谈不上共享了。

 

因此，共情只能让我们猜测他人的感受或体验类似的感受，而不能让我们真正确切地分享他人的感受。

 

在可预见的未来，还不可能在计算机上实现人工意识

 

从逻辑上说，有朝一日，我们确实可能实现人工意识。因为脑归根结底也依然是一种物理系统，虽然是相当特殊的物理系统。科学所要研究的正是其他物理系统涌现出意识的合适条件。

 

王培老师和我的分歧在于“可预见的未来”，甚至是“现在”。

 

王培老师认为“从原则上讲，任何对象或过程都可以在计算机中被模拟或仿真，而结果的逼真程度会随着计算机模拟技术的发展和对模拟对象的认识加深而不断提高。对于人脑这个对象当然也不例外……”对此，我持怀疑的态度。的确，现在对脑中的许多神经过程确实可以用算法来描述，这已成为“计算神经科学”的主要研究目标，但是这些过程在笔者眼里都属于“行为”范畴，原则上都可以用仪器客观测量。对于主观的意识是否可以找到这样的算法？

 

另外，意识并非都能用语言来描述，许多体验都“只可意会”而“不可言传”。那么该如何采集样本、定量描述呢？尽管目前的机器学习已经可以不用根据算法指令逐步计算，可是没有样本还是无法学习。

 

顺便再说一句，王培老师的这段话实际上等于说脑和计算机在某种意义下是等价的。这也是许多人工智能专家的意见[10]，但是也有不少人对此持有怀疑态度。例如埃德尔曼就明确宣布“脑不是图灵机”[2]。究竟该怎么看这一问题，笔者不知道，但是看来还值得深入讨论。

 

我不知道科学能否最终回答一切“为什么”和“如何”的问题，如果承认最终总会有一些不可还原，而只能承认其存在的现象，算不算“不可知论”呢？人们容易承认从上向下还原，最后会碰到某个“底层”而无法继续还原，那么为什么就不可以从下往上到达“顶层”而涌现出某些无法还原的现象呢？从我们日常所处的物理环境向下深入到微观世界时，我们原来熟悉的确定性规律不再成立，而代之以概率性规律，经过长期斗争，人们已经由于“事实胜于雄辩”而承认了这一点。既然可以承认从微观层次往上到宏观层次，规律可以不一样，为什么从日常的宏观层次到心智层次就不能在规律上有所不同，而用决定论来排斥“自由意志”的可能性呢？同样地，既然在最底层，我们比较容易承认有一些不能问“为什么”和“如何”而只能承认其存在的特性的问题，为什么到了意识这样的顶级层次，就不能这样做呢？

 

不应该发展真正有自主意识的机器

 

 

一个机器，不管其行为如何像人，若没有自己的意识，更没有自己的意志，就始终只能是一种工具，其为善或为恶，就始终是其主人的问题。现在社会上流行的人工智能危险论，其前提是假定人工智能有自己的意识甚至意志。如果人工智能真的有了自己的意识甚至意志，那么你就无法完全左右它，这不用说是机器，对于有意识和自己意志的人，你都无法左右。考虑到人工智能的速度和储藏知识量之大，即使先不考虑它自我迭代的可能性，其无法控制的能量都是令人不寒而栗的。

 

“好在”，我们人对自己的意识和意志尚且很不清楚，要在机器上实现我们根本不清楚的对象，恐怕更为困难。所以笔者以为，对人工智能的危险不必看得过于严重，正如地球总有毁灭的一天，但是我们不必现在就忧心忡忡。当然，为了防止这种危险，笔者同意周志华教授的意见——我们根本就不应该研究具有自主意识的人工智能。也正因为如此，意识研究不仅对脑科学和认知科学的研究有着重大意义，对人工智能的研究也同样重要。

 

致谢

 

在阅读王老师的文章之后，我有些没有确切领会他的意思的地方，多次去信向他请教，他不嫌其烦，每次都在第一时间给与详细的解释，这使我尽可能不致误解他的原意。本文写成之后，我又发给王老师审阅，看是否有曲解他的原意之处。王老师在百忙之中又第一时间审读了全文，并作了回复。笔者觉得王老师的意见非常中肯，对笔者和读者的进一步思考有很大帮助，因此在征得王老师同意后，把他的回复附于文后。这是特别要向王老师致以最深切的谢意的。另外施拉根霍夫博士、梁培基教授审阅了本文草稿，并提出宝贵意见，在此一并致谢。

 

参考文献

 

[1] 顾凡及，卡尔·施拉根霍夫（2019）脑与人工智能：一位德国工程师与一位中国科学家之间的对话（含三册: 《脑研究的新大陆》《意识之谜和心智上传的迷思》《人工智能的第三个春天》）[M].上海教育出版社，（第一卷已出版，其他两卷可望在10月中左右面世。）.

 

[2] Edelman G (2006) Second Nature: Brain Science and Human Knowledge. Yale University Press, New Haven.

 

中译本：埃德尔曼著，唐璐译（2010）第二自然：意识之谜。湖南科学技术出版社，长沙。

 

[3] Gu, F. (2018) Two open problems in consciousness studies. Journal of Consciousness Studies, 25(1-2):230-247

 

[4] Dehaene S. (2014) Consciousness and the brain: deciphering how the brain codes our thoughts. New York: Viking Press, 2014.

 

中译本：迪昂著，章熠译（2019）脑与意识。浙江教育出版社。

 

[5] Tononi G. (2012) Phi: A Voyage from the Brain to the Soul, Pantheon.

 

中译本：托诺尼G. 著，林旭文译（2015）PHI：从脑到灵魂的旅行.. 北京: 机械工业出版社。

 

[6] Sacks O. (2010) .The Mind's Eye[M]. A Knopf e book.

 

[7] Edelman G and Tononi G (2000) A Universe of Consciousness: How Matter Becomes Imagination, Basic Books, New York

 

中译本：埃德尔曼和托诺尼著，顾凡及译（2019）意识的宇宙：物质如何转变为精神（重译本）上海科学技术出版社，上海（年内出版）

 

[8] Ramachandran VS. (2011) The Tell-tale Brain - A Neuroscientist’s Quest for What Makes Us Human[M]. W. W. NORTON & COMPANY.

 

[9] Ramachandran VS and Blakeslee S.(1998) Phantoms in the Brain[M]. William Morrow and Company, INC.

 

中译本：拉马钱德兰和布莱克斯利著，顾凡及译（2018）脑中魅影：探索心智之谜，湖南科学技术出版社。

 

[10] 尼克（2017）人工智能简史。人民邮电出版社。

 

王培教授对本文的简要答复

 

我觉得您的文章将观点及其理由都表述得很清晰，其中很多也是我同意的，比如关于伊莉莎效应的讨论和 “索菲亚没有意识” 的判断。

 

我们的分歧大多出自于对有关概念（如 “意识” ）的用法不同。计算机和人脑自然既有共同点又有不同点。我看到共同点更多一些，因此觉得很多传统上只描述人脑的概念可以被应用到计算机上；您看到的不同点更多一些，因此反对这种用法。像我在《新理论该怎么为概念下定义？》里面分析的，在这种地方没有 “对错” 之别，但有 “好坏” 之别，只是这种概念定义之间的竞争往往要很长时间之后才能见分晓。目前我们只要理解各人的不同观念就够了。

 

真正影响目前工作的是您最后提到的问题：是否应该研发有自主意识的机器。我的有关想法在《人工智能危险吗？》和《人工智能治理原则发布，但只是“看上去很美”》中已经表述了。尽管那里只谈了“智能”，没有提“意识”，但我做的这种 “通用智能” 最终是会涉及 “意识” 的。简单地说，我的观点是（1） 通用人工智能的确有危险（尽管绝不是必然会导致灾难），（2）但仍是利大于弊（不仅仅是经济之“利”），（3）事实上也不可能禁止这项研究。当然我没法证明这个观点的正确性，但相反的观点尚未说服我停止这个探索。这是个需要进一步的研究来回答的问题。

 

基于上述情况，我觉得我目前没有足够新材料在这个题目上再写一篇文章。与其重复我自己，还不如让出场地，看看其他人会说什么。

 

 

版权说明：欢迎个人转发，任何形式的媒体或机构未经授权，不得转载和摘编。转载授权请在「返朴」微信公众号内联系后台。