让我们将超级智能机器定义为一种能够源源超越任何人的所有智力活动的机器。如果说设计机器是这些智力活动中的一种，那么超级智能机器肯定能够设计出更加优良的机器；毫无疑问，随后比较出现一场“智能爆炸”，人类的智能会被远远抛在后面。因此，第一台超级智能机器是人类需要完成的最后一项发明，前提是这台机器足够听话，会告诉我们如何控制它。
      ••••••
      在二十世纪之内，超级智能机器将很可能被制造出来，而它会是人类需要进行的最后一项发明。
      古德抓住了这场失控过程的本质，但并没有继续追究其中最令人烦忧的后果。任何一种他所描述的智能机器都不会仅仅成为人类的“工具”—就像人类不会是兔子、知更鸟或者黑猩猩的工具一样。
      从二十世纪六十年代、七十年代直到八十年代，人们对大灾难的认识蔓延开来，也许科幻小说作家是最早感觉到实质性冲击的人。硬科幻作家们尝试用详细而缜密的故事来讲述技术可能给我们带来的影响。这些作家越来越清晰地感觉到，人类的未来树起了一堵不透明的墙。从前，他们可以把这种幻想事件推到数百万年之后；但现在他们看到，他们孜孜不倦的推测表明，那个未知世界离我们非常之进。从前，银河系帝国也许看起来像是后人类发生的事情；而现在看来，可悲的是，甚至连行星际帝国也成了后人类时代的产物。
      随着我们走进超人剧变的边缘，二十一世纪初会是怎样的情形？超人剧变临近的观念会如何融入人类的世界观嗯？人们对智能机器的评价暂时还不会太坏。毕竟，在我们制造出像人类大脑一样强大的硬件以前，我们很难制造出相当于人类（或者高于人类）的智能。（还有一种很勉强的可能性:如果我们愿意牺牲速度，也许我们能够利用不太强大的硬件制造出相当于人类的机器。但这样的话，其中将充满错误、失败和试验。于是乎，拥有自我意识的机器还是只有等到比人类头脑强大的硬件出现时，才有可能变为现实。）
      但是，随着时间的流逝，我们应该能看到更多的征兆。科幻小说作家所感觉到的困境在其他创造性活动领域也会被感知到。（我曾听说过一些深思熟虑的漫画作家担心当任何画面都能通过普通技术实现时，他们怎么才能创造出震撼人心的视觉效果。）我们将会看到自动化设备接管越来越高级的工作。我们现在已经拥有很多自动化技术（例如象征性数学程序，计算机辅助设计/计算机辅助管理），能把我们从绝大多数低层次的苦差事中解脱出来。或者换个说法：真正有创造性的工作将成为一群数量越来越少的人类经营的专有领域。随着超人剧变的来临，我们将看到因工业发展而造成全民失业的预言变成现实。
      另一个逐步走向超人剧变的征兆是：观念与信息的传播速度越来越快，即使是最激进的观点也会很快变成常识。当我在二十世纪六十年代初开始写科幻小说时，很容易就能想到二三十年之后才会慢慢进入大众视野的主意，而现在，科幻小说家的设想似乎只能领先于现实十八个月。（当然，这可能只是我在年龄增长的过程中失去了想象能力，但我看到这种效果在其他作家身上也很灵验。）当我们以临界速度不断加快前进的步伐时，超人剧变就会离我们越来越近。
      超人剧变真正来临的时候又会怎样？我们能做出什么预测？既然它涉及到一个智能爆炸的过程，那么它很可能会比迄今为止看到过的人和科技革命发展得都更加迅速。即使来临的时间很可能会是意想不到的—甚至对密切关注它的研究者们来说也是如此。如果网络的散布足够广泛（成为无处不在、高度渗入的系统），那我们也许可以看到，我们拥有的所有人造物品仿佛全都突然苏醒了过来。


      在那之后一两个月（或者一两天）会发生什么呢？我只能打一些比方：就如同人类的崛起。我们将进入后人类时代。以最乐观主义的眼光来看，有时候我认为如果这些超越性剧变在一千年后，而不是二十年之内发生的话，我会感到踏实得多。超人剧变能够避免吗？
      嗯，也许它根本就不会发生：有时我试图想象出一些表明超人剧变不会发生的征兆。彭罗斯和希尔之间关于人工智能能否实现的争论受到了广泛的关注。1992年8月，思考机器公司召开了一次研讨会来探究“我们如何才能制造出能够思考的机器”这一问题。从研讨会的名称你们也许就能猜出，参与者并不是非常反对人工智能实现的可能性。实际上，大家一致认可“意识能够在非生物的基础上存在”，“对意识的存在起至关重要作用的是运算法则”。不过，对于大脑器官中天然的硬件功能，大家仍存在争议。
      少数与会者认为，1992年人类制造出的最大型的计算机的运算能力与人类大脑的差距在三个数量级以内。大多数与会者则同意莫拉维克的估测，认为计算机的运算能力要在等到十到四十年才能与人脑抗衡。还有另外一部分人支持，单个神经元的运算能力也许远远超过大家普遍的认识。如果是这样的话，目前我们电脑的运算能力与我们头脑的差距就高达十个数量级（就此而言，彭罗斯和希尔的争论是正确的），我们也许永远见不到超人剧变。取而代之的是，在二十一世纪初，我们将会看到硬件性能提升的速度开始变得平缓—这是因为我们无法取得足够的设计自动化来支持硬件性能的进一步提升。
      我们最终得到的将是一些非常强大的硬件，但却没有能力将它进一步向前推进。商业数据信号处理也许很令人敬畏，能使数字运算看起来就像是模拟运算，但没有任何东西会觉醒，也不会出现超人剧变的必要条件—智能爆炸。这个时期可以被视作黄金时期，这也将是进步的终结。这很像冈瑟•斯坦特的预见，在《即将来临的黄金时代：对发展终点的展望》一书的第137页，斯坦特清楚地谈到超人智能将是打破这种状态的充分条件。
      但是，如果超人剧变可能发生，那它就会发生。即便世界上所有的政囧府都意识到这个“威胁”，并且感到极度恐惧，整个进程也将继续下去。在小说中，有些故事曾描写人们通过法律禁止制造“拥有类似人类头脑的机器”。但是即使，竞争这个特征存在于能够促进自动化控制的各个领域，包括经济、军事，甚至艺术。它的影响力如此强大，以至于如果通过立法或者设限来禁止这类事情的发生，只会导致他人捷足先登。
      麻省理工学院的埃里克•德雷斯勒对技术进步的前景提出了令人惊叹的预测。他赞成超人智能可能在近未来出现—这样的实体将对人类的现状造成威胁。但德雷斯勒辩称，人类能够限制这类超人设备，超人设备及其影响可以受到检验，并且加以安全使用—这就是I•J•古德的超级智能机器，它增加了防护设备。我认为这种限制本身就是不切实际的。至于说到物理限制：想象一下你自己被关在家里，跟外界的主人只有有限的数据连接。如果主人的思维比你慢一百万倍，那么毫无疑问，经过几年时间（你的主观时间），你就能在给主人提供“有用的主意”的同时把自己放出来。（我把这种依靠快速思维取胜的超级智能叫做“弱势人工智能”，这样的“弱势人工智能”很可能在几周以内就耗尽了生命周期。）
      “强势人工智能”要比仅仅加快运算速度复杂得多。很难准确地形容“强势人工智能”会是什么样，但这种差异会很明显。想象一下，将狗的思维速度大幅提高，这样的狗活一千岁能产生出人的思想吗？（如果现在对狗的思维进行重新整理，然后再让其高速运行，我们也许能看到不一样的事情。）很多对超级智能的想象似乎都是基于“弱势人工智能”。我相信我们对超人剧变以后世界的想象最好基于“强势人工智能”本质的思考。


      另一条对人工智能进行限制的途径是在已经制成的超人智能实体中建立规则（例如阿西莫夫的“机器人三大定律”）。我认为任何足够严格，并且能够生效的规则也会导致受限实体的能力明显低于那些更具危险性的实体）。不过，阿西莫夫的梦想也非常令人赞叹：想象一个听话的奴隶，它各方面的能力都比你高一千倍。想象一个能够满足你各种良好愿望的家伙，而且它剩余百分之九十九的时间还能从事其他各种活动。我们将面对一个我们以前从没真正理解过的新宇宙，而且充满了仁慈的神灵（尽管我的一个愿望是成为它们中间的一员）。
      如果超人剧变无法被阻止或加以限制，那么后人类时代会糟糕成什么样子呢？嗯•••••相当糟糕。人类从地球上消失是其中的一种可能（或者像埃里克•德雷斯勒对纳米技术的评论：有了这些技术，也许政囧府完全可以断定他们不再需要公民了！），但并非是最可怕的一种可能。让我们再打一个比方：想想我们与动物的关系。倒不是说超人智能实体会从身体上虐待我们，但是，像人类这样具有自我意识的自动装置在某些低层次的应用领域有实用价值，比如成为大型智能实体中负责较低级功能的、具备自我意识的程序—“强势人工智能”很可能由一个智能群体组成。
      某些这样的人类部件也许只会被用来进行数据信号处理。他们将更像鲸，而不是现在意义上的人类。其他的人类也许更接近人类智能，但却只保留大脑能力的一个方面—在我们的时代，这种偏向会把他们送进精神病院。不过，这些家伙中没有一个算得上是有血有肉的人类，在新的世界中，他们可能是最类似于我们目前所谓的人类的家伙。（I•J古德对此有一些说法，尽管在此刻看来，这个建议显得毫无意义：古德提出了一种“梅塔-黄金定律”，它可以被解释为“善待比你低级的物种，正如你需要比你高级的物种的善待”。这是个美妙而又荒谬的主意—我的大多数朋友都不相信这个定律，因为理论上的回报是如此难以确定—但如果我们遵循这个定律，从某种意义上也许能够解释这样的友善存在的可能性。）
      以上我已经论证了我们无法阻止超人剧变，它的来临是人类天生的竞争性和科技固有的可能性的必然结果。不过，我们仍然是始作俑者。即便是最剧烈的雪崩也是由微不足道的小事引起的。我们有创建初始条件的自由，可以让事情朝着较为有利的方向发展。当然（就像引起一场雪崩一样），也许真正的触发因素我们并不十分清楚。
      超人剧变能够避免吗？
      嗯，也许它根本就不会发生：有时我试图想象出一些表明超人剧变不会发生的征兆。彭罗斯和希尔之间关于人工智能能否实现的争论受到了广泛的关注。1992年8月，思考机器公司召开了一次研讨会来探究“我们如何才能制造出能够思考的机器”这一问题。从研讨会的名称你们也许就能猜出，参与者并不是非常反对人工智能实现的可能性。实际上，大家一致认可“意识能够在非生物的基础上存在”，“对意识的存在起至关重要作用的是运算法则”。不过，对于大脑器官中天然的硬件功能，大家仍存在争议。
      少数与会者认为，1992年人类制造出的最大型的计算机的运算能力与人类大脑的差距在三个数量级以内。大多数与会者则同意莫拉维克的估测，认为计算机的运算能力要在等到十到四十年才能与人脑抗衡。还有另外一部分人支持，单个神经元的运算能力也许远远超过大家普遍的认识。如果是这样的话，目前我们电脑的运算能力与我们头脑的差距就高达十个数量级（就此而言，彭罗斯和希尔的争论是正确的），我们也许永远见不到超人剧变。取而代之的是，在二十一世纪初，我们将会看到硬件性能提升的速度开始变得平缓—这是因为我们无法取得足够的设计自动化来支持硬件性能的进一步提升。


      我们最终得到的将是一些非常强大的硬件，但却没有能力将它进一步向前推进。商业数据信号处理也许很令人敬畏，能使数字运算看起来就像是模拟运算，但没有任何东西会觉醒，也不会出现超人剧变的必要条件—智能爆炸。这个时期可以被视作黄金时期，这也将是进步的终结。这很像冈瑟•斯坦特的预见，在《即将来临的黄金时代：对发展终点的展望》一书的第137页，斯坦特清楚地谈到超人智能将是打破这种状态的充分条件。
      但是，如果超人剧变可能发生，那它就会发生。即便世界上所有的政囧府都意识到这个“威胁”，并且感到极度恐惧，整个进程也将继续下去。在小说中，有些故事曾描写人们通过法律禁止制造“拥有类似人类头脑的机器”。但是即使，竞争这个特征存在于能够促进自动化控制的各个领域，包括经济、军事，甚至艺术。它的影响力如此强大，以至于如果通过立法或者设限来禁止这类事情的发生，只会导致他人捷足先登。
      麻省理工学院的埃里克•德雷斯勒对技术进步的前景提出了令人惊叹的预测。他赞成超人智能可能在近未来出现—这样的实体将对人类的现状造成威胁。但德雷斯勒辩称，人类能够限制这类超人设备，超人设备及其影响可以受到检验，并且加以安全使用—这就是I•J•古德的超级智能机器，它增加了防护设备。我认为这种限制本身就是不切实际的。至于说到物理限制：想象一下你自己被关在家里，跟外界的主人只有有限的数据连接。如果主人的思维比你慢一百万倍，那么毫无疑问，经过几年时间（你的主观时间），你就能在给主人提供“有用的主意”的同时把自己放出来。（我把这种依靠快速思维取胜的超级智能叫做“弱势人工智能”，这样的“弱势人工智能”很可能在几周以内就耗尽了生命周期。）
      “强势人工智能”要比仅仅加快运算速度复杂得多。很难准确地形容“强势人工智能”会是什么样，但这种差异会很明显。想象一下，将狗的思维速度大幅提高，这样的狗活一千岁能产生出人的思想吗？（如果现在对狗的思维进行重新整理，然后再让其高速运行，我们也许能看到不一样的事情。）很多对超级智能的想象似乎都是基于“弱势人工智能”。我相信我们对超人剧变以后世界的想象最好基于“强势人工智能”本质的思考。
      另一条对人工智能进行限制的途径是在已经制成的超人智能实体中建立规则（例如阿西莫夫的“机器人三大定律”）。我认为任何足够严格，并且能够生效的规则也会导致受限实体的能力明显低于那些更具危险性的实体）。不过，阿西莫夫的梦想也非常令人赞叹：想象一个听话的奴隶，它各方面的能力都比你高一千倍。想象一个能够满足你各种良好愿望的家伙，而且它剩余百分之九十九的时间还能从事其他各种活动。我们将面对一个我们以前从没真正理解过的新宇宙，而且充满了仁慈的神灵（尽管我的一个愿望是成为它们中间的一员）。
      如果超人剧变无法被阻止或加以限制，那么后人类时代会糟糕成什么样子呢？嗯•••••相当糟糕。人类从地球上消失是其中的一种可能（或者像埃里克•德雷斯勒对纳米技术的评论：有了这些技术，也许政囧府完全可以断定他们不再需要公民了！），但并非是最可怕的一种可能。让我们再打一个比方：想想我们与动物的关系。倒不是说超人智能实体会从身体上虐待我们，但是，像人类这样具有自我意识的自动装置在某些低层次的应用领域有实用价值，比如成为大型智能实体中负责较低级功能的、具备自我意识的程序—“强势人工智能”很可能由一个智能群体组成。
      某些这样的人类部件也许只会被用来进行数据信号处理。他们将更像鲸，而不是现在意义上的人类。其他的人类也许更接近人类智能，但却只保留大脑能力的一个方面—在我们的时代，这种偏向会把他们送进精神病院。不过，这些家伙中没有一个算得上是有血有肉的人类，在新的世界中，他们可能是最类似于我们目前所谓的人类的家伙。（I•J古德对此有一些说法，尽管在此刻看来，这个建议显得毫无意义：古德提出了一种“梅塔-黄金定律”，它可以被解释为“善待比你低级的物种，正如你需要比你高级的物种的善待”。这是个美妙而又荒谬的主意—我的大多数朋友都不相信这个定律，因为理论上的回报是如此难以确定—但如果我们遵循这个定律，从某种意义上也许能够解释这样的友善存在的可能性。）


      以上我已经论证了我们无法阻止超人剧变，它的来临是人类天生的竞争性和科技固有的可能性的必然结果。不过，我们仍然是始作俑者。即便是最剧烈的雪崩也是由微不足道的小事引起的。我们有创建初始条件的自由，可以让事情朝着较为有利的方向发展。当然（就像引起一场雪崩一样），也许真正的触发因素我们并不十分清楚。
      通向超人剧变的其他方式：智能放大
      当人们说到创造超人智能实体时，他们通常想象的都是人工智能工程。但是我在论文的开头就提到了，还有其他通向超人剧变的途径。计算机网络和人机交互界面似乎比人工智能更加寻常，但它们都可能导向超人剧变。我把这种另外的途径称为智能扩大（IA）。智能扩大的发展非常自然，在大多数情形下，甚至连它的创造者都没有察觉到。不过，每一次我们获取信息和向他人传输信息的能力得到提高，从某种意义上来说，我们就是将天然智能提升到了新的层次。比如现在，一个博士小组和一个好的计算机工作站（即便是没有联网的工作站）可能就已经超越了迄今为止任何一种智能测试。
      跟纯粹的人工智能相比，只能扩大很可能是通向超人智能实体更为容易的途径。人类存在本身就意味着最为困难的问题已经得到解决。从我们自身内部开始发展应该比先分析出我们到底是什么、然后再造出与之相同的机器要容易得多。这条途径至少有一个理论上的先例：凯恩斯-史密斯曾猜想生物生命是由基于晶体生长的更加原始的生命发展出来的；林恩•马古里斯则曾极力辩称共生现象是进化到一种强大推动力。
      请注意，我并不是说人工智能研究可以被忽略或者削减研究费用。人工智能所取得的成果通常都可以用于智能扩大，反之亦然。我是说我们得认识到，在网络和人际互动界面研究中，有些东西跟人工智能一样意义重大。有了这种看法，我们也许会重视一些新的工程，它们并不像传统的界面和网络设计工作一样直接且实用，但却能推动我们沿着智能扩大的方向向超人剧变前进。
      在考虑到智能扩大之后，以下是一些有着特殊意义而且具有可能性的工程。
      人机小组自动化管理。用来解决那些通常纯粹依赖计算机的问题（例如爬山算法），设计使用的程序和界面，结合人类的直觉和电脑的硬件能力。考虑到更高级的爬山算法的棘手性质（以及为此设计的精妙算法），人类成员将获得非常有趣的演示和控制工具。
      用于艺术创作的人机共生体。将现代计算机的图像生成功能和人类的敏锐感知能力结合起来。当然，人们花费了大量劳动来设计为艺术家服务的辅助计算机，以节省劳动力。我的建议是我们直接把目标锁定在更大范围的融合上，实现最有助于协作的方式。
      允许人机联合团队参加棋类比赛。我们已经拥有棋艺超过绝大多数人类的程序。但是在怎样利用这些程序来改善人类思维水平方面我们又做了多少呢？假如这样的小组至少被允许参加某些棋类比赛，那么其对智能扩大方面所起的积极作用，就和允许计算机参加棋类比赛对人工智能研究所起的推动作用一样。
      发展不需要人类待在某个固定的地方（比如坐在电脑前面）才能使用的人机界面和网络接口。（这是智能扩大研究与经济利益最直接挂钩的地方，因此在这方面聚集了大量人力物力。）
      发展更对称的决策系统。近几年的一个热门领域就是决策系统。这是智能扩大的一种形式，但人们也许过于关注建造近乎全能的决策系统。重要的是，在电脑程序给予用户信息的时间，用户也应该反馈给程序足够的信息与指导。


      问题不只是超人剧变代表了人类退出历史舞台的中心，而且它还挑战了我们内心最深处关于存在的信念。我想，对“强势人工智能”的进一步审视能告诉我们个中原因。
      “强势人工智能”以及我们所能企求得最好结果
      想象一下，加入我们能够调整超人剧变，加入我们能让最大的奢望变成现实，那样的话我们将企求什么：企求未来的超人仍是人类的继承者，企求我们对自身本性的人士将让一切不公正的事情受到遏制。对那些没有成为超人的人来说，他们将会受到仁慈的对待（也许甚至让那些滞后者感觉自己成为了神灵的主人）。这是个仍在不断向前进步的黄金时代，长生不老（至少是在我们能让宇宙存在的时间内）将成为现实。
      但在这个光明而友善的未来世界当中，哲学问题将变得越来越迫切。一个容量保持不变的头脑无法永远生存下去，经过几千年之后，它越来越像一盘不断重复的磁带，而非一个人类。要活得无限长，头脑本身必须不断成长。当它变得足够强大，在回顾以往，对它最初的自己该会充满怎样的同情？当然，成长后的头脑仍然是原先那个头脑，但它本身增加可多少内容啊。所以，仅就个体而言，凯恩斯-史密斯和林恩•马古里斯关于新生命逐渐超越旧生命的概念仍是有效的。
      关于长生不老的“问题”体现在其他更加直接的方面。关于自我和自我意识的概念是上几个世纪最务实的理性主义的基础，但现在，自我意识的概念收到了人工智能研究者的攻击，智能扩大从另一个方面削弱了我们的自我观念。超人剧变之后的世界将充满极高带宽的网络。强势人工智能的核心特征将是它们通过不同带宽进行交流的能力，包括远高于语言和文字信息的交流方式。当自我的一部分可以被随意地复制和融合，自我意识能够扩大或缩小以适应需要解决的问题，那个时候会发生些什么？这些都是“强势人工智能”和超人剧变的一些核心特征。仔细想想，你会感觉到超人剧变之后的世界将会是多么的奇异，不论它看起来是多么的友善和睿智。
      从一个角度来看，这样的前景满足了我们最乐观的展望。永恒的生命，在其中我们能真正相互理解，洞悉最深层的奥秘。但从另一个角度来看，这种前景又很像我在前文中想象过得最糟糕的情景。
      哪一个才是正确的看法？实际上我想，新的时代太过奇异，无法用好与坏的传统标准来加以定义。这个标准是基于由少量数量稀少的低带宽线路连接起来、彼此孤立、自我不可分割的头脑组成的群体社会之上的。但超人剧变过后的世界完全契合与长久以来一直存在的变化与合作传统。我想在这样的时代，一些道德观念仍然是适用的。对智能扩大和高带宽连接的研究将改善有助于这种理解。我现在仅仅看到了这一切萌芽的曙光。我们有古德的梅塔-黄金定律，也许我们还有基于带宽链接度的区别自我的方法。跟过去相比，头脑与自我将更加动荡不安，我们所珍视的很多东西（比如知识、记忆与思想）不能丢弃。我想弗里曼•戴森说对了：“神就是意识远远超出我们的理解范围之外的存在。”
      1993年，弗诺文奇在美国国家航空航天局（NASA）路易斯研究中心举行的一次讨论会上发表了这篇论文，它刊载于同年的《全地球评论》（WholeEarthReview）杂志上。在这篇论文中，文奇系统地阐述了自己的“超人剧变”理论。
      2008．11科幻世界译文版下半月版