算法时代，这本书想跟你讨论人类还有未来吗？

大街小巷，风雨无阻，横飞直撞……这是我们对外卖员的一般认识，我们称他们为“骑士”。

可是，当《人物》的一篇深度报道《外卖骑手，困在系统里》（点击阅读 ），揭露了他们拿生命作赌注，和时间赛跑的生存现状，以及随后饿了么平台发起的设置“多等5/10分钟”的按钮，引起央视新闻乃至全网的关注。

我们是该给予同情和宽容，还是该捍卫自己可能改变算法规则的权利？

2016年，一场AlphaGo战胜人的围棋大战，我们恐慌：人类会被机器人取代吗？

2020年，被算法操控的外卖骑手，我们恍悟：人类没有被取代，是被困在了网络世界。

外卖，网购，导航，视频，语音……现代生活，似乎绝大部分，都是由一台电脑或者手机决定的。

我们在屏幕上点击着我们的生活需求，究竟是我们控制着程序，还是算法控制着我们的喜好？

未来，人工智能也将更广泛的被使用。那么，什么会被人工智能所取代？人工智能有底线吗？底线在哪里？

恰逢其时，北京大学哲学教授、伦理学家何怀宏的新作《人类还有未来吗》，是一部应对高科技挑战的人文忧思之作。

人工智能、基因编辑、现代战争，以高科技为支撑的现代生活，人类面临诸多挑战。

秉持一种底线思维，既要拥抱技术带来的便利，也不忘反思被技术瓦解的力量。用道德和法律规约我们人类的本性和可能的作为，培育一种关注丰盛的生命和非物化的幸福观。

今天我们一起了解何怀宏对人工智能问题所秉持的底线思维。

人工智能与底线思维

本文节选自《人类还有未来吗》

文丨何怀宏

01

为什么人工智能需要底线思维？

现在我想阐述一下我在研究人工智能问题上所秉持的一种基本方法或者说思维取向，即底线思维的方法和取向。

在一般意义上，“底线思维”或可说是一种优先考虑到最坏情况、防止和化解最坏情况出现的思维。而在道德层面， “底线思维”也可以说是从防止出现最坏情况的思考开始， 从伦理的角度而言，“底线”的进一步含义是防止社会不致崩溃的底线，是作为社会成员的人们必须遵守的最起码和最基本的道德规范，也就是底线伦理。（有关这方面的详细论述参见何怀宏《底线伦理》，辽宁人民出版社1998 年版；何怀宏《良心论：传统良知的社会转化》（修订版），北京大学出版社 2017 年版。）

著者：何怀宏

所以，从道德底线的角度看，社会伦理应当主要考虑如何使人们普遍地成为守规则的人、有原则的人，而不是都成为英雄圣贤。虽然，在遵守规则的基础上，人们还可以继续努力。

多年来，我一直倡导并重点强调底线伦理，借用流行的一句话说就是，“规则比道德更重要”。但这句话里的“道德”恰恰反映出即便是赞成底线伦理的人，对伦理道德的概念也还有一种因袭的误解，就是将“道德”理解为高尚乃至完美、至善的价值标准。所以，“规则比道德更重要”说法的更恰当的含义应该是，普遍遵守规则比要求人们高尚无私更重要。

但是，在现代社会的伦理规范中，规则其实就是道德， 是道德的主要内容。而且，我强调的规则还不仅仅是指在公共生活中，诸如是否不要有占座行为这样的规则，而是关乎人类的生存、安全和基本权利的规则。

不同领域的学者无论有意识还是无意识都在坚持和主张底线思维。例如，一位社会学家谈到“生存的底线”，这正是在最基本的层次上坚持的底线；有一位历史学家谈到“共同的底线”，他是在强调和寻求一种基本的共识；还有一位哲学家似乎不完全赞同底线伦理的理论观点，但他主张一种“说理”的态度，而这恰恰是底线伦理所主张的。为什么要说出理由而不是动刀枪？为什么要说服而不是压服？这正是基于底线伦理的理由，因为底线伦理正是坚决反对暴力强制的。

对人工智能的思考也是如此。我基本上是秉持一种“底线思维”，也就是说首先在底线（这首先是生存）的层次上，考虑防止最坏的情况发生。然后，再考虑去争取最好，或者毋宁说是最不坏的一种情况。我对“最好”的理解可能和许多人不同，也就是指“还不坏”。其次，这一底线也是指基本的道德乃至法律的约束和规范，这是保存生命的最基本的原则。主要考虑的是如何确立人对机器伦理的规则，而不是考虑如何培养机器具有高尚的价值观。

而且，人工智能的最坏情况很可能恰恰发生在人们认为最好或者说要求最好的时候，也就是说发生在这种智能变成通用的、超过了人类智能的超级智能时的临界点。过了这个临界点或者说奇点，世界上最聪明的存在就不是人类了，而是人类现在尚且不知、以后依然不知其究竟的某种超级智能存在。

那个时候的超级智能不是上帝，却堪比上帝，甚至胜似上帝，因为上帝不直接干预人类社会。但超级智能却是由人而生，而且会反客为主。所以，这种通用的超级智能的出现，将是人工智能带来的最大问题，比起所谓的“算法歧视”，甚至失业、“无用阶层”来说，这是最大的挑战，也是最大的危险。

02

人工智能是福还是祸？

谈到底线思维，是和高调理论相对而言，即对人工智能抱有一种很高的期待。有些人认为，智能机器将给人类带来极大的福祉和享乐，乃至带来“长生不老”以至于“永生”的可能。甚至还有一些富人，可能准备或者已经开始这种实践的尝试。

著者：［以色列］尤瓦尔·赫拉利

还有一种高调的认知是：一些人听说或者意识到人工智能可能带来危险，却依然执着地甚至有些盲目地认为，不管怎样，到时候人类还是能够有办法解决这些问题的，而且认为，这已经是被人类以往与机器打交道的经验所证明了的。人类可以依靠高智商加以应对，可以通过新的发明化解这些危险。

然而，人类现在面临的可能是一种全新的情况。以前遇到的技术所带来的风险，比如，机器所带来的各种事故或者灾难，甚至包括环境污染和全球气候变暖等问题，或者因为机器本身不具备智能，或者发生的速度还比较慢，都容有一定的时间使人类能够运用高智商和技术手段加以应对。但现在面临的情况之新在于：超级智能是一种比人类更聪明的存在，是一种控物能力超过人类的真正的“超人”。这样，就像有的学者所指出的，超级人工智能将可能是人类“最后的发明”。

著者：［美］詹姆斯·巴拉特

还有一些科学家和哲学家认为，即便是面对这种超级智能，人类还可以预先培植和训练这种超级智能机器的价值观， 比如说，可以考虑给这种机器人预先植入一种对人类友好的价值观。美国加州大学伯克利分校教授斯图尔特·拉塞尔（Stuart Russell）认为，制造出一种比自身物种更为聪明的机器并不一定是好事。他建议，为了防止机器人“接管”人类， 人类必须制造出具有“无私心”的机器人。因此，在为机器人编程时，就应当将利他主义、谦虚谨慎的品质及其他一些人类的正确价值观编写进去。

颇有些讥讽意味的是，自私的人类为了自身的安全和福祉，想要设计出完全无私的机器人。而“无私心”或利他主义也并不完全是人类的价值观，至多是一部分或一个方面的价值观，这一方案的设想就是人性还有自私自利一面的证明， 恰恰是为了满足人类的自私自利的欲望。虽然，的确也不能否定这种在生死问题上的人类中心主义，但此举能否取得成功令人怀疑。

还有人预感到智能机器的智商可能将超过人类的智商， 却从社会理想的角度得出了一个相当不同的甚至可以说是欢欣鼓舞的结论。这一比较罕见的观点是清华大学的冯象教授提出的。他在《我是阿尔法》一书中提出，人工智能的科技与经济有可能帮助共产主义提前实现。等到将来机器比人聪明的时候，或者说人机融合之日，电脑要重塑人脑，“革命将始于先进的电脑对落后的人脑的教育和启迪”。他设想将出现一种全新的文明：人机关系和谐而融洽，其社会关系，人与人、人与机器、机器之间都由共同的“大公无私”的世界观、价值观维系。这也就是“人机大同”的社会。

著者：冯象

冯象教授似乎毫不担心人的机器化， 或者说人的硅基生物化。他似乎是对现实社会中的人类失望， 因为很难改造他们成为“全新的人”、完全“无私的人”。因而， 现在的人类很难配得上未来无比美妙的社会。但现在出现了机器人，人类似乎可以将它们改造和塑造成“ 全新的人”，而且，它们也可以反过来将人类改造或塑造成“全新的人”。

我对此持深切怀疑的态度。怎么断定超级智能机器人能够继续听从人类呢？如果作为碳基生物的人都不存在了，人的社会理想还能存在吗？“对人类友好的价值观”和帮助人类实现最高社会理想的高度乐观的看法，遇到的最大的障碍在于硅基生物与碳基生物的根本区别。

即使超级智能也具有自我意识和价值观，可能它们还是不懂人类，人类也不懂它们。因为人类的意识和价值观是从自身肉身的感受性而来，而超级智能并没有肉身，没有这种感受性。

人类也不是太懂其他生物，不太懂鸟语花香，人类欣赏花朵的美丽和芬芳，但这些表征可能只是生物为了满足自身的生长和生命延续的要。人类欣赏孔雀开屏的美丽，但孔雀开屏并不是为了愉悦人类，可能只是为了吸引雌性的同类， 只是在和自己的同类交流，追求它们自身的“利益”。但人类毕竟和地球上的其他生物一样都是碳基生物，也都需要营养，所以，人类还是能够从同样具有的一些最基本的生命感知理解其他生物的一些生命感知。而机器则完全不一样，它们是一种完全异样的存在。

比如说，要培养恻隐和怜悯的感情，恻隐是道德的源头，人们看到其他人遭受身体的痛苦，因为有自己的身体，所以能深切地感受到这种痛苦。人们看到其他人遭受自然灾难， 或者被人为地伤害甚至杀戮，就会产生提供援助的愿望，直至正义感油然而生。因为大家都是人，都有身体，能切身感受到这种苦痛。甚至在其他一些动物身上，比如看到同类受伤的大雁和大象等动物，也存在类似的情感，因为它们也是碳基生物。毕竟同为碳基生物，人类和其他生物是能够产生一些相通的感知的。

但是，“阿尔法”，或者说硅基生物，甚至说半硅基生物能够感受到这些痛苦吗？如果说它们即便没有这种感受，却还是具有类似于人的正义感和倾向于人的价值观，那么它们的正义感和无私心从何而来？这种正义感和无私心是不是无本之木、无源之水？它们作为硅基生物对人类不应该是麻木的吗？即便说它们能够听从人的指令，但人不是有私心的吗？而且，可以说不同的人追求的理想价值观念其实是会相当不同的。如果机器具备了超越人的智能，它们是不是更倾向于形成自身的自我意识甚至价值观？这种自我意识和价值观会和人类一样吗？它们是否会倾向于保证自身的特殊目标，甚至发展自身的特殊利益？

《我是阿尔法》的作者从社会理想的角度思考相关问题，可能对现实社会的人类、对真实生活中的人们感到失望，认为有太多的个人欲望，人不能够成为推动实现心目中的伟大崇高理想的主体力量，所以对智能机器寄予希望，认为它们有可能永不生锈，甚至成为永生的任劳任怨、无私奉献的“螺丝钉”式的人。但是，这个目标能够实现吗？人和机器能够互相改造甚至“融合”为一体吗？智能机器愿意“融合”吗？退一步而言，如果人机真的能够“融合”为一体，那么这一新的存在还能称为“人”吗？

《我是阿尔法》的作者正确地认识到资本的贪婪和人类不断增强的物质欲望带来的危险，他寄希望于国家权力，寄希望于全盘公有化。但他似乎没有意识到，执掌国家和公有财产的也是人，他们也有自己的欲望和利益，他们之间也有价值理念和利益的竞争。

如果说不相信普通人，为什么能够那么信心满满地相信那些掌握极大权力的人能够没有私心杂念而“天下为公”呢？如果说智能机器落入了资本之手是可怕的，那么被权力掌控就不可怕吗？或者说，未来的权力和公有财产将不由少数人执掌，但这种权力共享和共有又是通过什么途径和手段实现的呢？或者在这一过程中，是否还是会由少数人主导？作者或许还可以进一步探讨这些问题，我们愿闻其详。

总之，在我看来，上述的一些高调方案都是靠不住的， 面对一种比人类更聪明的存在时，更是如此。还不如预设一种机器，一旦达到甚或接近某个超越人类智能的临界点，就启动预设的自毁装置的程序或许更为可能。当然，人类也会因此付出代价，要做好到那个时候，人类会失去大部分的舒适与方便的心理准备。

更合理的一种思路是要提早预防，即我探讨过的规约和立法，使人工智能严格地只限于向小型化、专门化的方向发展，也就是不发展通用的超级人工智能。并且在此过程中，一直都严格地限制机器人使用暴力。

03

应该建立怎样的人机关系？

过去，人们一般认为核武器是人类最大的威胁，但未来可能不再完全如此了。我将核能和人工智能做两点比较：首先，核能在一开始就使人们感到危险，它不仅是以核武器爆炸的形式在世界亮相，即便后来和平利用核能也发生了使世人警醒的大事故。而人工智能却是一直使人们感到舒适和便利，人们对人工智能充满好奇的赞叹。

人工智能看上去很驯服、很温和，完全“人畜无害”，却可能突然对人类发出致命的一击，而其他的动物、植物等生物可能同样难逃此劫。其次，在核战争之后，人类还有可能劫后余生，即便打回石器时代，或者出现更糟糕的情况，也还可能有经过浩劫的人类存在，他们的继续生存虽然会很艰难，但他们毕竟有现代人的知识和记忆，甚至还有一定的设备和技术手段，他们还是很有可能努力生存，乃至缓慢地重建人类文明。

但是，如果出现了一种比人类更聪明、更有能力的存在，那么人类大概就失去了希望，人类将无处逃遁，即便人类有能力像埃隆·马斯克（Elon Musk）所设想的那样移民火星，超级智能只要愿意，可能也有能力将人抓回或者毁灭掉。面对远比人类聪明和能干的“超人”，人类将无可遁形，躲在几十米深的防核地堡中也没用，把自己冷冻起来也没有用。

因为人工智能不是像核武器那样单纯的手段工具，它可以比人类更聪明，也具有自主性。所以，它不仅毁灭人，也取代人。也许到那个时候，人类个别的肉身会被作为样本或者养在动物园供观赏而不致被毁灭，但人类的文明进程将被中断和结束。

所以，要充分理解人工智能可能带来的危险，需要深入细致地从历史到理论辨析什么是人，什么是物，辨析人工智能和人的关系为什么不再能够被过去人类所处理的人和物的关系所包括。这是一种全新的人机关系，人类究竟应该如何对待，如何处理这一关系，过去的经验是不够用的。这种新的超级智能属于人而又非人，源自人又可能反叛人，它和人类的关系将会同时带有人物关系和人际关系的一些特点，它在未来很有可能成为一种人类难以知晓的存在。

人们可能会认为奇点来临的情况不会发生，但愿如此。但还是存在强大的动机和背景使这种情况有发生的可能，因为不难体察到人类强烈的物质欲望、商业利益、对名利的追逐和猎奇是奇点出现的根本动力。另外，还有人工智能本身发展的指数定理，以及其他同样迅速发展的科学技术，比如基因工程和纳米技术的结合，即所谓GNA。对于超级智能的出现时间，有人预言在 21 世纪中期，有人预言在 21 世纪末。即便是在下一个世纪出现，大概也只有百十来年的时间。对一个人来说，一百年的时间很长，但对于人类社会而言， 一百年不过是弹指一挥间。

现实的社会背景之一是，大多数人要求过一种物质财富充分涌流、越来越便利的生活的希望似乎是合情合理的，而少数人的好奇心和创新精神是人们目前所向往和赞美的。这导致人类的高科技能力的发展已经远远超过人类自身控制能力的发展，尤其是在人的道德意识和能力方面，因而可能失控的问题是难以避免的，人工智能只是其中一个最有可能且会带来最大危险的领域。

而且，和以前的文明危机意识有所不同，柏拉图痛感过雅典的衰落，奥古斯丁哀叹过罗马的陷落，中国的士大夫也说过“崖山之后再无中国”，但这些灾难都是在局部的文明中发生的。在过去，不仅一个固有的文明还可以再发新枝甚至再辟天地，不同的人类文明也可以此起彼伏。但如今，如果一旦发生大的灾难，就可能是全球性的和不可逆的。

未来会出现越来越多的来自技术和社会的挑战，可能将使人类不得不增强人类同属于一个命运共同体的意识。我对“人类命运共同体”中“命运”这一概念的理解主要是来自古希腊，更多地带有一种悲剧的色彩，当然也有与悲剧抗争的意识。人类要谨防犯下那些不可逆的、颠覆性的错误。

04

如何防止最坏的情况发生？

目前的关键还是人，是人类自身，主动权还掌握在人类的手中。

那么，如何防止最坏的结果出现呢？为此，我不再谈人工智能的技术和路径问题，而只谈主体问题。在防止最坏结果方面主要依靠哪些人？尤其是在开始阶段。有一个观点见于先秦好几个学派的著述之中，这在某种意义上可以看作中国古代先哲的一种共识，或者说是一种古老的智慧。这句话大致就是：“民可与乐成（或安成），不可与虑始（或谋始）。”也就是说，在实行某些深谋远虑的举措时，在开始的时候，或者需要迅速做出某些决断的时候，可以说这些举措最终是为了大众或民众的利益，即便真的如此，但在当时并不一定能够得到大众或多数人的支持与关注。

我认为，在采取有关预防人工智能发生最坏情况、具有深谋远虑的决策和举措方面，目前能够依靠或诉诸的是“关键的少数”，而不一定是多数。为了多数人和全人类的福祉，需要“关键的少数”，“让一部分人先明白起来”。这个“关键的少数”至少应该包括四种人，即目前掌握科技、经济、政治和舆论资源的四种人。

第一种人是第一线的科研人员。他们是人工智能发展和取向的最直接和最重要的人，可以做什么，不可以做什么， 首先是他们的选择。但他们的确也有局限，一方面，他们过于忙碌，很可能没有空暇思考一些涉及人类生存的根本问题。另一方面，这些研究人员有强烈的对知识的探究和创新精神， 但与此同时，他们也有一定的希望“暴得大名”的功名心。

第二种人是研发公司的拥有者和管理者以及投资者，或者说是提供资金的人。他们的资金投向会决定人工智能发展的方向。但他们也有局限，那就是追求利益和利润的最大化。

第三种人是政治领导人。他们可以从法律和政策层面决定人工智能的发展，他们的确会考虑得比较全面，而且注重社会的稳定和安全。但他们也有局限，比如说，存在国际竞争与全人类利益的矛盾，狭隘的国家利益的考虑乃至个人的政治野心，有可能阻碍他们以关乎全人类福祉的公心对相关问题进行决策。

第四种人就是观念人，比如艺术家、人文与社会科学学者、媒体人等。他们的思想比较独立，最无障碍，百家争鸣， 他们能影响前述的三种人，也能影响公众，凝聚民意。但他们的局限是离直接的实施领域和决策领导层较远。

总之，防止出现人工智能方面的灾难还是要靠人类自身的危机意识和采取行动，想让机器来实现人类的价值观是不靠谱的。如果问我是持一种悲观主义还是乐观主义的观点来看待人工智能的未来，那么或许可以回答说：人们首先应该考虑的是预防最坏结果的出现。但也许正是基于此，最后反而能得到最不坏的结果。

推荐阅读

《人类还有未来吗》

著者：何怀宏

广西师范大学出版社

（

点击图片进入小程序购买）

回应赫拉利《人类简史》、刘慈欣《三体》的人文忧思之作！高科技的挑战，使我们不得不反省：何以为人，何以为物，人曾何为，人将何为？！

著者：余松

广西师范大学出版社

人类与智能人组成家庭会发生什么？

人类与智能人相互诉讼又会说些什么？

马科是一位设计师，拥有美满幸福的家庭。在一次惨烈的车祸中，马科失去了妻子和孩子。为了填补内心巨大的悲伤，马科定制了一个和妻子一模一样的智能人——娜娜（R），开始了新的生活。之后，马科和娜娜（R）又定制了他们的孩子——乐乐（R），终于组成了一个和原来一样的家庭。一天，一个定制智能人厨师出现程序故障，并与使用者发生了激烈的冲突。之后，人、机对立的情绪和事件开始不断出现，平静美好的生活终于被打破。随着智能人厨师和使用者的一次相互诉讼，掀起了关于人机伦理、人机规则的大讨论。

#聊一聊#

你觉得算法或者人工智能

存在于人类生活之中，

最终的影响是什么？

说说你对它们的看法吧。

原标题：《算法时代，这本书想跟你讨论人类还有未来吗？》

阅读原文