1956年“人工智能”概念正式诞生。在其60余年的发展过程中高潮低谷几经波折。2015年，谷歌的Alpha Go战胜围棋高手李世石，再次拉开了高潮的序幕，这距离上次高潮已经过去近30年。

从技术层面上讲，此次高潮是在上世纪80年代第二次浪潮基础上形成的。因为第二次浪潮是以人工神经网络为主流，而这一次高潮的技术基础—深度学习，恰恰是人工神经网络的一个具体方法。确切地说，是基于人工神经网络（基于人工神经网络的机器学习方法）的深化，它比以往任何机器学习方法更高效地解决更复杂的任务。当然，计算能力的提升以及大数据技术的发展也是深度学习的性能得以展现的主要原因。

应用层面上，从语音识别、机器翻译到医疗诊断、自动驾驶，基于深度学习的应用在不断加深、不断成熟，甚至在很多方面已经开始超越人类。由于一些成熟的技术带来的巨大的利益诱惑，国内外主流的互联网公司，如谷歌、亚马逊、Facebook、百度、腾讯等，纷纷布局人工智能，创业和投资的热潮也从前几年的无人机、虚拟现实全面延伸到人工智能领域。短短两年，全球已经有几千家人工智能公司，市场规模增长空间巨大，预计未来十年内将创造万亿美元的价值。

人类似乎已经进入了一个人工智能的美好时代，与此同时，在对未来的美好憧憬中，也不乏对人工智能带来的负面影响的担忧。这些担忧提醒人们在乐观期待未来的同时，也应关注人工智能可能带来的风险，这就产生了人工智能伦理问题。本文从强、弱人工智能两方面进行分析。

历史上几乎每一项重大技术，比如电力、蒸汽机、通讯以及计算机和互联网等，都会给之前的传统社会带来风险和挑战，诸如失业、隐私、安全等等。而人工智能之所以比以往任何一个时代的技术突破都更引人关注，其原因在于，基于人工智能技术的人工物品或产品不再是毫无生气的机器。一方面，它们在智能程度上可以远超人类，比如目前机器在围棋、图像和语音识别等领域的突破；另一方面，具有人类的外观以及情绪、情感的机器人，可能会具有人格或人的属性。人类对人工智能而言，可能正在扮演“上帝”的角色，而“人类上帝”创造出的“人工智能体”有可能会反过来威胁人类，这是自世界上第一部科学幻想小说《弗兰肯斯坦》诞生以来就充斥科幻电影和小说中的标准桥段。

人类思想的伟大之处在于，能够把头脑中幻想的事物一点点变成现实。事实上，每一代人类所生活的现实世界某种程度上也正是前几代所幻想或构想的世界。我们当代人也不例外。原本只是停留在幻想中的伦理担忧和威胁似乎完整地映射到了现实世界，从而给人类带来了实实在在的困扰和恐慌。而当人类憧憬中的人工智能体正在我们这一代人手中得以推进和实现，就意味着我们必须承担防止所创造的智能体无序发展的责任，包括从道德规范、法律、教育与基本社会制度等，都需要采取相应的措施和全面的布局。其中，伦理规范是必须的手段。目前一些有识之士率先看到了其中的危机或风险，在机器伦理或机器人伦理领域开始前沿探索，一方面，是为了在真正的风险和威胁形成之前防患于未然，最大限度的将危险消灭在萌芽之中；另一方面，是为了引导技术力量，注重在源头开发、设计“友善的人工智能”，最大限度避免人工智能的“恶之花”，这就是人工智能伦理的应有之意。

“机器伦理”（Machine Ethics）是一个正在兴起的伦理学研究领域，它关注如何使机器具有伦理属性。机器伦理是美国学者Michael Anderson，Susan Leigh Anderson和Chris Armen最早提出的，他们在《走向机器伦理》（Towards Machine Ethics）中提出：“机器伦理关注于机器对于人类使用者和其他机器带来的行为结果”[1][2]。他们认为，过去对于技术与伦理问题的思考大多关注于人类是否负责任地使用了技术，以及技术的使用对人类而言有哪些福祉或者弊端。然而，很少有人关心人类应该如何负责任地对待机器。这里的机器实际上指的是具有人工智能的机器。由于机器的智能化发展使得机器负载着越来越多的价值和责任，从而使机器具有伦理属性，以帮助使用者做出伦理决策，或者发展一种具有伦理意向的自动机器以实现情景判断、案例分析和实时决策的功能，这是目前该领域的研究重点[3]。

然而，这里需要指出的是，机器伦理不能等同于人工智能伦理。在国外发展的机器伦理，往往与机器人伦理在概念上不加区分。这时我们可以认为机器伦理就是机器人伦理。但是就机器人与人工智能的关系而言，机器人本身是人工智能的重要研究领域之一，同时与计算机一样，也是呈现人工智能的载体。机器人是多种人工智能技术的集成，是以人类喜闻乐见的形象体现人工智能，同时能够完成各种不同任务。因此，就二者的关系而言，机器人引发的伦理问题也属于人工智能伦理问题，机器人伦理是人工智能伦理的一部分。

除了机器人，人工智能实现的具体形式是多种多样的，比如现阶段用于医疗、法律、教育、金融甚至音乐、绘画等领域的各种智能软件以及各种聊天机器人，其背后一般是强大的深度学习+大数据，以及自然语言理解、语音识别等智能技术，其所承载的伦理责任也与机器伦理有很多区别。

目前，关于人工智能伦理的讨论多集中在机器人伦理，因为这部分最容易引起人们的共鸣，影视作品的影响使得机器人与人的关系更容易为人们所理解和接受。而对于那些无形的智能软件和算法，也即弱人工智能所带来伦理问题，关注则不多。

无论人工智能伦理还是机器人伦理，都属于科技伦理的一部分[3]。20世纪40年代以来，建立在现代科学原理上的一系列高新技术，包括信息技术、生物技术、新材料技术、新能源技术、海洋技术、空间技术以及人工智能技术等，都对人类生存发展带来影响和挑战。随着人类利用高技术控制自然的能力的提高，个人似乎日益成为自身或机器的奴隶。我们的一切发现和进步，尤其是人工智能技术，似乎使得人类所创造的产物越来越具有理智。由于人工智能伦理问题几乎涉及人类社会的方方面面，本文只从强、弱人工智能两方面分析各自产生的伦理问题。

弱人工智能是指各种模拟人或动物智能解决各种问题的技术，包括问题求解、逻辑推理与定理证明、自然语言理解、专家系统、机器学习、人工神经网络、机器人学、模式识别、机器视觉等。

以深度学习为基础的弱人工智能技术目前在图像识别、语音识别、机器翻译、自然语言处理等方面取得了巨大成功，并大规模市场化。在图像识别领域，基于深度学习的人脸识别、物体识别、行为识别等应用在医疗、交通、教育等行业都有广泛的用途，能够有效提高安全防范水平，打击犯罪和恐怖主义，惩治交通违法行为，提升交通安全水平等。深度学习+大数据模式甚至在文学创作、司法审判、新闻编辑、音乐和美术作品创作等方面也有惊人的表现，能够极大地提升工作效率和质量，降低人类的工作强度，激发人类的创作灵感，创作出更好的作品。弱人工智能技术给人类带来的益处是显而易见的。但因为不了解深度学习的运行机制，一些超出人类的能力反倒令人们开始惴惴不安。

2016年6月，微软总裁萨蒂亚·纳德拉（Satya Nadella）说“我们不仅想要智能机器，还需要可理解的机器。”尤其深度学习在医疗、金融、军事等关键领域的应用，使得弱人工智能伦理问题日益得到关注。与尚未实现的强人工智能在未来可能给人类带来的伦理困惑或问题不同，弱人工智能是在现实中可能给我们带来种种伦理风险或困惑。

（1）隐私问题。以深度学习+大数据为主要模式的人工智能系统需要大量的数据来训练学习算法。必然会产生隐私泄露等问题。一方面，如果在深度学习过程中使用大量的敏感数据，这些数据可能会在后续被披露出去，对个人的隐私会产生影响。目前人工智能研究人员已经在提倡如何在深度学习过程中保护个人隐私。

法国独立机构信息与自由全国委员会（CNIL）在对部分人工智能儿童玩具进行测试后发现，这些玩具存在泄露个人隐私的安全隐患。一些智能玩具与手机无线连接的距离达到近10米时，可以隔着房屋进行操控。这就给不法之徒以可乘之机，可借此功能窃取儿童及其父母的声音和照片等个人资料。未来区块链技术+人工智能+量子加密技术可能会成为一个有效解决方案，在此之前仍需要政府、企业和个人多方努力防止此类问题的大规模爆发。

（2）安全与责任问题。2017年12月，腾讯安全平台部Blade团队在对谷歌人工智能学习系统Tensor Flow进行代码审计时，发现该系统存在重大安全漏洞，利用该系统进行编辑的AI场景有遭受恶意攻击的可能。Tensor Flow是目前谷歌免费开放给AI设计者的编程平台，程序员可以在该平台上进行AI组件的设计工作。事实上，近两年来自业界和媒体对人工智能的追捧，忽略了其背后的网络安全问题。由于目前多数以深度学习为基础的人工智能技术都是基于云端或者互联网开放平台，互联网本身的漏洞与人工智能技术本身的漏洞都可能造成巨大安全隐患。腾讯的发现对人工智能安全问题是一个警告。

美国、英国、欧盟等都在着力推进对自动驾驶汽车、智能机器人的安全监管，自动驾驶汽车出了事故责任怎么认定？如果人工智能程序漏洞或自动驾驶汽车造成人身和精神损害以及公私财产损失，谁来承担责任？诸如此类的问题如果按照现有的法律责任规则，因为系统是自主性很强的，它的开发者是难以预测的，包括黑箱的存在，很难解释事故的原因，安全往往与责任相伴，未来可能会产生责任鸿沟。

（3）歧视问题。2016年3 月，微软公司的聊天机器人Tay在Twitter上与网民互动过程中，成为了一个集性别歧视、种族歧视等于一身的“不良少女”。支付宝背后的算法机器人拒绝贷款给某人合理吗？法律软件是否会由于一个人的种族或身份特征来判定某人犯罪？造成这些问题的背后是当前以深度学习+大数据+超级计算为主要模式的弱人工智能，主要以大数据为依据，因此数据质量和隐含的信息决定了深度学习技术得到的结果可能存在偏颇甚至所谓产生“算法歧视”[4]。因为人工智能倾向于系统性地复制用于学习的数据中所有或明或暗的人类过失。机器学习算法造成的歧视会产生前面所提出的关于支付宝拒绝贷款等问题，甚至带来更多危害。一方面，如果将算法应用在犯罪评估、信用贷款、雇佣评估等关切人身利益的场合，一旦产生歧视，必然危害个人权益。

（4）失业问题。由于工业机器人和各种智能技术的大规模使用，导致从事劳动密集型、重复型、高度流程化等类型的职业人士等都面临失业威胁。由此可能引发社会发展危机，造成社会安全水平下降和动荡。美国麦肯锡咨询公司最近的一份报告预测，到2030年全世界将有3.9亿人因机器人和人工智能的大规模普及而改行，有8亿人会失业。因此，未来十几年，在人工智能发达的国家，面临的社会稳定问题也同样严峻。

由于目前的深度学习还是一个典型的“黑箱”算法，连设计者可能都不知道它是如何决策，要在系统中发现是否存在歧视及其根源，在技术上是比较困难的。传统软件的每一行代码都由人类编写，随后经由数学证明般的严谨验证，至少一些风险应用就是如此。深度神经网络却与之大相径庭，一切都是待涂写的白纸。深度神经网络依据的是经验知识，理论有所迟滞，有研究人员在通过可视化方法研究深度学习的特征提取和信息处理过程。但要解释深度学习算法做出的每一个决定，目前还是比较困难。

虽然在大规模图像处理、语音识别甚至音乐、绘画等艺术领域的表现令人刮目相看，但没人知道其决定的背后隐藏着什么，算法不仅仅会将歧视代码化，而且会创造自己的现实，形成一个“自我实现的歧视性反馈循环”，包括预测性警务、犯罪风险评估、信用评估等都存在类似问题。归根到底，深度学习算法仍然缺乏人类这样的联想、记忆、学习、推理等高级智能。但一定程度上，它有些接近机器学习专家佩德罗·多明戈斯所提出的“终极算法”[5]，意思是说通过数据学得包括过去、现在以及未来的所有知识的算法，创造该算法将是科学历史上最大的进步之一。迄今为止，这样的算法并没有被创造出来。深度学习只是一定程度上接近终极算法的理想，但很多表现已经让人类不可理解。

上述分析说明目前以算法为主的弱人工智能并不值得百分百信任。人类对这种新型智慧的认识还太粗浅。

在人工智能领域，强人工智能是指有自我意识、自主学习、自主决策能力的人工智能，也是人工智能发展的终极目标，但是在意识问题没有解决之前，强人工智能的实现还有很长的路要走。斯蒂芬·霍金、比尔·盖茨、马斯克都曾表示了对人工智能会具有自我觉知和意识的忧虑。霍金认为人工智能可能是人类最大的灾难，如果管理不当，会思考的机器可能终结人类文明。虽然霍金等人所担忧的问题属于现实中尚不存在的强人工智能所带来的可能的、潜在的问题，但人类有必要预先考虑智能技术的发展造成的种种后果。因此，关于强人工智能伦理问题的讨论，我们需要假定未来人类创造的人工智能具有了自我意识以及人性或人格，否则这种讨论是没有意义的。

关于强人工智能的伦理问题，我们需要思考如下几方面：

（1）智能机器或自我意识的机器人的社会地位。一旦机器智能突破奇点，产生自我意识，具有人性特征，我们如何在法律上界定其地位，未来由于人机融合的发展可能出现电子人、合成人等智能体，它们的人格如何确定？在它们受到伤害时，是否应赋予其人道主义待遇？在传统人类社会中的角色，它们的角色与人类的角色如何把握？

（2）权利义务和行为责任。人类是否比智能机器人拥有更多的权利？智能机器人或智能机器是否应比人类承担更多的社会劳动和其他责任？比如服务机器人在照顾孩子、老人或病人时发生事故如何界定责任等等问题。

（3）人与智能机器之间的伦理关系。有了自我意识的智能机器与生物学意义上人类之间的关系注定变得复杂莫测。人类创造人工智能的目的在于让机器变得更加智能，代替人类完成更多更复杂甚至更危险的工作，但由此带来对人类社会传统的个体、家庭以及社区、组织、机构和企业之间的伦理关系影响将是非常复杂的，由此在强人工智能实现之前需要来自法律、哲学、伦理学、工程、技术以及政府、企业、社会组织等各方面的更多探讨和研究。

人工智能技术所产生的终端物品或产品，无论软件还是硬件，由于嵌入了智能算法或程序而具有了类人智能，甚至会产生自我意识，由此产生与人类之间的复杂的伦理关系以及人类自身的伦理关系的一系列变革，甚至颠覆人类社会自身的伦理关系。以深度学习为代表的机器学习算法的伦理问题与未来超级智能的伦理问题同样重要，包括道德代码、隐私、正义、有益性、安全、责任等等。未来我们需要进一步思考由于人工智能的发展所导致的人与人、人与机器，甚至机器与机器之间的伦理问题，努力规避负面影响，使人与人、人与机器、机器与机器，甚至与超人类（在机能与智能上远超现代人类的新人类）、后人类（基因改造与机器融合的新物种）之间的伦理秩序能够在符合人类理想，确保搭载着在某方面超越人类智能的技术工具进入人类社会以后和人类的价值规范及需求相一致。为此，针对强、弱人工智能的伦理问题，提出如下对策和机制：

（1）弱人工智能的伦理设计。即是将人类社会的法律、道德等规范和价值嵌入弱人工智能系统。目前，机器伦理学领域存在着“自上而下”与“自下而上”两种构建方式。“自上而下”是运用某些道德原则或理论作为选择哪些行为合乎道德的判断准则，“自下而上”则是提供可以选择和奖励正确行为的环境，着力于开发道德敏感性，像小孩子学习一样日积月累地从现实经验中学习培养道德意识与判断能力[6]。两种构建方式都是将符合人类规范的道德行为转化为数字符号，用道义逻辑、认知逻辑和行为逻辑等计算手段实现机器人伦理。实际上，这两种构建方式恰恰是符合弱人工智能技术或当前现实需要的方式。这也是美国电气和电子工程师协会、英国等国家和组织机构提倡的方式。主要步骤是：首先要研究和发现弱人工智能系统的规范和价值；其次是将所发现的规范和价值通过自上而下和自下而上的方式植入弱人工智能系统；最后是对已经嵌入弱人工智能系统的规范和价值进行评估，看其是否和人类社会的相一致。

（2）弱人工智能系统研发中贯彻伦理原则。这需要政府、学术组织、研发机构、研发人员等多方合作。一方面，针对人工智能研发活动，人工智能研发人员需要遵守一些基本的伦理准则，包括有益性、包容性、多样性、透明性以及隐私的保护等等；另一方面，国家和政府需要建立类似电影审查制度一样的人工智能伦理审查制度，伦理审查应当是跨学科的、多样性的，对人工智能技术和产品的伦理影响进行评估并提出建议。

（3）制定弱人工智能算法规范和标准。现在算法和软件及决策越来越复杂，窃取隐私、财产和诈骗的流氓软件防不胜防。因此对软件和算法设计进行规范和监管，涉及性能、设计、责任等标准及分类等；同时确保算法自身的代码透明性和决策透明性。因此，当前解决弱人工智能伦理问题的首要任务，是让人工智能得出的结果变得可以理解，可以解释。美军近一年启动了至少13个项目，都以“可解释的人工智能”为主题。欧洲为保护数据信息制定的新法令里甚至包括一条“解释权”—有权要求做出决定的机器做出解释，该法令将于2018年5月生效。

制定人工智能算法和标准目的是防止恶意软件和算法产生。可以借鉴Open AI等开源人工智能的经验。还应建立第三方检测评估、检测、认证和审批制度，对于自动驾驶汽车、家用服务机器人等采用的机器学习算法，监管部门要进行事先评估检测，不符合监管标准的就不允许推向市场。

（4）针对弱人工智能算法决策需要完善现行法律法规。尤其算法决策造成的人身财产损害，明确法律主体和责任。对于算法决策在确保透明性的基础上，还需要确保用户有知情权和提供必要的解释。对于自动驾驶汽车、服务机器人等搭载弱人工智能技术的装置给人带来的财产损失、生命安全和责任挑战，法律上也应尽快完善，预防可能的风险。

（5）加强人工智能伦理风险防范教育。通过教育和宣传系统加强对普通群众、学生、政府公务人员、法律业者等各类人士的人工智能素质教育。提高全体社会公民在智能时代的人工智能素养，知晓弱人工智能技术可能带来的风险。

（6）参考人类伦理设计强人工智能伦理规范。牛津大学哲学家尼克·波斯特洛姆针对强人工智能可能面临的各种伦理和法律问题提出了“建造美好的人工智能”的设想[7]，也就是按照建造一个种子人工智能，然后按照人类需要的方式去赋予其“与支配我们的思维的认识论相匹配的基本论原理”，它会随着世界理解的不断发展由它自己不断创造并修改其对世界的认识。强人工智能的实现将不再需要算法和程序。强人工智能伦理将是完全参考人类的伦理规范来确定，包括赋予有意识的人工智能以人格、法律主体地位，甚至承认其拥有与人类平等的权利—“人权”等等。