“AI伦理学教授：机器人也要讲道德 人类有意识是偶然”

本篇文章8756字，读完约22分钟

本文由本智能实验室(公众号smartman 163 )制作，此篇为ai英雄人物第64期。

选择: gigaom编译:本智能参与:李擎

这次谈话嘉宾是艾伦·温菲尔德( alan winfield )，西英格兰大学机器人伦理教授，世界经济论坛理事会Future OFTEC HNology Value Sand Policy部门成员，人类大脑项目伦理咨询委员会成员

世上不存在普遍的道德计划这种情况，如何约束ai呢？

问:机器人伦理学家在做什么？

alan winfield :这个职业最简单的概况总结，我认为是机器人伦理学家担心机器人和人工智能的伦理和社会影响及其后果的人。 所以，从某种意义上说，我是专业的担忧者。

问:机器人伦理学是我们如何采用机器人伦理规范的，还是关于机器人自身行为的道德规范？

alan winfield :无论哪个，我的大部分工作都与前者有关。 换句话说，就是找人类。 人类工程师、机器人制造商和维护者、维护者等，也就是所有与人工智能和机器人有关的人，在必要时，将人工智能和机器人给我们的社会、我们所有的身体和我们的星球带来的不必要的道德后果和危害降到最低，

你刚才提到的第二点，人工智能和机器人行为的道德规范更像是研究问题。 没有最初的问题那么紧迫，确实是非常感兴趣的问题。 我研究的一个问题是如何制造伦理型机器人。

问:伦理机器人可以理解为机器人本身是道德主体吗？

阿兰·温菲尔德:是的，可以这么说。 但是，请记住，现在唯一完美意义上的道德主体是像你我这样的成年人，当然不是所有人，而是心智健全的成年人。 当然，我们不能人工确立相似的道德主体。 所以，我们现在可以在有限的意义上建立低级别的道德机器人。 他们可以根据特定的伦理规则选择行动。 但是，不能像你和我一样，决定是否遵守道德。 当然，也不能事后说明我们的行动是否正确。

问:在未来，在思考道德主体，甚至我们如何在道德上聘用机器人的时候，你会如何看待这个事实？ 也就是说，没有两个人能就所有伦理问题达成一致吗？ 也就是说，在这个世界上，人们对什么是道德行为，什么是不道德行为的定义不同。 所以，你不是从一开始就朝着不确定的目标射击吗？

alan winfield :当然，确实有这个问题。正如你所说，不存在单一的、普遍的道德规范，也没有在某个特定的以前流传下来。 例如，即使在西方伦理之前流传下来，也有很多道德规范。 无论是结果主义伦理、道义还是道德，很多东西都很杂。 但我想说的是，你可以把这些都抽象出来。 虽然有点简单，但是大多数人都同意。 例如，机器人不能伤害人。 另外，不能因人受到伤害而袖手旁观。

这正好是阿西莫夫机器人的第一定律，我认为以此为出发点是相当明智的。 阿西莫夫的机器人第一定律是共通的，但我们可能只能使用非常少的伦理道德规范。 即使不普遍，也应该引起人们的关注和认可。

q :但是，在人工智能行业，在这方面花了很多资金，对吧？ 例如，军队中采用的机器人，特别是那些实际进行了什么，或者包括了旨在杀人或对人类造成伤害的机器人，所以我们这个决定的起点看起来不可能实现。

alan winfield :确实，人工智能和任何技术的武器化都是我们应该关注的问题。 我的意思是，你是对的。 现实世界中有武器。 但这并不意味着我们不应该努力实现技术没有武器化的更美好的世界。 是的，这是理想主义的观点，但机器人伦理学家是理想主义者。

问:地雷是采用人工智能的、为杀人而设计的机器吗？如果人工智能检测到物体重量超过45磅，将执行爆炸程序，那么它是能够自己做出杀人决定的机器人吗？

alan winfield :从某种意义上说，我认为这可以说是自动测量计，或者是机器人。 有感知重量的装置——传感器和执行器，启动爆炸程序。 但是地雷是可怕的武器，应该早就被禁止了，大部分都被禁止了。 当然，全世界都在清除地雷。

从大脑追溯到思想再到意识

问:说到白蚁巢，白蚁们不知道在做什么，没有确定的、有结束的任务。 如果这一切都是真的话，人类的思维应该不是出现现象。 因为我们确实有目标，知道我们在做什么。

alan winfield :是的，我不完全同意这个看法。 我想我们确实知道自己在做什么，但这可能是幻觉。 总之，我们会坚持很多次。

问:这是一个很好的切入点。 所以，你指的是我们本能地做某事。 然后，我们的大脑开始思考我为什么要这么做，它颠倒了这两件事的顺序，说:“是我决定了它。 所以我才会这么做。”

alan winfield :这可能是对的，也可能是不正确的。 但是，我真正想说的是，当你谈论人类的行为、目标、动机等时，你真正看到的是不寻常的，在多阶段过程的最上层，我们不能真正了解整个过程。 我的意思是，在低水平的过程之间存在着很大的差距。 这些也是我们不能理解的，换句话说，就是单一神经元之间的相互作用、意识的出现性、主观经验、感知等。

这个过程有很多层面，但顶层，也就是人类的行为也是由语言和文化调节的，不容忽视。 你和我在一百万年前可能不会进行这样的对话。 要点是，我们现在能思考和讨论的东西是，如果没有这个特殊的、存在于许多人脑海中的文化体系，我们就不能讨论这些。

我们是社会性动物，这是另一种出现性。 首先是有意识的出现性，然后是内心，最后是社会的出现性，最后是文化的出现性。 其中某个地方有句话。 所以，“是的，但是这样的出现性系统怎么会有目标，有任务呢？ ”开始说。 在这种问题的情况下，我觉得分离其中的一个不容易。 说不定，现代人在这个特定的文化中确实有。 更确切地说，是我们考虑的目标和动机，但谁知道那真的是什么？ 我认为我们没有必要追溯到几十代到几百代之前。 为了发现我们的目标和动机与大多数动物没有什么不同，这些动物只是为了填饱肚子，为了生存。

q :所以，从大脑追溯到思想再到意识吧。 一百万年前，你也许是对的，但有人认为，在我们有了意识之后，本质上就是我们开始自愿，有目标和意图的时候了。 所以，我问你一个无法回答的问题。 你觉得他是怎么产生的？

alan winfield :我当然认为这是出现的特征，但我认为这是良好适应性的特征。 而且，我认为意识的出现是偶然的。 但是，我认为这是有价值的适应。 因为，在我们的进化史上，可能是最近的进化历史。 有些人喜欢引人注目，作为主体，享受着在这个世界上作为独立个人的主观体验。 我怀疑他们比他们班有更强的适应性。 其他人不具有这样的优势。

我认为意识的出现与人类之间的交往行为密切相关。 我认为要成为社会动物，心灵理论是必要的。 要成为成功的社会动物，必须能够控制人际关系、社会等级制度的多少、等级排序等。

我知道黑猩猩在我们所谓的“权术主义智慧( machiavellian intelligence )”方面确实是老手。 换言之，有了这样的社会智慧，你就会故意操纵你的行为，获得一点社会特征。 换句话说，我假装想认识你。 不是因为我真的想认识你，而是因为我知道你和某个人是朋友。 因为我真的很想和她交朋友。 这就是权谋术数。 黑猩猩擅长那个，可能和我们人类一样擅长。

为了拥有这种权利主义的智慧，需要内心的理论。 精神理论意味着你对自己的班级有非常多复杂的概念。 现在相反，我们有很多复杂的身体，所以我觉得有难以控制的身体。 因此，在我们进化史初期，我们开始有相当多复杂的身体自我形象。 换句话说，叫做内部模拟，或者我们自己身体的内部模型。

当然，拥有自己身体模型的美妙之处在于你也会自动拥有同样的模型。 所以，我认为我们有心理理论是因为自我模型的诱惑。 而且，如果你有心理理论的话，我想我不知道什么时候开始。 我们可以互相模仿。 也就是说，进行社会学习。

我认为社会学习是现代思想进化的另一大进步。 意味着社会学习比个人学习更有力量。 而且，传播这种知识的能力会从祖先传给后代。 特别是人们发明了文章、符号和语言之后，写作当然是很久以后的事了，但我认为这些都是必要的，可能不足以满足产生意识的前提条件。 我的意思是，这很感兴趣。 我不知道你是否知道朱利安·詹斯的书。

问:我当然知道《二分心智》。 直到公元前500年我们才有自我意识，但希腊诸神和神谕的兴起，让我们意识到我们失去了过去脑海中可以听到的声音。

阿兰·温菲尔德:我认为这是一个激进的假设。 很少有人相信这个看法。 但是，我觉得这很感兴趣。 这个观点认为现代意识可能是最新的适应性，记录了荷马史诗时代以来的历史。 所以，我想可能没有人知道意识是怎么进化的。 正如许多自然历史一样，我们只有“原来如此”的故事。 我们只有可靠性高还是低的假设。

但是，我坚决认为产生意识的关键前提条件是内部模型。 dan dennett提出了一个被称为“生成器和测试供水”的概念框架。 基于这个概念的生物可以采取非常复杂的方法来生成和测试下一步采取什么行动的假设。 其中波普生物( popperian creatures )理论说，生物有惊人的创新，在做某件事之前可以想象其行动的结果。 因为，他们意识到某些行为不好，可以决定不尝试。 因为这可能非常危险。

另外，他还提出波普式人工物的子类是为了能够从其他生物中相互学习，而发明了语言等思考工具的格里高利式人工物( gregorian creatures )。 我认为社会学习和心智理论在意识的出现中非常重要。 当然，我认为独居的动物没有你我所拥有的那种意识。

问:所以，我们不知道意识是怎么来的，同时你刚才说我们可能永远不知道。 但是，实际问题更棘手。 因为我们不知道的不仅是意识的由来，也没有科学来解释我们是如何感受的，我们不仅能体验它，还能体验什么？ 那么，你认为我们的“主观体验”到底是什么？

alan winfield :这是一个非常复杂的问题。 我刚才说的是非常小的前提条件，这不是“意识是什么”的回答。 我有关于意识的兴趣理论。 例如，我非常喜欢托马斯·梅辛( thomas metzinger )的理论。 至少对我来说，我认为这是一种很有吸引力的意识理论。 因为它基于内部的自我模型。 我对自我模型感兴趣，并指出我对他提出的自我模型的概念感兴趣。

现在，就像你说的那样，我们的误解有很大的差距，我们甚至不知道该问什么，答案当然是肯定的，但我认为我们正在慢慢接近真相。 我认为人类在意识研究方面正在进步。 我的意思是，对退火( anil seth )这方面的研究也非常感兴趣。

问:在很多情况下，当我们观察人脑时，会说:“是的，我们不理解那是因为我们有1千亿个神经元。” 但是，20年来，我们一直在努力提取线虫的302个神经元，创造和建模数字化的生活，但尽管我们能够复制拥有300个神经元的大脑，却无法理解大脑是如何工作的。 有些人认为单个神经元可能和超级计算机一样多噪音。 你觉得怎么样？ 为什么不能理解线虫的大脑是如何运动的呢？

alan winfield :当然，“理解”是多个层面的东西。 某种程度上可以理解线虫的神经连接是如何运动的。 我的意思是，我们能理解。 这是真的。 但是，和所有科学一样，“理解”和科学模式在某种程度上是抽象的。 如果你想深入了解，提高了解程度，我想这是开始面对困难的时候了。

就像你说的，如果用计算机模拟线虫，就无法以完全的忠实度模拟每个神经元。 为什么不能？ 不仅它非常多而且复杂，因为我们还不能完全理解一个生物神经元的内部过程。 但这并不意味着我们不能，而是在有点有用和有意义的抽象层面上，明确对某个特定感觉器官的刺激会引起某个特定的连锁反应，从而引起肌肉痉挛。 我们当然可以做这个。

除了人类，谁还有意识？

问: robotswithinternalmodels:aroutetoself-awareandhence ( Safer Robots )这篇论文，我刚才也提到了内部模型。 你在论文中反复提到三个术语。 第一个是自我意识( self-awareness )。 你提到了盖洛普红点的测试。 这个测试可以解释为“我是我自己”。 在镜子里看到身体额头上的红点。 我知道那是我。 我试着从我的额头上擦掉那个。 这就是自我意识的概念。 第二个术语是感觉( sentience )，当然经常被误用，感觉当然是什么，感觉就是痛。 第三个是意识( consciousness )，也就是“我经历过什么”。 自我意识意味着感觉，感觉意味着意识吗？ 还是自我意识是自我意识，不是感觉和意识？

阿兰·温菲尔德:我不认为绝对。 换句话说，我认为这些都在某种程度上。 意思是即使是简单的动物也需要一点有限的自我意识。 我认为最简单的自我意识之一是所有动物都需要分辨自己和其他动物的不同。 如果不能分辨自己和其他动物的区别，在世界上生存就不太容易。

现在，我认为这是非常有限的自我意识，并不是说因为有能够区分自己和其他动物不同的低级动物，就有感觉和意识。 所以，我认为这些东西都在一定程度上。

意识也是十分钟左右，当然人类的某些属性也是独特的。 我们一定是地球上唯一能“思考”的动物。 也就是说，反身的能力，可以自己向自己提出问题。

但是，即使黑猩猩不能思考“思考”本身，我也认为那是有意识的。 很明显还有很多其他有意识的属性。 不仅仅是黑猩猩，其他动物也能明显感到疼痛、悲伤、悲伤。 如果一个动物家族的成员死了或被杀了，其他动物的反应就会表明有意识。 而且有很多动物，我们几乎本能地觉得他们有很高的意识。 海豚就是一个例子。 最令人费解的动物是章鱼。

问:那么植物呢？ 植物有自我意识、感觉、感知和意识吗？

alan winfield :这个问题很好。 当然，植物很有智慧。 这里的“智能( intelligence )”这个词可能更合适。 但这可能只是有限形式的自我意识，非常有限的感觉。 因为从某种意义上说，植物确实可以感知周围的环境。 植物、树木，显然对附近的植物和害虫的攻击有一定的感知和反应，而且似乎能反应保护自己和周围同类的人。

所以，植物的行为、植物的智慧，非常多而庞杂，才刚刚开始被我们理解。 我有一个朋友丹尼chamovitz，以色列特拉维夫大学的生物学家，写了一本关于植物智能的很棒的书，很值得一读。

问:不能把人脑放在显微镜下说“这些东西是有意识的”。 所以，我认为詹姆斯洛夫(盖亚假说的提出者)不知道他在这个问题上的角度是什么——观察地球本身在很小的范围内控制着这么多属性。 我还有一个问题。 网呢？ 互联网能实现意识和自我意识吗？ 我是说，那意味着一定有足够的解决方案。

alan winfield :我想可能是这个问题的答案，但我刚想到这个问题，我认为答案是否定的。 我不认为网络是自我意识。 我认为这和不认为地球和这个行星有自我意识是同样的理由，但正如你所说，这是惊人的自我调节系统。 但是，我认为自我意识、感知能力以及对其他事物的意识，不仅需要高度互联的互联网，还需要正确的体系结构。

不是我们的大脑，我们的神经系统，随机连接的互联网。 它有自己的体系结构，是一种进化的体系结构。 当然，不仅仅是进化了，还受到了社会的制约。 我一直在说。 你们和我能进行这个对话的唯一理由是，我们共同分享了文化、文化环境，本身得到了高度的进化。 所以，我认为意识的出现与信息表达、语言以及最终出现的文化是分不开的。

我认为网络并不是有自我意识的。 因为没有正确的体系结构。 并不是因为没有足够的解决方案和连接。 这显然有，但和我认为的架构无关。 从某种意义上说，动物神经系统的体系结构不是随机的。 这显然是真的，不是吗？ 即使随机连接一千亿个神经元，也无法得到身体的大脑。

问:网络的主干网和节点可以说是有机结构，但我同意你的意见。 所以，如果我们制造了有自我意识，可以感知这个世界的机器，我们怎么知道它有自我意识呢？

alan winfield :我认为这确实是个问题。 我们不太认识。 伦理风险之一，特别是大脑模拟，在某种意义上是特殊的人工智能，我们可能会在不知不觉中制造机器。 它实际上是非凡的主观的，可能更令人担忧，更痛苦。 换句话说，一个东西正在经历痛苦。 最糟糕的是，正如你所说，我们可能甚至不知道它正在经历这样的痛苦。

问:例如，我的扫地机器人突然意识到自己，我们也冒着最终制造巨大数字奴隶人种的风险，对吧？ 在我们的意志中，我们所做的一切，都是为了感受和感知世界。

alan winfield :是的，作为机器人奴隶的道德问题是另一个问题。 我们不要把它混淆在某种意义上，在机器人的道德问题上没什么困扰。 因为没有感觉和意识。 虽然不能说完全没有道德要求，但是道德要求很低。

自动驾驶汽车发生交通事故的人需要对此负责

问:有人说，在发生机器人伦理问题或人工智能伦理问题时，这是我们必须思考的直接例子。 除了战争中是否应该采用这些设备外，谁都知道的例子是自动驾驶汽车应该开车撞悬崖还是撞身体？ 一家自动驾驶汽车制造商站起来说:“我们会保护司机。 我们就是这样做的”机器人伦理学家。 你认为这个问题，应该怎么处理这个孤立的、现实的世界问题？

alan winfield :我认为道德困境的问题，特别是“电车难题”，在现实生活中非常罕见。 像你和我这样的人，我觉得你平时开车很好。 而且，你可能开了好几年车。 你遇到过几次电车难题？ 答案永远没有。

问:但是，我知道车有可能在事故中撞死行人。

alan winfield :虽然承担责任的不一定是程序员，但确实是人类。 我的想法——我对此持非常强硬的态度——不是机器人而是人类，应该承担责任。 这个机器人包括人工智能。 因为，不管无人车怎么编程，都不能承担责任。 我认为这是绝对的基础。 至少现在是这样。 几百年后，情况可能会有些不同，但现在我有一个非常简单的观点。 机器人和ai都不应该负责，应该负责的只有人类。

那么，无人车应该遵守什么样的道德规范呢？ 我认为这是社会问题。 当然，这不依赖于程序员的设计和制造商的决策。 我认为这必须是社会问题。 所以，你是对的。 我们有无人车的时候，还会发生事故。 当然，事故会减少，但偶尔会有。 人们仍然有可能死于交通事故。 也就是说，是无人车犯错的时候。

现在，我们有几件事需要做。我想我们需要知道为什么无人车出了问题。 也就是说，无人车需要像飞机上安装的飞行数据记录器。 我称之为“电子黑匣子”。 我们需要监管机构。 也就是说，制造商有义务将这些黑匣子安装在无人车上。 事故调查人员拥有权威和权力，可以查看这些“道德黑匣子”的数据，找出问题出在哪里。

但是，我想即使这些监管都到位了，也一定会有一点偶然的事故。 的唯一应对措施是对无人驾驶车辆适用道德标准。 但是，如果我们确实使无人驾驶汽车的行为与道德规范一致，那么这些伦理道德需要由整个社会来决定，可以共同承担事故和人们受害的少数例子的责任。

weizenbaum是有名的eliza聊天机器人的发明者，输入后会回答“有问题”和“有什么问题吗？ ”。 “我和你父母矛盾”“你和你父母有什么矛盾吗？ ’这样继续下去。 weizenbaum写了这个程序，观察了人们对聊天机器人的情感依恋。 但是，他们知道那是个简单的程序。 他区分了决策和选择的概念。 “机器人应该做出决策。 这是电脑操作。 但是，他们绝不应该选择。 选择人类应该做的事”你觉得他的这个说法正确吗？ 你对这个差异有什么看法？ 他认为，人类希望对机器有共鸣心是根本错误的。 那是因为没有高估机器的能力，轻视人类。

阿兰·温菲尔德:是的。 当然，我们坚决认为，如果把机器人作为个人助理、聊天机器人、顾问和合作伙伴使用，什么都需要在非常严格的道德框架内完成这些，不让任何人被欺骗，也不让任何人被剥削。 我能想到的诈骗例子是，在采用聊天机器人时，即使你真的相信你在和身体说话，或者发现你没有和身体说话，相信这个系统，相信机器在照顾你，机器会对你有感情

当然，我不认为我们应该有这样的伙伴系统。 在某些情况下，我认为它们是值得的。 例如，机器人宠物。 痴呆症老人进入疗养院时，他们经历的最大创伤之一可能是把宠物丢在身边。 我和在养老院工作的人交流过。 他表示，哪个老年痴呆症患者希望他们住的地方有机器人宠物。

即使现在，这些老年人可能会意识到机器人宠物不是真正的动物，但从某种意义上说，他们可能还是很在意这个机器人。 我认为这是可能的。 比起欺诈带来的心理伤害，我认为对机器人宠物的治疗好处更重。

但我认为我们需要强有力的道德框架、指导方针和规定。 弱势群体，特别是儿童、残疾人和老年人，特别是可能患有痴呆症的老人，应该避免被任性的制造商和设计师设计的情感系统所利用。

q :你对科幻小说有什么看法？ 你认为科幻小说、电影、电视节目中的情况“啊，这可能会发生”吗？

Alan Winfield :我读过很多科幻小说，当然不是全部都会发生，但大多都希望或者喜欢其中一部。 一般最好的科幻小说都是反乌托邦的，但这也没关系。 好的科幻小说就像思想实验，但我也喜欢乌托邦式的幻想。 而且我喜欢iain m.banks的the culture系列的ai乌托邦。 这个世界上有很多非常聪明神秘的人工智能，但是善良亲切，会照顾什么样的穷人呢？ 我有点喜欢他这个想法。

关注本智能公众号( smartman163 )，获取人工智能领域的最新报告。

请点击“ai英雄”的主题观看，进一步复制过去！

来源：安莎通讯社