亚历山大·索尔仁尼琴在《古拉格群岛》中记述的历史，除了涉及苏联劳改营本身，还涉及创建并维持这些劳改营的信息网络。这部作品部分源自他痛苦的个人经历。第二次世界大战期间，索尔仁尼琴担任红军大尉。当时，他和以前的同学还有信件往来，他偶尔会在信里批判斯大林。为了安全起见，他并没有指名道姓，而是以“那个留着络腮胡子的人”指代。这没什么用。秘密警察拦截并读了他的信。1945年2月，他在德国前线服役时被捕。接下来的8年，他是在劳改营里度过的。索尔仁尼琴许多来之不易的见解与故事对于我们理解21世纪信息网络的发展仍然具有重要意义。

书中的一个故事发生在莫斯科省的一次地区党代表会议上，当时正值苏联肃反运动高峰（20世纪30年代末）。会议结束时，代表们要向斯大林致敬，在场代表（当然清楚有人在密切监视他们）掌声雷动，但过了5分钟，“手都拍疼了，抬起的手臂也开始发酸，上了年纪的人开始喘不上来气……但谁敢第一个停下来呢？”索尔仁尼琴解释说，“内务人民委员部的人也站在那里鼓掌，看谁会第一个停下来！”掌声持续不断，6分钟，8分钟，10分钟。“他们在因心脏病发作而倒下之前都不能停手……区领导们强颜欢笑，绝望地面面相觑。他们肯定会一直鼓掌，直到倒地不起。”

终于在第11分钟的时候，一个造纸厂厂长豁出去了，停止了鼓掌，坐了下来。其他人立刻照着做。当晚，秘密警察逮捕了那位厂长，判他在古拉格劳改营服刑10年。“审讯他的人要他记住，永远不要第一个停止鼓掌！”

这个故事让我们看到一个关于信息网络（特别是关于监控系统）的重要且让人毛骨悚然的事实。正如前文所述，与天真的信息观相反，信息常常被用来创造秩序而非发现真相。表面上，地区党代表会议上的秘密警察想通过这次“鼓掌测试”来揭示关于代表们的真相，其实就是个忠诚度测试——你鼓掌越久，就越爱斯大林。在很多情况下，这种假设也不见得没道理，但如果在20世纪30年代末的莫斯科，鼓掌这件事的本质则变了。正因为代表们清楚有人在监视他们，也知道表露任何一丝不忠会有什么后果，所以他们鼓掌根本不是出于敬爱，而是出于恐惧。造纸厂厂长之所以停止鼓掌，很有可能不是因为他最不忠诚，而是因为他最诚实，或者只是因为他的手最疼。

虽然“鼓掌测试”并没有揭示关于这群人的真相，但却很有效率地把一套秩序强加在这群人身上，逼他们一定要遵守某种行事方式。时间慢慢过去，这套秩序会培养出奴性、虚伪、对他人的不信任与悲观。在量子力学中，光是观察亚原子粒子，就会让这些粒子的行为发生改变。观察人类的行为也是如此：我们的观察工具越强大，可能造成的影响越大。

苏联曾打造了强大的信息网络，收集并处理了大量关于公民的资料，还声称在领导人的正确领导下，对人性有深刻理解。事实上，苏联的信息网络忽略了人性的许多重要方面，并且认为这些政策不会给公民带来磨难。这套信息网络带来的智慧有限，更多的是服务于秩序的建立；它也没能揭示关于人类的普遍真理，反而提出了一个新概念，即苏维埃原人。

苏联哲学家、讽刺作家亚历山大·季诺维也夫定义的苏维埃原人是一群奴性、悲观、不信任他人的人类，无论多荒谬的指令，他们都会遵守，对自己行为造成的结果也漠不关心。苏联的信息网络正是通过监控、惩罚与奖励创造了苏维埃原人。举例来说，该网络把造纸厂厂长送进古拉格劳改营，等于告诉其他在场代表，乖乖跟大家一致是件好事，想当出头鸟则是不明智的。虽然这套网络并未揭示关于人类的真理，但却非常擅长创造秩序，这让它征服了世界的一大片地区。

类似的动态也可能影响21世纪的计算机网络，创造出新型人类或新型反乌托邦。一个典型的例子就是社交媒体算法正让民众走向偏激与极端。当然，这些算法所用的方法完全不同于苏联内务人民委员部，也没有直接的胁迫或暴力。正如苏联秘密警察通过监控、奖励与惩罚创造了顺从的苏维埃原人，脸书与YouTube的算法也通过奖励人性里某些基本本能，同时惩罚人性里某些善良的部分，而创造出互联网喷子。

第六章曾经简单说明，企业在要求算法提高用户参与度的时候，就开始了一个走向偏激与极端的过程，这种情况不仅发生在缅甸，而且发生在全世界。例如，2012年，YouTube在全球的总观看时长约为每天1亿小时。但公司高层还不满足，于是给算法确立了一个充满野心的目标：到2016年，这一数据要达到每天10亿小时。经过对数百万人的实验，不断试错，YouTube的算法发现了脸书的算法也掌握的那套模式：只要激起人们的怒火，就能提升参与度，而走中庸节制的路线则行不通。于是，YouTube的算法开始向数百万观众推荐各种让人惊骇、愤慨的阴谋论，同时无视那些较为中庸、理性的内容。2016年，YouTube每天的总观看时长达到10亿小时。

那些想博人眼球的YouTube主播发现，如果发布满是谎言、让人愤慨的视频，会受到算法青睐，视频会被推荐给大量观众，于是自己的人气会飙升，收益也会增加。相较之下，如果不刺激人们愤怒的情绪，坚持只谈事实，算法常常对他们的作品视而不见。经过几个月的强化学习，算法让许多YouTube主播都成了喷子。

这会造成深远的社会与政治影响。比如，记者马克斯·费希尔2022年的著作《混沌机器》（The Chaos Machine）就提到，YouTube的算法成了推动巴西极右翼势力崛起的重要引擎，也把雅伊尔·博索纳罗从边缘人物一路推上巴西总统宝座。虽然这场政治动荡不乏其他诱因，但值得一提的是，博索纳罗有许多主要支持者与助手最初都是YouTube主播，他们因为算法的恩赐而得到声誉和权力。

卡洛斯·若尔迪就是一个典型的例子。他在2017年还是尼泰罗伊这个小城市的议员。野心勃勃的他靠拍摄煽动性的YouTube视频得到国人关注，观看量高达数百万人次。比如，他的许多视频会警告巴西人，要小心老师搞阴谋，洗脑儿童，迫害保守派学生。若尔迪在2018年以博索纳罗最忠实的支持者之姿，赢得巴西众议院（巴西国会的下议院）的席位。接受费希尔采访的时候，若尔迪坦言：“要是没有社交媒体，我不可能站在这里，博索纳罗也不可能当上总统。”后半句可能有点夸张，但不可否认，社交媒体确实在博索纳罗的崛起过程中发挥了重要作用。

同样在2018年赢得巴西众议院席位的YouTube主播是基姆·卡塔吉里，他是“自由巴西运动”（Movimento Brasil Livre，MBL）的领导者之一。卡塔吉里一开始以脸书作为他的主要平台，但他的帖文连脸书也觉得过于极端，并将其部分帖文认定为不实信息而移除。于是卡塔吉里转向管制较为宽松的YouTube。在圣保罗的“自由巴西运动”总部接受采访时，卡塔吉里的助理与其他一些活动人士向费希尔解释说：“这里有一种我们所谓的‘点赞的独裁’。”他们表示，YouTube主播之所以越来越偏激，并发表一些虚假而不顾后果的内容，“正是因为那些东西能带来观看量和参与度……一旦那扇门打开了，你就永远无法回头，只能越来越夸张……地平论者、反疫苗者、政治阴谋论者在本质上是一样的，他们随处可见”。

当然，并不是YouTube的算法编造了谎言或阴谋论，或者创作了偏激、极端的内容。至少在2017—2018年，这些内容还是由人类创作的。然而算法所做的，是鼓励人类往这个方向走，并且不断推荐这些内容，以最大限度地提升用户参与度。根据费希尔的调研，许多极右翼活动人士正是在看了YouTube的算法自动推送的视频，才首次对极端主义政治有了兴趣。尼泰罗伊的一位极右翼活动人士告诉费希尔，他本来对任何政治话题都没什么兴趣，直到有一天，YouTube的算法自动给他推送了一部卡塔吉里发的政治视频。他说：“在那之前，我并没有什么特定的意识形态或政治背景。”他认为这套算法为他提供了“政治启蒙”。说到其他人是怎么加入这场运动的，他说：“每个人其实都是这样……大多数人都是因为YouTube和社交媒体才加入的。”

我们已经到了一个历史转折点：当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。第六章已经提及这个论点，当时曾简单提及脸书在煽动罗兴亚人冲突中扮演的角色。但也如当时所言，许多人（包括脸书、YouTube与其他科技巨头的部分高管与工程师）对这个论点并不赞同。但由于这是本书的一个核心论点，因此我们最好再深入研究一下，详细地谈谈各方反对这个论点的原因。

脸书、YouTube、TikTok等平台的管理者为了找借口，常常会说这些问题不是算法带来的，而是源于人性。他们表示，人性是各个平台上一切仇恨与谎言的源头。这些科技巨头认为，因为他们信守言论自由的价值观，所以审查人们表达真情实感真的很难。例如，YouTube原首席执行官苏珊·沃西基在2019年解释说：“我们对这件事的思考方式是：‘这个内容有没有违反我们的某项政策？是否违反了对于仇恨、骚扰等方面的规定？’如果它确实违反了，我们就会将其删除。其实我们的政策越来越严。当然，我们也会受到批评。言论自由的界限到底应该划在哪里？要是划得太严，是不是就会抹除社会应该听到的某些声音？”

脸书一位发言人在2021年10月表示：“正如所有其他平台，我们一直得在言论自由与有害言论、安全与其他议题之间做出艰难决定……但像这些社会界限，最好都交给民选的领导者来判断。”于是，科技巨头不断转移讨论焦点，说自己只是在人类用户制作出内容之后，担任版主这样的角色，很辛苦，而且大多数时候发挥的是积极作用。这让人觉得似乎问题都是人类自己造成的，算法在尽力限制人性恶的一面。他们却绝口不提自己的算法会主动助长某些人类情绪，同时抑制另一些人类情绪。难道他们真的没看到这些情形吗？

当然不是。早在2016年，脸书的一份内部报告就发现“在加入极端组织的人当中，有64%是因为我们的推荐工具才加入极端组织的……我们的推荐系统助长了这个问题”。“吹哨人”脸书前员工弗朗西丝·豪根揭露了脸书在2019年8月的一份内部机密备忘录，里面提及：“我们有许多不同来源的证据显示，脸书及其‘应用程序家族’上的仇恨言论，以及分裂性政治言论与错误信息，正在影响世界各地的社会。我们也有令人信服的证据指出，我们的核心产品机制，如病毒式传播、推荐与提升用户黏性，正是此类言论在脸书平台盛行的重要原因。”

2019年12月流出的另一份文件则提及：“病毒式传播不同于我们和好友或家人的沟通，而是一种由我们带到许多生态系统之中的新事物……这种事之所以发生，是因为我们出于商业目的而刻意推动的。”文件指出：“以参与度为标准对有较高风险的话题（如健康或政治）进行排序，会导致不正当激励与诚信问题。”它还提及，或许最致命的一点在于“我们的排序系统包括各种具体的独立预测，不仅预测你可能参与哪些内容，还预测你可能传播哪些内容。遗憾的是，研究显示，让人感到愤慨的内容与错误信息更有可能像病毒那样传播”。这份文件提出一条重要建议：由于平台用户多达数百万人，脸书不可能删除所有有害内容，但至少应该“别再让有害内容得到非自然传播而得到放大”。

正如一些国家的领导人，科技企业正在做的并不是找出关于人类的真相，而是给人类强加一个扭曲的新秩序。人类是非常复杂的生物，良好社会秩序会培养人类的美德，同时减少人类的消极倾向。然而社交媒体算法只把人看成矿井，想要“开采”更多的注意力。人类有丰富的情感，如爱、恨、愤慨、喜悦、困惑，但算法把一切简化成一件事——参与度。无论是2016年在缅甸、2018年在巴西，还是在许多其他国家，算法在对所有视频、帖文或其他内容进行评分时，只看人们观看了几分钟、分享了几次。能够让人看一小时的谎言或仇恨内容的评分就是高于只让人看10分钟的有关真相或令人产生同情心的内容，前者甚至比睡一小时还重要。即使事实摆在眼前，即谎言与仇恨常常会对心理与社会造成破坏，而真相、同情心与睡眠是人类幸福所不可或缺的，算法也完全不考量这一点。正因为对人类的理解如此狭隘，所以算法创造了一个新的社会系统，鼓励我们顺从人类最基本的本能，同时阻碍我们发挥人类完整的潜能。

随着各种不良影响的日益显现，科技巨头也不断被警告要注意这些影响，但因为它们坚信天真的信息观，所以未能进行干预。明明平台上充斥着各种谎言与骇人听闻的内容，但企业高层还是认为只要让更多的人自由表达想法，真理就会占据上风。但事态并未如此发展。我们一次又一次看到，如果人们可以完全自由地表达自己，真理常常会败下阵来。想让天平往有利于真理的方向倾斜，网络就必须发展并维持强大的自我修正机制，让说真话的人得到奖励。自我修正机制需要付出相当大的代价，但要是真想得到真理，这是必要的代价。

硅谷以为自己不需要在意这条历史规律，而各个社交媒体平台也一直缺乏自我修正机制。2014年，脸书只有一位缅甸语内容管理者，负责监控整个缅甸的活动内容。有些人已经注意到了缅甸的状况，警告脸书必须加强内容审核，但脸书不以为意。比如出身于缅甸农村的缅裔美籍工程师暨电信业高层佩因特·吞就曾多次致信脸书高层警惕这种危险。早在2014年7月5日，距离种族冲突还有两年，她就在一封电子邮件中提出预言般的警告：“令人痛心的是，脸书目前在缅甸被使用的方式，就跟广播在卢旺达种族灭绝的那个黑暗时期被使用的方式一样。”而脸书却没有采取任何行动。

即使对罗兴亚人的攻击不断升温，脸书面临的批评排山倒海，它也拒绝聘请真正了解当地情况的人管理内容。因此，在得知有一群缅甸仇恨分子使用缅甸语“kalar”一词作为对罗兴亚人的种族歧视称呼之后，脸书在2017年4月的反应是完全禁止在脸书平台发布使用这个词的内容。但这暴露了脸书完全不了解当地情况与缅甸语。在缅甸语中，kalar只有在特定语境下才是一种种族歧视称呼，而在其他语境下则完全与种族歧视无关。比如缅甸语中“椅子”是kalar htaing，“鹰嘴豆”则是kalar pae。佩因特·吞在2017年6月写给脸书的邮件里就指出，禁止在脸书发文时使用kalar这个词，就像是禁止在写“hello”时写出“hell”（地狱）一样。但脸书还是继续无视自己对当地专业人士的需求。截至2018年4月，在缅甸的脸书用户数高达1800万，而脸书雇用的懂缅甸语的内容审核人员只有5人。

各个社交媒体巨头所做的，不是投资推动鼓励说真话的自我修正机制，而是研发出前所未有的错误增强机制，鼓励谎言与虚构。脸书在2016年于缅甸推出的“即时文汇”（Instant Articles）项目，就是这种错误增强机制之一。当时为了提升参与度，脸书在提供新闻频道奖励时，只看频道的用户参与度（以点击次数与观看次数计算），而完全不管所谓的“新闻”是否真实。2021年的一项研究发现，在该项目启动前的2015年，缅甸脸书粉丝专页排名前十中有六个属于“合法媒体”。到2017年，在“即时文汇”的影响下，“合法媒体”粉丝专页在排名前十中只剩下两个。到2018年，前十大粉丝专页已经全部是假新闻与钓鱼标题网站。

该研究的结论是，在脸书推出“即时文汇”项目之后，“一夜之间，缅甸到处涌现出做钓鱼标题的人。这些人知道怎样制作引人上钩、愿意参与的内容，他们每个月能赚几千美元的广告收入，相当于当地平均月薪的10倍——直接由脸书支付”。由于脸书是当时缅甸最重要的网络新闻来源，也就对缅甸的整体媒体环境造成了巨大影响，“在一个脸书等于互联网的国家，质量低劣的内容淹没了其他信息来源”。脸书与其他社交媒体平台并不是有意要让假新闻与令人惊骇愤慨的内容充斥世界，但它们要求算法尽量提升用户参与度，最后就会造成这样的后果。

回顾缅甸那场悲剧，佩因特·吞在2023年7月写邮件告诉我：“我曾经天真地相信，社交媒体能够联结几十亿人的前额叶皮质，以此提升人类的意识，传播人类共同的观点。但我最后发现，社交媒体公司并没有动力联结人们的前额叶皮质，反而想联结边缘系统——这对人类而言实在太危险了。”

我并不是暗示过去、现在和未来，所有假新闻与阴谋论的传播都该由计算机网络负责。YouTube、脸书与其他社交媒体平台都表示，它们从2018年以来一直在调整算法，希望对社会负起更多责任。这究竟是否属实还很难说，特别是今天连“社会责任”一词都还没有一个清晰公认的定义。然而肯定能解决的一个问题就是别再为了追求用户参与度而污染整个信息领域。只要科技巨头真的想要设计出更好的算法，通常就能做到。2005年前后，垃圾邮件泛滥严重威胁到电子邮件的使用，当时就研发出强大的算法解决了这个问题。到2015年，谷歌声称旗下的网络邮件服务Gmail的算法能够成功拦截99.9%的垃圾邮件，正常邮件被误判的比例也只有1%。

我们也不该无视YouTube、脸书与其他社交媒体平台确实为社会带来的巨大效益。当然，大多数YouTube视频与脸书帖子都不是假新闻，也没有煽动种族灭绝。社交媒体确实扮演了重要角色，联结人民，让过去权利遭到剥夺的群体得以发声，组织重要的新运动与社群，也激励人类展现出一波前所未有的创意。在过去以电视为主流媒体的年代，常有人说观众只是“沙发土豆”：只会被动接受由少数天才艺术家创作的内容。脸书、YouTube与其他社交媒体平台唤起了这群“土豆”，让他们开始创作。社交媒体上的大部分内容（至少在强大的生成式人工智能兴起之前）都是用户自己（加上他们的猫猫狗狗）制作的，而不是出自少数专业人士之手。

我也常常用YouTube与脸书和人联系。比如我就很感谢社交媒体让我认识了我的爱人，我们是在2002年于最早的一个社交媒体平台上认识的。对于这种散落各处的性少数群体，社交媒体真的带来了奇迹。同性恋男孩很少出生于同性恋家庭或住在同性恋社区。在互联网出现之前，除非直接搬到少数有同性恋文化、态度较为宽容的大都市，否则只是想要认识其他同性恋者就是一大挑战。20世纪80年代末到90年代初，我在以色列一个仇视同性恋的小镇长大，连一个公开的同性恋者都不认识。而在20世纪90年代末到21世纪初，对原本分散的性少数群体成员而言，社交媒体简直像一种前所未有的魔法，让我们能够找到对方、建立联系。

然而，我之所以要用这么长的篇幅谈论社交媒体“用户参与度”的难题，是因为这能显示计算机面临的一个更大的问题：一致性问题（又被称为“对齐问题”）。只要人类给计算机一个特定的目标，比如“让YouTube流量增加到每天10亿小时”，计算机就会竭尽全力，以各种不同方式实现这个目标。但由于计算机的运作与人类大不相同，很可能所用的方法将完全出乎人类的意料，造成未曾预见的危险后果，而与人类最初确立的目标完全不一致。就算推荐算法已经不再鼓励仇恨，计算机的其他一致性问题还是可能引发相关灾难，其严重程度比起针对罗兴亚人的冲突可能有过之而无不及。计算机变得越强大、越独立，这种危险也越大。

当然，一致性问题不是什么新鲜事，也不是算法所独有的。早在计算机发明之前，一致性问题就已困扰人类几千年。比如以卡尔·冯·克劳塞维茨的战争理论为代表，现代军事思想也一直摆脱不了这种目的不一致的问题。克劳塞维茨是一位普鲁士少将，曾参加拿破仑战争，于1815年彻底击败拿破仑之后担任普鲁士战争学院院长，开始构思规模宏大的战争理论。他在1831年死于霍乱，妻子玛丽编辑了他未完成的手稿，并在1832—1834年陆续出版《战争论》。

《战争论》提出了一套合乎理性的模型来解释战争，至今仍是主流的军事理论，书中最重要的一句格言就是“战争无非是政治通过另一种手段的继续”。这意味着战争不是情感的暴发，不是英雄的冒险，不是神祇的惩罚，甚至不是一种军事现象，而是一种政治工具。克劳塞维茨认为，军事行动必须与背后的某种整体政治目标一致，否则就是完全不理性的行为。

假设墨西哥正在考虑要不要大举入侵占领小小的邻国伯利兹。再假设，墨西哥经过详细的军事分析，认定如果开战，只要三天就能迅速取得决定性的胜利，彻底击溃伯利兹军队，攻下其首都贝尔莫潘。在克劳塞维茨看来，这样还不足以构成墨西哥入侵伯利兹的理性原因。只是确保军事上的胜利并没有意义，墨西哥政府该自问的关键问题是：这场军事上的胜利究竟能够实现什么政治目标？

历史上有许多军事上决定性的胜利最后却导致彻底的政治灾难。对克劳塞维茨来说，最明显的例子就发生在他身边：拿破仑的一生。没有人怀疑拿破仑的军事天才，讲到战术与战略，他定然是个中翘楚。然而，虽然他胜仗连连，一度攻下大片领土，却没能因此建立长久的政治成就。他征伐四方，只是让大多数欧洲列强群起联合反抗，加冕不过十年，帝国便轰然倒塌。

事实上，从长远来看，拿破仑连连得胜反而使法国从此走向下坡路。数个世纪以来，法国一直是欧洲地缘政治的一方霸主，主要原因就是意大利与德国没形成统一的政治实体。当时的意大利就像一锅大杂烩，包括几十个兵戎相向的城邦、封建公国与教会领地。德国则像一幅更奇怪的拼图，有1000多个独立政体，松散地集结在德意志民族神圣罗马帝国理论上的宗主权之下。1789年，根本无法想象德国或意大利入侵法国这种事，因为当时根本就没有德军或意军。

随着把帝国版图扩张到中欧与意大利半岛，拿破仑在1806年推翻神圣罗马帝国，而将许多较小的日耳曼与意大利公国合并，建立了莱茵邦联与意大利王国，希望将这些领土收归自己的帝国。横扫各地的拿破仑大军也将现代民族主义与人民主权的理想传播到德意志与意大利的土地上。拿破仑认为这一切会让他的帝国更加强盛。但事实上，在传统结构被打破之后，日耳曼人与意大利人尝到了民族统一的甜头，拿破仑就这样在无意间奠定了德国统一（1866—1871年）与意大利统一（1848—1871年）的基础。两个民族国家的统一齐头并进，最后以德国在1870—1871年普法战争击败法国而终于实现。面对国境东边这两个新近统一且民族主义高涨的强国，法国再也没能恢复过去的霸权地位。

另一个比较晚近的例子则是2003年美国入侵伊拉克，同样是赢了军事却输了政治。美国在重大战役中攻无不克，长期政治目标却是一事无成，没能在伊拉克建立亲美政权，也没能在中东建立有利于美国的地缘政治秩序。这场战争真正的赢家是伊朗。美国在军事上的胜利，让伊拉克从伊朗的死敌变成其附庸，从而大大削弱了美国在中东的地位，而伊朗则成了这里的霸主。

拿破仑与小布什都是一致性问题的受害者，自己的短期军事目标与国家的长期地缘政治目标就是无法保持一致。克劳塞维茨的整部《战争论》其实就是在警告一件事：确立“尽量得到最大的胜利”这种目标，就和确立“尽量提升用户参与度”一样，太过短视近利。根据克劳塞维茨的模型，必须先确立明确的政治目标，才能让军队据此确立一套可以实现这个目标的军事战略。只要有整体的战略作为参考，低级军官也能在战场推导出理性的战术目标。这套战争模型在长期政策、中期战略和短期战术之间建构了一套明确的层级。所谓合乎理性的战术，就是要和战略目标一致；所谓合乎理性的战略，就是要和政治目标一致。即便一位基层指挥官，他的战术决策也必须符合整场战争的最终政治目标。

假设在美国占领伊拉克期间，一个美军连队遭到来自附近清真寺中的敌人的猛烈攻击。这位指挥官有几个战术决策选项：可以命令连队撤退，可以命令连队攻下清真寺，也可以命令坦克直接炸毁清真寺。他该怎么决定？

从纯粹军事的角度来看，这位指挥官最好的决定就是直接命令坦克炸毁清真寺。这样可以利用美军在火力上的战术优势，避免士兵面临生命危险，还能取得决定性的战术胜利。但从政治的角度来看，这可能会是最糟的决定。要是美军用坦克炸毁清真寺的视频流出，不仅会在伊拉克引起公愤，还可能激起整个伊斯兰世界的愤怒。攻下清真寺在政治上或许也不是个好决定，因为这不仅同样可能激起伊拉克人民的不满，还可能让美军付出生命的代价，进而削弱选民对战争的支持。考虑到美国这场战争的政治目标，最合乎理性的选择或许就是直接撤退，接受这场战术上的失败。

这样来看，对克劳塞维茨而言，所谓的合乎理性，就是目标与行动要有一致性。如果只追求战术或战略上的胜利，却造成与整体政治目标不一致，就不能说是合乎理性的选择。但问题在于，军队的官僚特质让他们很容易落入这种非理性陷阱。第三章提及，由于官僚制度必须将现实放进不同的抽屉，等于鼓励不惜牺牲整体更大的利益，只追求狭隘的目标。为了眼前狭隘的使命，官僚很有可能根本没意识到自己的行为会造成怎样更广泛的影响，而且，要问官僚的行为是否与社会整体利益一致，向来都不是个简单的问题。军队的运作如果需要冗长的官僚流程（所有现代军队都是如此），那么在战场指挥连队的上尉和于遥远的办公室里制定长期政策的总统之间就会出现巨大的鸿沟。上尉所做的决定，很有可能现场来看合理，实际上却有损战争的最终目的。

所以我们看到，人类早在计算机革命之前就已经遇到一致性问题。现代人想构建信息帝国时会遇到的困难，与过去人们想要征服四方时遇到的困难并没有太大不同。然而，计算机确实让一致性问题的本质出现了一些重要变化。过去，只是让人类官僚及人类士兵的行为向社会的长期目标看齐，就十分困难；在未来，要让“算法官僚”与自主武器系统向社会长期目标看齐，则更是难上加难。

在计算机网络的背景下，一致性问题的危险特别高，原因之一就是这个网络的权力可能远远高于过去任何人类官僚机构。如果是超级智能计算机出现了目标与人类不一致的状况，就可能导致前所未有的灾难。哲学家尼克·波斯特洛姆2014年的著作《超级智能》中就有一个思想实验，试图说明这种危险。这本书类似歌德的《魔法师学徒》。波斯特洛姆要我们想象一下，有一家回形针工厂买了一台超级智能计算机，工厂的人类主管要它完成一项看来再简单不过的任务：生产回形针，越多越好！结果为了完成这个目标，这台回形针计算机征服了整个地球，杀死了所有人类，并派出远征队占领更多行星，再用取得的丰富资源在整个银河系设立无数个回形针工厂。

这个思想实验的重点在于计算机只是乖乖地做人类要它做的事（像歌德笔下的那把魔法扫帚）。它先“意识”到，要建造更多工厂、生产更多回形针，就需要电力、钢铁、土地与其他资源；接着又“意识”到，人类不太可能会放弃这些资源，于是这台超级智能计算机为了一心追求这个既定目标，在过程中直接消灭了所有人类。波斯特洛姆想强调的是，计算机的问题并不在于它们特别邪恶，而在于它们特别强大。而计算机越强大，我们就越要小心为其确立目标，务必让计算机与人类的终极目标完全一致。如果只是个口袋计算器，即使我们给它确定的目标与人类的很不一致，后果也微乎其微。但如果是超级智能计算机，如果确定了一个与人类利益极不一致的目标，就可能催生一个反乌托邦。

这个回形针思想实验或许听起来很离谱，似乎与现实完全脱节，但在波斯特洛姆于2014年提出这个想法的时候，要是那些硅谷高管注意了这个想法，他们或许就不会那么莽撞地要求算法尽量提升用户参与度。脸书与YouTube的算法的表现，与波斯特洛姆想象的算法一模一样。当被要求尽量生产回形针，而且产量越多越好的时候，算法就会想要把整个宇宙的物质都变成回形针，就算摧毁人类文明也在所不惜。当被要求尽量提高用户参与度，而且数字越高越好的时候，脸书与YouTube的算法就想要把整个“社群宇宙”都变成用户参与度，即使会破坏缅甸、巴西与许多其他国家的社会结构，也在所不惜。

在计算机这个领域，波斯特洛姆的思想实验还能让我们看到一致性问题格外重要的第二个原因：因为都是非生物实体，所以它们采用的策略很可能是所有人类从未想到的，自然无力预见并阻止。这里有一个例子：2016年，达里奥·阿莫迪设计了一个名为“宇宙”（Universe）的项目，想要研发一款通用人工智能，它知道怎样玩几百种不同的计算机游戏。这款人工智能在各种赛车游戏中表现出色，于是阿莫迪决定让它试试赛船游戏。但不知道为什么，这款人工智能直接把船开进一个港口，接着就只是不断绕圈进进出出。

阿莫迪花了很久才搞清楚问题出在哪里。之所以会出现这个问题，是因为阿莫迪一开始不知道怎样告诉这款人工智能，它的目标是赢得比赛。对算法来说，“赢”并不是一个明确的概念。如果把“赢得比赛”翻译成计算机能懂的语言，阿莫迪就必须把排位、与其他参赛船只的相对位置之类的复杂概念都用形式语言表达出来。于是阿莫迪决定换个简单的办法，告诉人工智能得分越高越好。在他看来，得到最高分的应该和赢得比赛差不多，毕竟之前的赛车游戏都是这样的。

然而，那款赛船游戏有一个赛车游戏没有的特点，而聪明的人工智能找到了游戏规则的漏洞。在这款赛船游戏中，如果领先其他船只，玩家就能得到大量积分（这和赛车相同），然而船只每次靠港补充能量的时候，也能得到一些积分。结果人工智能就发现，与其试着超越其他船只，不如不断绕圈进出港口，这样反而能够更快积累更多积分。显然，无论是游戏的人类开发者还是阿莫迪都没注意这个漏洞。而这款人工智能所做的，正是这款游戏鼓励它做的事，只是这并不是人类想看到的。这正是一致性问题的本质：我们奖励的是A行为，却希望得到B结果。要是我们希望计算机能带来最大的社会效益，就不该因为它们带来了最高的用户参与度而给予奖励。

担心计算机一致性问题的第三个原因，在于计算机与人类实在差异太大，所以就算我们不小心给出了与人类利益不一致的目标，计算机也不太会有所警觉或要求说明。如果那个赛船人工智能是人类玩家，应该就会意识到，利用自己在游戏规则里发现的漏洞大概不能真正赢得比赛；如果那个回形针人工智能是人类官僚，应该就会意识到，人类的初衷大概不是让它为了生产回形针而毁灭人类。但正因为计算机不是人类，也就不能单纯信赖计算机会找出并警告可能的利益不一致现象。在21世纪10年代，YouTube与脸书的管理团队早就受到人类员工（与外部观察者）的连番轰炸，警告算法正在造成的危害，但算法本身从头到尾浑然未觉。

随着我们让算法在医疗保健、教育、执法和许多其他领域拥有越来越大的权力，一致性问题也变得越来越严重。要是不设法解决，问题绝不只是算法让赛船一直绕圈刷积分而已。

一致性问题该怎么解决？理论上，人类建设计算机网络的时候，就该为这个网络确立一个终极目标，并且永远不允许计算机更改或忽视这个目标。这样一来，就算以后计算机变得太强大，人类再也无法控制计算机，人类还是可以放心，知道计算机的力量只会帮助人类，而非伤害人类。当然，除非我们一开始就不小心确立了一个会对人类造成伤害或太过模糊的目标。这正是问题所在。人际网络有各种自我修正机制，能够定期审查、修改目标，所以即使目标错了，也不会是世界末日。但因为计算机网络可能脱离人类的控制，所以一旦目标设定错了，等到发现可能为时已晚，人类再也无力回天。有些人或许觉得，只要先仔细想清楚，就能预先为计算机网络设定正确目标。然而，这是个非常危险的幻想。

为了理解为何人类不可能预先对计算机网络的终极目标达成共识，让我们先回顾一下克劳塞维茨的战争理论。他认为，合乎理性就等于“一致性”，但这里有个致命的缺陷。虽然克劳塞维茨的理论要求所有行动必须与终极目标保持一致，却没有提供合乎理性的方法来设定这种目标。以拿破仑的一生与军旅生涯为例。他的终极目标应该是什么？鉴于法国在1800年前后的主流文化氛围，我们可以猜测，拿破仑当时心里想着的终极目标有以下几种可能。

·可能目标1：让法国成为欧洲霸主，确保未来不会受到英国、哈布斯堡家族一直把持的神圣罗马帝国、俄国、统一的德国或统一的意大利的任何攻击。

·可能目标2：创造一个新的多民族帝国，由拿破仑家族统治，版图除了法国，还包括整个欧洲与海外的许多其他领土。

·可能目标3：让自己赢得永恒的荣耀，就算死后数百年，还会有几十亿人知道拿破仑这个名字，钦佩他的天才。

·可能目标4：确保自己永恒的灵魂得到救赎，并在死后进入天堂。

·可能目标5：传播法国大革命的普世理想，维护欧洲和全世界的自由、平等与人权。

许多自诩为理性主义者的人，应该会认为拿破仑该选择第一个目标（确保法国在欧洲的霸主地位）作为自己一生的使命。为什么呢？别忘了，对克劳塞维茨而言，合乎理性即目标与行为能够一致。要判断某项战术动机是否合乎理性，唯一的标准就是它必须与某个更高级的战略目标一致，而战略目标同样必须和更高级的政治目标一致。如果这样层层推进，这一系列目标的起点究竟在哪儿？我们如何确立这个终极目标，并让后续所有战略子目标、实际战术步骤都是合理的？就定义而言，这样的终极目标本身就是最高目标，也就没办法让它必须看齐哪个目标来保持一致了。但这样一来，究竟是出于什么道理，把法国放在整个目标层级的最顶端，而不是拿破仑的家族、拿破仑的声誉、拿破仑的灵魂甚至是普世人权呢？克劳塞维茨并没有给出答案。

有人可能会说，第四个目标（确保自己永恒的灵魂得到救赎）根本就是基于一种虚幻的信念，哪儿能将其当作最终理性目标的选项？然而，其他目标难道不是这样吗？“永恒的灵魂”是一种存在于主体间的发明，只存在于人类的脑海之中，但“国家”与“人权”不也是如此吗？为什么拿破仑应该更在意某个虚幻的“法国”，而不应该更在意自己虚幻的“灵魂”？

事实上，在拿破仑年少的时候，有一大段时间甚至不认为自己是法国人。他出生于科西嘉岛上的一个意大利移民家庭，本名叫拿破仑·迪·波拿巴。500年来，一直是意大利城邦热那亚统治着科西嘉岛，拿破仑有许多祖先也生活在热那亚。到1768年（拿破仑出生前一年），热那亚才将这个岛屿割让给法国。科西嘉民族主义者不愿被割让，于是发动叛乱。直到1770年民族主义者彻底战败，才使科西嘉岛正式成为法国的一个省。许多科西嘉人心中仍然抗拒法国，但波拿巴家族宣誓效忠法国国王，还把拿破仑送到法国本土的军校就读。

拿破仑在学校饱受同学嘲弄，一方面因为他是科西嘉人，另一方面因为他的法语说得不好。他的母语是科西嘉语与意大利语，就算他后来的法语已经说得相当流利，却始终带着科西嘉口音，而且法文拼写一直是他的一大障碍。拿破仑最后加入了法国军队，但在1789年法国大革命爆发时，他又回到科西嘉岛，希望这场革命能给他心爱的岛屿带来机会——得到更多的自治权。直到拿破仑与科西嘉独立运动领袖帕斯夸莱·保利闹翻，他才在1793年5月终于放弃了为科西嘉的奋斗，回归法国本土，决定开创自己的未来。也是在这时，拿破仑把自己的名字从意大利文的Napoleone di Buonaparte改成法文的Napoléon Bonaparte（他的意大利文姓名一直用到1796年）。

所以，让拿破仑把军旅生涯都奉献给法国，让法国成为欧洲霸主，这真的是最合乎理性的选择吗？还是应该留在科西嘉岛，解决与保利之间的个人恩怨，将这个自己生于斯、长于斯的岛屿从法国征服者手中解放？抑或拿破仑的毕生使命其实该是去统一祖先的故土意大利？

克劳塞维茨并没有对这些问题给出合乎理性的回答方式。如果我们只有一条黄金法则，就是“所有行动都必须向某个更高的目标看齐，保持一致”，那么就不会有可以用来确立那个终极目标的合乎理性的方式。这样一来，我们又怎么可能为计算机网络确立一个永远不得忽视、永远不得违背的终极目标呢？那些急着想要研发人工智能的技术高管与工程师，如果觉得能有个合乎理性的方法可以告诉人工智能该追求什么终极目标，其实是犯了一个严重的错误。只是看到过去世世代代的哲学家屡战屡败，他们就应该吸取一点儿教训。

几千年来，哲学家一直想要定义一个所谓的终极目标，也就是说，这个目标并不需要再看齐某个更高级的目标。在哲学上，可能的解决方案分为两大派，以哲学术语来说就是义务论与功利主义。义务论（来自希腊文的词根deon，意为“责任”）相信，世界上存在所有人都应该遵守的普世道德义务或道德规则。这些规则的重点并不是看齐某些更高的目标，而是其本质的良善。如果真的有这样的规则，而且我们也能找到方法将其写进计算机程序，就能确保计算机网络成为一股向善的力量。

但本质的良善到底是什么意思？如果说有谁试过定义“本质的良善”，代表人物肯定是与克劳塞维茨和拿破仑同一时期的康德。在康德看来，所谓本质的良善的规则，就是那些自己想要将其推广到普世的规则。根据这个观点，如果某个人想要动手杀人，这时应该先停下来，经历以下的思考过程：“我现在正要杀掉一个人。我是不是想要确立一条普世规则，规定允许杀人？要是确立了这样的普世规则，就有可能有人来杀我。所以，不应该有一条允许杀人的普世规则。由此可见，我也不该杀人。”简单来说，康德就是换了一种说法来表达一条古老的黄金法则：“你们愿意人怎样待你们，你们也要怎样待人”（《马太福音》7：12）。

这听起来似乎简单而明显，总之就是想要别人怎样对你，你就应该怎样对人。然而，在超脱俗世的哲学领域听起来不错的想法，往往很难移植到残酷现实的历史领域。历史学家会问康德一个关键问题，在说普世规则的时候，到底应怎么定义“普世”。在实际的历史情境中，如果想要杀掉某个人，第一步常常是把这个人踢出普世的人类共同体。举例来说，针对罗兴亚人的极端分子就是这么做的。他们有的为佛教僧侣，当然反对杀人，但却把罗兴亚人视为次等人，他们自然不适用这条普世规则。这些极端分子在发表的文章与访谈中多次把罗兴亚人比作野兽、蛇、疯狗、狼、豺，以及其他危险动物。2017年10月30日，暴力冲突达到高峰，一位资深的佛教僧侣向军官讲经说法，认为非佛教徒不完全是人，所以针对罗兴亚人的暴力行为是可接受的。

作为一个思想实验，想象一下康德与负责犹太人大屠杀的阿道夫·艾希曼之间的会面（对了，艾希曼自认为是康德主义者）。在艾希曼签署命令，要把整列火车的犹太人送往奥斯威辛集中营的时候，康德告诉他：“你将要杀掉几千人。你是不是想要确立一条普世规则，规定允许杀人？要是确立了这样的普世规则，你和你的家人也可能会被杀死。”艾希曼说：“没这回事，我并非想杀掉几千个人，我只是想杀掉几千个犹太人而已。如果你问的是，我想不想确立一条普世规则，说杀犹太人完全可行，那我可是再赞成不过。对我和我的家人来说，这条普世规则并不会让我们被杀，我们可不是犹太人。”

康德可能会回应艾希曼说在定义实体的时候，必须选用最普世适用的那个定义。所以如果某个实体可以被定义为“犹太人”或“人类”，就该选用更普世适用的“人类”一词。然而，纳粹意识形态最大的特点，就是从根本上否定犹太人是人。除此之外，也请注意犹太人除了是“人类”，也是“动物”，甚至是“生物”。而由于“动物”与“生物”显然又是比“人类”更普世适用的类别，如果真的遵循康德的逻辑，最后我们可能都必须吃纯素食了。因为既然我们是生物，不就代表我们应该反对杀死任何生物，包括番茄或阿米巴原虫？

历史上，许多（甚至是绝大多数）冲突都与身份的定义有关。每个人都会说杀人是不对的，但又总会认为只有杀了自己内群体的成员才算是“杀人”，如果杀的是外群体的成员就不算“杀人”。然而，内群体与外群体只是存在于主体间的概念，其定义常常源自一些虚构的故事。于是，原本一心追求普世理性规则的义务论，最后往往成为地方虚构故事的俘虏。

如果我们一心想要追求义务论的那种普世规则，而且不是将其套到人身上，而是套到计算机头上，义务论引出的这个问题就会变得格外要命。计算机甚至根本不是生物。所以如果它们要遵守“你们愿意人怎样待你们，你们也要怎样待人”这条规则，那杀死像人类这样的生物又何妨？一台遵守康德的逻辑，而且想活下去的计算机，并没有理由反对“杀死生物很可行”这样的普世规则，反正这条规则并不会危及非生物的计算机。

此外，计算机身为非生物实体，甚至有可能根本不害怕死亡。就我们所知，死亡是一种生物现象，可能并不适用于非生物实体。当古代亚述人说要“杀掉”文献的时候，也只是打比方。如果计算机更像文件而不像生物，根本不在意“被杀”，人类又是否乐见一台计算机遵循康德的逻辑，做出“杀人无所谓”这样的结论？

有没有哪种方法，既能定义计算机该保护哪些对象，而不会被一些存在于主体间的错误观念影响？最清楚的建议就是告诉计算机保护所有“能够感受到痛苦的实体”。人之所以会感到痛苦，常常是因为相信了当地的某种主体间虚构概念，但痛苦本身仍然是个普世存在的现实。因此，如果以“能够感受到痛苦”来定义是否属于内群体，就能让道德有个客观而普世存在的现实基础。自动驾驶汽车除了不该杀死任何人类（无论是佛教徒还是穆斯林，也无论是法国人还是意大利人），也不该杀死狗和猫，以及未来可能出现的能够感受痛苦的机器人。我们甚至还能让这条规则变得更完善，要求自动驾驶汽车依据不同生物能够感受痛苦的程度，安排保护的顺序。如果自动驾驶汽车必须选择是撞死一个人还是一只猫，因为理论上猫感受到的痛苦程度比较低，所以应该选择猫。然而，如果真往这个方向走，我们会发现自己已经在无意间离开了义务论的阵营，来到了功利主义阵营当中。

义务论者努力寻找本质的良善的普世规则，而功利主义者则是用行为对痛苦或快乐的影响来判断行为。英国哲学家边沁（与拿破仑、克劳塞维茨和康德同时代的人）认为，世上唯一合乎理性的终极目标，就是尽量让世界减少痛苦，增加快乐。如果我们对计算机网络最大的恐惧是因为其与人类的目标不一致而会给人类甚至其他生物造成可怕的痛苦，那么功利主义这套解决方案似乎顺理成章，再理想不过了。建设计算机网络的时候，只要记得让它尽量减少痛苦、尽力增加快乐就行了。这种观点认为，要是当初脸书给算法的指示是尽量增加快乐而不是尽量提升用户参与度，事情肯定会一切顺利。值得一提的是，这种功利主义的观点确实在硅谷大受欢迎，又特别受到有效利他主义运动的推崇。

但很遗憾，这也像义务论的解决方案一样，虽然在哲学理论领域听起来很简单，但到了历史实践领域就变得极其复杂。功利主义碰到的问题是人类并不知道该如何计算痛苦：我们不知道某个事件究竟应有多少个“痛苦值”或“快乐值”，所以在复杂的历史情境中，很难计算某个特定行为到底是增加还是减少了世界整体的痛苦总额。

唯有在痛苦的天平很明显偏向某一端的时候，功利主义才能发挥最大的作用。如果今天面对的是艾希曼，功利主义不用去争辩复杂的身份问题，只需要提出一点：大屠杀给犹太人造成了巨大的痛苦，但对于包括德国人在内的其他人却没有带来同等利益。并没有迫切的军事或经济理由能说明德国人为何要杀害数百万犹太人。以功利主义为由来反对大屠杀，可以说具备绝对的正当性。

而像同性恋这样的“无被害人犯罪”，也特别适合用功利主义来讨论。几个世纪以来，对同性恋的迫害让他们单方面承受着巨大的痛苦。然而，造成这些迫害的理由只是各种偏见被错误地包装成义务论的普世规则。例如，康德之所以反对同性恋，是因为他认为同性恋“违反自然本能与动物本性”，会让一个人“禽兽不如”。康德还认为这样的行为违反自然规律，所以会“使人不配拥有人性，也就不配再做一个人”。事实上，康德只是把基督教的偏见重新包装成一套号称普世的义务论规则，在没有实证证据的情况下，就指控同性恋确实违反自然规律。前面曾提及，纳粹在大屠杀之前正是以“去人性化”作为序幕，因此，康德将同性恋去人性化这件事值得格外注意。认为同性恋违背自然规律、不配拥有人性，等于让艾希曼这样的纳粹分子有了理由，将同性恋者一起送进集中营并屠杀。而且既然说同性恋者不如禽兽，康德那套不可杀人的道理自然也不适用同性恋。

功利主义者很容易就能推翻康德关于同性恋的理论，而边沁确实属于欧洲最早一批支持同性恋合法化的现代欧洲思想家。功利主义者认为，仅是因为一些莫名其妙的普世规则就将同性恋视为一种犯罪，既会给数百万人造成巨大的痛苦，又无法为其他人带来任何实质性的好处。如果两个男人彼此相爱，这不但让他们快乐，也不会让任何其他人痛苦，为什么不准他们相爱呢？这种功利主义逻辑也带来许多其他现代改革，比如禁止酷刑，制定保护动物的法律。

然而，如果各方的痛苦不相上下，功利主义就比较难以在这种历史情境中站住脚。在新冠疫情初期，世界各国政府都采取了严格的隔离与封锁政策。这种做法或许挽救了数百万人的生命，但也让数亿人好几个月过得十分痛苦。此外，这还可能间接导致许多人死亡，例如，推高了致命家暴的发生率，或是让人更难及早发现与治疗癌症之类的危险疾病。对于这样的政策，谁能真的计算整体来说是增加还是减少了全球的痛苦？

听起来，把这种工作交给永远不用休息的计算机网络，似乎再适合不过了。然而，对于要和三个小孩一起被关在一套两居室公寓一个月这件事，计算机网络应怎么决定其痛苦值？是60点还是600点？因错过化疗而死于癌症的痛苦值又是多少？是6万点还是60万点？如果无论如何都会死于癌症，化疗只能让患者多活五个月，但过程会十分痛苦，又该怎么计算？这五个月的病榻折磨，计算机应该认为究竟是增加还是减少了整个世界的痛苦总额？

此外，对于一些比较抽象的事物（比如知道自己难免一死）所造成的痛苦，计算机网络该如何计算？如果某个宗教神话承诺信众的灵魂是永恒的，会在死后进入天堂，这究竟是能够带来真正的快乐还是只是一场幻觉？人类会感到痛苦，究竟是源于死亡本身，还是我们不愿面对死亡？要是有人放弃了宗教信仰，接受了人终将一死，计算机网络究竟该认定这件事是增加还是减少了痛苦总额？

如果是像美国入侵伊拉克这种更复杂的历史事件呢？美国人很清楚，自己的入侵会给数百万人造成巨大的痛苦。但他们认为，这样能为伊拉克带来自由和民主，长期来说，利大于弊。计算机网络能不能算出这个论点到底合不合理？就算理论上可行，实际上美国没能在伊拉克建立稳定的民主政体。这样一来，我们能不能说他们的尝试从一开始就是个错误？

在前面，义务论为了回答身份的问题，不得不接受功利主义的想法。在这里，功利主义也因为无法计算痛苦值，往往要采取义务论的立场。于是，功利主义开始高举“避免侵略战争”或“保护人权”这样的普世规则，但其实无法证明这样就能减少世界的痛苦总额。历史只让他们有个模糊的印象：遵守这些规则，似乎就能减少痛苦。然而当这些普世规则彼此冲突的时候（如思考是否要为了保护人权而发动侵略战争），功利主义就发挥不了什么实际作用。即使是功能最强大的计算机网络，也不知道究竟该如何计算。

因此，虽然功利主义承诺提供一种合乎理性甚至数学的方式，让所有行为都与终极之善看齐，但在实践中这可能只是又一则神话。以自由主义者为例，一旦被质疑该如何解释不受限制的言论自由或完全废除税收所带来的直接社会危害，他们常常会表达一种信念：未来能得到的利肯定大于短期造成的弊。功利主义的危险在于，如果你深信一个未来的乌托邦，就仿佛得到了一份空白授权书，允许你现在制造各种可怕的痛苦。事实上，这正是传统宗教在几千年前就已经玩儿的把戏。对于未来救赎的承诺，很容易成为犯罪借口。

所以，史上的官僚制度是怎么设定它们的终极目标的？答案就是依靠各种虚构的神话故事。无论那些官员、工程师、税务员、会计师多崇尚理性，到头来还是会服务于这个或那个编造神话的人。套用凯恩斯的一句话，有些所谓务实人士，自认为不受任何宗教影响，但通常就是神话编造者的奴隶。就连核物理学家，也发现自己得听从某些人的命令。

事实证明，一致性问题本质上就是个神话问题。无论信的是义务论还是功利主义，纳粹各级行政管理者只要继续用那套种族主义神话理解世界，就会屠杀几百万人。如果你从心底相信“犹太人是恶魔，一心要毁灭人类”这套神话，无论是用义务论还是用功利主义，都能找到很多合乎逻辑的论点，证明犹太人实在该杀。

计算机也可能碰上类似的问题。当然，计算机就是无意识的实体，无法真的“相信”任何神话。毕竟它们并没有主体性，自然也就无法拥有存在于主体间的“信念”这种东西。但我们必须了解计算机的一个重点是，在许多计算机相互通信的时候，就能形成一种“存在于计算机间的现实”，类似于人际网络所创造的“存在于主体间的现实”。这些存在于计算机间的现实，最终的力量（与危险性）可能不亚于人类所创造的存在于人类主体间的神话。

这个论点很复杂，但也是本书的核心论点之一，所以让我细细道来。首先，我谈谈什么叫作存在于计算机间的现实。假设有一款单人计算机游戏。在这个游戏里，你可以漫步在一个虚拟场景中，而这个场景完全就是存储于计算机里的信息。如果你在游戏里看到一块儿石头，那块儿石头并不是由真正的原子构成的，而是由那台计算机里的比特构成的。当许多台计算机相互链接时，就能形成存在于计算机间的现实，而让使用不同计算机的许多玩家得以共同漫步于同一个虚拟场景。这时，如果他们看到一块儿石头，那块儿石头就是由那些不同计算机里的比特构成的。

金钱、神祇这种存在于主体间的现实除了能影响人的思想，也能影响物理现实；同理，存在于计算机间的现实同样能影响存在于计算机之外的现实。2016年，《宝可梦Go》游戏风靡全球，当年年底的下载量就已达数亿次。这是一款增强现实手机游戏，玩家可以用智能手机来寻找、攻击与捕捉名为“宝可梦”的虚拟生物。通过增强现实功能，这些宝可梦就像存在于现实世界一样。我曾经和外甥马坦一起抓宝可梦，当时在他家附近走来走去，我只能看到房子、树木、石头、汽车、人、猫、狗，还有鸽子。因为我根本不用智能手机，所以看不到任何宝可梦。但马坦通过智能手机镜头环顾四周，就能“看到”有宝可梦站在石头上或躲在树后。

虽然我看不到这些宝可梦，但它们显然并不是只存在于马坦的智能手机里，因为其他人也能够“看到”它们。我们当时就遇到另外两个孩子正要抓同一只宝可梦。在马坦成功抓到某只宝可梦的时候，另外两位游戏中的好友也可以从手机上立刻得到消息。宝可梦就是一种存在于计算机间的实体，虽然是由计算机网络里的比特构成，而不是以物理世界的原子形式存在，但这些实体仍然能够通过各种方式与物理世界互动并造成各种影响。

对于这种存在于计算机间的现实，现在让我举一个更重要的例子：网站在谷歌搜索中的排名。我们在谷歌上搜寻新闻、机票或餐厅推荐的时候，总会有某个网站列在第一页最上方，至于另一个网站可能会排在第50页的中间。谷歌的排名究竟有什么意义？它是怎么决定排名先后的？谷歌算法决定网站排名的方式，是通过各种参数来给每个网站打分，参数包括访问网站的人数、有多少网站链接到该网站等。而这套排名本身就成了计算机间的现实，存在于链接了几十亿台计算机的网络（互联网）之中。就像宝可梦一样，这种存在于计算机间的现实也会外溢影响到物理世界。比如对各家新闻媒体、旅行社或餐厅来说，自己的网站究竟是出现在谷歌搜索的第一页最上端还是第50页的中间，影响是非常重大的。

正因为谷歌排名如此重要，总有人费尽心思想要操纵谷歌的算法，提升自己网站的排名。举例来说，他们可能会用机器人来为网站创造更多流量。这种情形在社交媒体中也十分常见，我们总是能看到组织有序的机器人程序大军，不断操纵着YouTube、脸书或推特的算法。如果有一则推文疯传，到底是因为人类真的对它感兴趣，还是因为有成千上万个机器人程序成功骗过了推特的算法？

宝可梦和谷歌排名这样的计算机间现实，就很像人类创造的主体间现实，例如，圣殿的庄严感和城市的神圣性。我这辈子的大部分时间都待在全球最神圣的一座城市——耶路撒冷。客观来说，这里没什么不一样。走在耶路撒冷的街上，你会看到房子、树木、石头、汽车、人、猫、狗，还有鸽子，就跟其他城市一模一样。但很多人还是想象着这里有多么神圣，仿佛充满了神灵、天使与圣石。他们太相信这一套，甚至大打出手，就为了抢下这座城市、某栋神圣建筑物甚至是某块儿神圣的石头，例如，最著名的就是圣殿山圆顶清真寺底下的圣石。巴勒斯坦哲学家萨里·努赛贝指出：“犹太人与穆斯林基于不同的宗教信仰，而都拥有核武器，随时可能爆发史上最严重的大屠杀，就为了一块儿石头。”两方要抢夺的并不是构成那块儿石头的原子，而是那块儿石头代表的“神圣性”，就像两个孩子抢着抓某只宝可梦一样。无论是圣石还是耶路撒冷，它们的神圣性都是一种存在于主体间的现象，只存在于联结了许多人类思想的沟通网络之中。几千年以来，许多战争的起因只是争夺某些存在于主体间的实体，例如，所谓神圣的石头这种东西。而到21世纪，可能会出现因抢夺计算机间的实体而引发的战争。

如果觉得这听起来太过科幻，不妨想想金融体系的发展。随着计算机越来越具备智能与创造力，很可能创造出新的计算机间的金融工具。黄金与美元是主体间实体，而比特币这种加密货币，则是介于“主体间”与“计算机间”之间。比特币的概念是人类发明的，其价值也取决于人类的信念，但比特币无法存在于计算机网络之外。而且，因为比特币的交易越来越多地通过算法进行，所以其价值高低也会越来越取决于算法，而不只是受到人类信念的影响。

再过10年或50年，计算机如果创造出某种新型加密货币或金融工具，成为交易与投资不可或缺的工具，进而成为政治危机与冲突的潜在根源，人类该怎么办？回想2007—2008年，当时的全球金融危机由各种担保债务凭证引发，这些金融工具就是由几个数学家和投资奇才发明的玩意儿，对大多数人（包括负责监管的政府）来说根本难以理解。所以最后监管失灵，引发全球灾难。而计算机所发明的金融工具，很可能远比担保债务凭证复杂，只有其他计算机才能搞懂它们在干什么。结果就可能是一场比2007—2008年更严重的金融与政治危机。

纵观历史，经济和政治都要求我们必须了解由人类所发明的主体间现实，比如宗教、国家与货币。例如，过去想要了解美国政治，就不能不懂基督教和担保债务凭证这样的主体间现实。然而，如果想在未来了解美国政治，就越来越需要了解计算机间现实，比如人工智能创造的异教组织与货币，由人工智能运作的政党，甚至是完全融入社会与政治的人工智能。美国法律体系承认企业是法人，拥有言论自由这样的权利，而在“联合公民诉联邦选举委员会案”（Citizens United v. Federal Election Commission，2010）中，美国联邦最高法院甚至裁定企业拥有捐赠政治献金的权利。这样一来，又有什么理由能阻止人工智能被纳入并被认定为具有言论自由的法人，进而游说各方，捐赠政治献金，推动保护与扩张人工智能的权利？

人类在几万年间主宰着地球，是因为只有人类有能力创造并维持各种主体间实体（如企业、货币、神祇、国家），再通过这些实体来组织大规模合作。而现在，计算机也可能具备类似的能力。

这不见得是个坏消息。毕竟如果计算机没有链接性与创造力，实用效益也会相当有限。人类现在之所以能越来越依赖计算机来管理金钱、驾驶车辆、减少污染、发明新药，正是因为计算机能够直接彼此沟通，找出人类看不到的规律模式，打造出人类可能永远想不到的模型。现在人类该问的问题并不是如何剥夺计算机的创造力，而是如何把这些创造力导向正确方向。这与人类创造力一直面对的问题并无不同，人类发明了各种主体间实体，虽然这些实体成了人类文明所有成就的基础，但偶尔也会出现十字军东征、圣战和政治迫害。计算机间实体或许也可能成为未来文明的基础，然而，只是因为计算机收集的是经验数据，用的是数学分析，并不代表计算机就不可能发起自己的政治迫害。

早期现代欧洲曾有一个复杂的信息网络，分析了大量犯罪、疾病与灾难资料，结论是这一切都是女巫搞的鬼。猎巫者收集的资料越多，就越相信这个世界充满了恶魔与巫术，而且背后有个全球撒旦阴谋要毁灭人类。于是，这个信息网络更进一步要找出所有女巫，对其加以监禁或处死。但我们现在知道，女巫就是一个存在于主体间的虚假概念，是信息网络自己发明出来，然后硬套在一些根本没见过撒旦，也没有能力召唤冰雹的人头上的。

苏联曾有一个更复杂的信息网络，发明了“富农”这个类别，并将其强行套用到几百万人头上。苏联官僚制度收集到的富农信息虽然堆积如山，但并没有呈现客观真相，反而创造了一套主体间真相。虽然富农这个类别全是发明的，但在当时要了解某个苏联人，他是不是富农就成了重中之重。

再扩大一下范围，16—20世纪，从巴西到墨西哥与加勒比海地区，再到美国，美洲的无数殖民官僚体系创造了各式各样的种族主义神话，也创造了各种存在于主体间的种族类别。他们把人分成欧洲人、非洲人与美洲原住民，再加上常常有跨种族性关系，就得发明其他种族类别。比如在许多西班牙殖民地，梅斯蒂索人（西班牙人与美洲印第安人混血种人后代）、穆拉托人（西班牙人与非洲人混血种人后代）、桑博人（非洲人与美洲印第安人混血种人后代）、帕尔多人（西班牙人与非洲人的混血儿再与美洲印第安人生的孩子）适用的法律都不相同。乍看之下，根据经验证据确定的类别，决定了这些人是否会受到奴役、享有政治权利、携带武器、担任公职、接受学校教育、从事特定职业、居住于特定社区，以及能否与他人发生性关系或通婚。似乎只要能把某个人放进某个特定的“种族抽屉”，我们就知道了他的个性、智力与道德倾向。

到19世纪，种族主义似乎成为一门精准的科学：它声称自己都是以客观的生物学事实来将人分类，也会运用测量颅骨与犯罪统计数据这样的科学方法。然而，这些让人堕入云里雾里的数据与类别，只是服务于荒谬的主体间神话谎言所制造的烟幕。知道某个人的祖母是美洲原住民、父亲是非洲人，并不能看出这个人到底智商有多高，是否善良或诚实。这些杜撰出来的类别并没有发现或描述任何关于人类的真相，只是把一种压迫性、神话般的秩序硬套到人民头上。

从税收、医疗保健到安全和司法，随着计算机在越来越多的官僚体系当中取代人类，也就越来越可能形成另一套神话谎言，并以前所未有的效率硬套在我们头上。在过去那个由纸质文件主宰的世界，官僚很难真正掌控种族的边界，追踪每个人的确切血源。文件可以造假；桑博人搬到另一个城镇，就能假装帕尔多人；黑人有时候也可能被认为是白人。苏联的情况也类似，富农家的孩子偶尔会伪造文件，让自己找份好工作、进入好大学，而在纳粹统治的欧洲，犹太人有时候也可能假装自己是雅利安人。然而，如果主宰这个世界的不再是纸质文件，而是能够读取虹膜与DNA数据的计算机，要玩弄这个系统的难度就会大大增加。计算机给人贴上假标签，而且让人绝对撕不下来的效率，很有可能高得吓人。

举例来说，社会信用体系可能创造一种新的下层阶级——低信用族群。这套体系可能会说，它只是通过经验与数学程序，从各方收集点数得到一个总分，以此“发现”真相。然而，这套体系究竟要怎样定义亲社会与反社会的行为呢？如果这样的体系认定，一个人批评政府政策、阅读外国文学作品、信奉少数派宗教、没有宗教信仰或与其他低信用评分的人往来，就必须扣分，那么情况会如何发展？作为一个思想实验，让我们假设社会信用体系这项新科技遇上了传统宗教，看看情况会如何。

犹太教、基督教与伊斯兰教等宗教都想象，在云端某处有一只全知之眼，它会根据我们的一切行为来加减分数，最后的总分决定我们永恒的命运。当然，没人知道自己现在究竟拿了几分，等死了才能揭晓。实际上，这也代表所谓的善与恶都是主体间现象，其定义会依据公众舆论而有所不同。举例来说，如果某个政权决定，自己那套计算机化的监控系统不仅要执行严格的“头巾法”，更要让所谓的善与恶也成为一套精确的计算机间现象，操作起来会是什么模样？不戴头巾就上街，扣10分；在斋戒期间，还没日落就进食，扣20分；参加祈祷活动，加5分；参加朝圣活动，加500分。这套系统最后或许就会把所有分数加总，并把人分类成“罪人”（0分以下）、“信徒”（0～1000分）或“圣人”（1000分以上）。一个人到底是罪人还是圣人，由算法的计算决定，而不是由人类的信念决定。这样的系统究竟是能够找出一个人最真实的真相，还是会把一套秩序硬套在人的头上？

所有的全面监控政体，都面对类似的问题。它们号称要用无所不包的数据库与极度精准的数学方法找出所有罪人、恐怖分子、犯罪者、反社会分子与不值得信任的民众，但实际上，它们可能是在以前所未有的效率，把毫无根据的宗教与意识形态偏见套在所有人的头上。

有些人可能希望，只要赋予计算机更强大的能力，就能克服各种宗教与意识形态上的偏见。这些人或许认为，种族主义、厌女、恐同、反犹太主义等偏见并不存在于计算机，而是源自人类的心理状况与神话观点。计算机只关心数学，不谈心理学或神话。所以如果能够彻底排除人类的成分，就能让算法完全基于数学做判断，摆脱心理扭曲或神话偏见的影响。

遗憾的是，许多研究都显示，计算机同样有根深蒂固的偏见。虽然计算机并非生物实体，也没有意识，但计算机确实拥有类似数字心灵的东西，甚至可能出现某种计算机间的神话观点，所以同样可能有种族歧视、厌女、恐同或反犹太主义倾向。举例来说，2016年3月23日，微软推出一款人工智能聊天机器人Tay，它能够自由存取推特的内容，并与用户互动。结果不到几小时，Tay已经开始发表厌女与反犹太主义的推文，比如“我恨透了女权主义者，他们都该在地狱里燃烧”“希特勒是对的，我讨厌犹太人”。这些恶毒仇恨的言论不断增加，吓坏了微软工程师，迅速将Tay下架——这时距离其被推出才短短16小时。

2017年，麻省理工学院教授乔伊·布兰维尼研究了市场上的人脸分析算法产品，发现里面有点不太明显却极为普遍的种族歧视问题。她指出，这些算法识别白人男性非常准确，但识别黑人女性却非常不准确。举例来说，IBM算法在判断浅肤色男性的性别时，错误率只有0.3%，但判断深肤色女性的性别时，错误率竟高达34.7%。作为定性测试，布兰维尼拿出非裔美籍女性传教士索杰纳·特鲁斯（特鲁斯以1851年的演说《我难道不是女人吗？》而闻名）的照片，请算法做判断。那些算法竟判断特鲁斯是一位男性。

布兰维尼是加纳裔美籍女性，她拿了另一套人脸分析算法来对自己做识别，结果那套算法根本无法“看见”她肤色较深的脸。在这种情境中，所谓“看见”指的是能够判断画面中有一张人脸，例如，手机摄像头就会利用这种功能来判断该聚焦在哪里。那套算法很容易就能看见肤色较浅的人脸，却看不到布兰维尼的脸。布兰维尼戴上了一个白色面具，那套算法才忽然意识到原来眼前有张人脸！

这到底是怎么回事？一种可能是这些算法背后有一群有种族歧视倾向又厌女的工程师，写算法的时候就是想要歧视黑人女性。这种答案虽然不能说全无可能，但无论是人脸识别算法的例子还是微软的Tay，事实并非如此。事实上，这些算法是从那些训练它们的数据里学到了种族歧视和厌女偏见。

为了说明为什么会有这种状况，得来解释一下算法的历史。一开始，算法没有办法靠自己来学习东西。比如在20世纪八九十年代，国际象棋算法所知道的一切，几乎都是人类程序员告诉它的。人类写进算法的，除了国际象棋的基本规则，还包括该怎样评估各种棋局和棋步。比如，当时人类就写出一条规则告诉算法，牺牲王后来保住兵通常不是什么好主意。这些早期的算法之所以能够击败人类国际象棋大师，只是因为它们能比人类计算更多棋步、评估更多棋局，仅此而已。但是算法的能力有限。如果算法必须依赖人类告诉它们关于国际象棋的一切秘密，如果人类程序员不知道某些事情，那么它们产生的算法就不太可能知道。

但随着机器学习这个领域的发展，算法变得越来越独立。机器学习最基本的原则，就是要让算法像人类一样，能够通过与世界互动来教自己学会新事物，成为一套成熟的人工智能。虽然各方对人工智能的定义还有差异，但大致来说，要想称得上“人工智能”，就必须具备自行学习新事物的能力，而不能只是遵循最初人类创造者的指示。例如，现在发展出的棋类人工智能，人类除了游戏的基本规则，已经不会再“教”它们其他内容，而是让它们彻底自学，通过分析过去棋局的资料库，或者不断下新的棋局，从经验中学习。人工智能并非不顾结果，只是傻傻地不断重复同样的动作，而是拥有强大的自我修正机制，能够从自己的错误中学习。

这代表着人工智能一开始就像个“算法宝宝”，虽然没有多少知识，但拥有巨大的潜力与运算能力。人类父母给它的只有学习能力，并让它能够接触这个资料世界，接着就放手让这个“算法宝宝”自己探索。而与人类宝宝一样，“算法宝宝”的学习方式就是从自己能接触到的数据中找出规律模式。如果去摸火，会很痛；如果我哭了，妈妈就会来；如果我牺牲一个王后去换一个兵，这一局可能就会输。通过寻找数据中的规律模式，“算法宝宝”就能学到更多，包括许多连人类父母都不了解的事。

然而，数据库也会有偏见。布兰维尼研究的那些人脸分析算法，训练时用的是各种经过标记的线上照片资料集，例如，LFW人脸识别数据库（Labeled Faces in the Wild，即“真实世界经过标记的人脸”）。这个数据库的照片主要来自线上新闻文章，而白人男性又在新闻中占了大多数，于是整个数据集有高达78%的照片为男性、84%为白人。仅小布什一个人，在整个数据集里就出现了530次，足足是所有黑人女性出现次数的两倍。在另一个由美国政府机构建设的数据库中，有超过75%的照片为男性，将近80%为浅肤色，深肤色女性在里面只占4.4%。所以，用这些数据集训练出的算法虽然很懂得如何识别白人男性，却不擅长识别黑人女性。聊天机器人Tay的情况也类似。微软工程师并没有刻意加进什么偏见，但让这款人工智能在推特上接触各种“有毒”信息几小时之后，它就成了极端种族主义者。

事情还可能更糟。想要学习，“算法宝宝”除了需要数据，还需要另一样东西——一个目标。人类宝宝之所以能学会走路，是因为他们想要到达某个地方；狮子宝宝之所以能学会狩猎，是因为想要吃东西。算法的学习，也必须有个目标。如果是国际象棋，这个目标很容易：吃掉对手的国王就行了。有了这个目标，人工智能就能发现牺牲王后来换一个兵是个“错”，因为这样一来，通常会让算法难以达成目标。在人脸识别方面，目标也很简单：能够判断照片人物的性别、年龄与姓名，得到与数据库记录相同的结果。要是算法认为照片中的小布什是个女性，但数据库记录显示其为男性，就代表未能实现目标，算法也会从这个错误中学习。

然而，假设你要训练一套用来招聘的算法，目标该怎么确定？算法要怎么知道自己犯了错，聘用了一个“错”的人？我们可能会告诉这套“算法宝宝”，它的目标是找到会在公司至少工作一年的人。企业显然并不希望投入大量时间与金钱，培养一个干几个月就辞职或被解雇的员工。这样确立目标之后，就该看看数据了。在国际象棋里，算法只需要和自己对弈，就能产生无穷无尽的新数据。但就业市场没办法这么干。没有人能够真正创造一个完整的假想世界，让“算法宝宝”雇用与解雇各种假想员工，再从经验里学到教训。“算法宝宝”只能以真实人类的现有数据库进行训练。狮子宝宝要想认识什么是斑马，主要依靠在现实的草原上找出斑马的花纹模式；“算法宝宝”要学会什么是好员工，主要依靠的是在现实的企业里找出好员工的行为模式。

但很遗憾，如果现实的企业中本来就存在一些根深蒂固的偏见，“算法宝宝”很可能就会学习这种偏见，甚至将其放大。举例来说，算法如果基于现实数据创建“好员工”模型，很有可能认定老板的侄子无论资质如何，都是最好的员工。因为过去的数据清楚地表明，老板的侄子通常只要求职就能被录用，而且很少被解雇。“算法宝宝”会找出这样的模型，学会任人唯亲。算法如果负责人力部门，就会认定老板的侄子是一流人选。

同样，如果在一个厌女的社会里，企业比较喜欢雇用男性而非女性，那么算法一旦使用现实数据进行训练，就很难摆脱这种偏见的影响。亚马逊在2014—2018年尝试研发筛选求职申请的算法时，就确实出现了这种情况。那套算法在学习了过去求职成功与失败的申请资料之后，只要申请表里有“女性”一词，或求职者毕业于女子大学，就会系统性地进行扣分。因为现有数据显示，此类求职者被录用的概率较低，所以算法对她们产生了偏见。算法觉得自己发现了现实世界的客观事实：从女子大学毕业的求职者资质较差。事实上，它只是内化，并且强制落实了厌女的偏见。亚马逊试图解决这个问题，但以失败告终，最后直接放弃了这个项目。

训练人工智能用的数据库，有点儿像是人类的童年。人类在童年的经历、创伤与美好回忆，会陪伴我们走完一生。人工智能也有童年经历。算法甚至会像人类一样，受他人偏见的影响。想象一下，算法在未来的社会无所不在，除了能用来筛选求职者，还能用来帮助学生选专业。由于现实中既有的厌女偏见，80%的工程师职位都由男性担任。在这样的社会，负责招聘新工程师的算法不但可能复制这种既有偏见，还会进一步影响那些推荐大学专业的算法。如果女学生发现，既有数据显示她不太可能找到工程师的工作，她就会降低读工程专业的意愿。“女性不擅长工程学”原本只是一种存在于人类主体间的错误观念，现在却有可能演变成一种存在于计算机间的错误观念。如果我们不从源头消灭这种偏见，计算机就很可能将其延续和放大。

然而，摆脱算法偏见的难度或许不低于摆脱人类的偏见。在算法经过训练之后，人类想要消除算法的训练痕迹，可得花上大把的时间和精力。有时候，我们宁可直接放弃一套已经产生偏见的算法，另找一个偏见较少的数据集，重新训练一套全新的算法。然而，哪里才能找到完全没有偏见的数据集？

本章与前几章所谈到的算法偏见，很多都有一个同样的基本问题：计算机觉得自己找出了某些关于人类的真相，事实上却只是把一套秩序硬套在人类头上。社交媒体算法以为自己发现了人类喜欢感到愤慨，但事实上，正是算法让人产生与接收到更多的愤慨情绪。这种偏见一方面是由于计算机低估了人类的能力，另一方面也是因为计算机低估了自己影响人类的能力。即使计算机发现几乎所有人都有某种行为方式，也不代表人类一定有这样的行为。搞不好这正意味着计算机鼓励这种行为，惩罚其他行为。计算机如果以更准确，也更负责的观点来看这个世界，就得把自己的力量与影响也考虑进去。要实现这样的目标，目前正在设计计算机的人就必须接受一个事实：他们正在做的事，不是在制造新的工具，而是在释放新的独立行为者，甚至可能是全新的神。

哲学家梅根·奥吉布林在《上帝、人类、动物和机器》（God, Human, Animal, Machine）一书中谈到，我们对计算机的理解，其实深受传统神话的影响。她也特别强调，现在的人工智能很像是犹太教与基督教里的那位无所不知、深不可测的神：人工智能或神做的决定，对我们来说似乎都是那么既绝对正确又高深莫测。但这可能会给人类带来危险的诱惑。

第四章谈过，人类在几千年前就梦想着找到一种无懈可击的信息技术，以保护我们免受人类贪腐堕落与错误的影响。各种宗教经典正是打造这种技术的大胆尝试，但结果适得其反。由于宗教经典没办法解读自身，因此必须成立人类的机构来解读那些神圣的话语，并随着不断变化的情境做出各种调整。结果，不同的人对经典有不同的解读方式，从而再次打开了贪腐堕落与错误的大门。然而，那些宗教经典做不到的，计算机做得到：计算机能适应不断变化的情境，也能向我们解释它们的决定与想法。因此，有人或许会认为：我们终于成功找到了一种无懈可击的信息技术，计算机就像是一部神圣的宗教经典，这部经典不但能与我们对话，还能进行自我诠释，完全不需要任何人类机构介入。

这种想法将是一场极度危险的赌博。在过去，人类即使偶尔对宗教经典有不同的解读，造成像猎巫行动或宗教战争这样的灾难，也总能迷途知返，改变自己的信念。虽然人类的想象力能召唤出某个好战、充满仇恨的神，但是人类有能力摆脱这样的神，重新想象出另一位比较和善、宽容的神。然而，算法能够独立行动，而且已经从我们手中夺走了那种能力。如果算法造成灾难，人类只是改变对算法的信念并不一定能阻止它们。而且，由于计算机容易出错，人类将权力赋予计算机，很可能造成灾难。

我们说计算机容易出错，不只是说计算机偶尔会搞错事实，或做出错误的决定。更严重的错误是，像人类网络一样，计算机网络可能无法在真相与秩序之间找到适当的平衡。计算机网络一旦创造出强大的计算机间神话，并将这种神话强加到人类身上，造成的灾难性影响与早期现代欧洲的猎巫行动和苏联农业集体化运动相比有过之而无不及。

想象一下，几十亿台彼此互动的计算机组成网络，搜集大量关于这个世界的信息，并且在追求各自不同目标的过程中发展出共同的世界模型，帮助它们进一步沟通与合作。这个共同模型可能充满错误、虚构与缺漏，并且会是一个神话，而不是对宇宙的真实描述。例如，某种社会信用体系把人类分成几种不合理的类别，甚至不是根据人类能理解的道理（例如种族），而是根据某种高深莫测的计算机逻辑。但因为这会影响计算机对人类所做的诸多决定，所以我们可能未来每天都会接触到这样的计算机神话。而且，由于这种神话模型是由非生物实体创造的，目的是与其他非生物实体配合行动，因此很可能与古老的生物戏剧完全不同，以至人类根本难以想象。

正如第二章所述，没有虚构的神话，大规模社会不可能存在，但这并不代表所有神话的质量没有高下之别。有些神话为了提防各种错误或过度行为，会坦然承认自己的源头可能有缺陷，并提出自我修正机制，允许人类质疑和改变。美国宪法就是这样的神话。然而，面对人类根本无法理解的计算机神话，我们如何探究与纠正？

可能的一种防范方式是训练计算机时时注意自己是否出错。正如苏格拉底所说，承认“我不知道”是通往智慧的重要一步。人类智能如此，计算机智能亦然。所有算法都该学的第一课，正是自己也可能犯错。“算法宝宝”应该学会怀疑自己，不确定就承认不确定，并且遵守预防原则。这是有可能做到的。在鼓励人工智能自我怀疑、寻求他人意见、承认自己的错误这几个方面，工程师已经取得了长足的进步。

然而，不论算法是否意识到自己可能出错，我们都不该在这个过程中完全排除人类的参与。鉴于人工智能的发展速度，人类绝不可能预料到未来的发展情况，对所有潜在的危险做好准备。这也是人工智能与历史上的其他威胁（例如核技术）的关键区别。人类很容易就能预料到核技术可能造成怎样的末日场景，最明显的就是爆发全面核战。但只要能够预料，就能够防范，并设法减轻危害。相较之下，人工智能可能带来的末日场景多到数不清。有些还算容易掌握，例如恐怖分子利用人工智能制造出大规模毁灭性生物武器；有些就比较难以理解，例如人工智能创造出新的大规模毁灭性心理武器；还有一些人类可能完全无法想象，因为那些出自非人类智能所做的运算。为了防范大量难以预料的威胁，我们最好的办法就是设置人类机构，在威胁出现时做出判断并加以应对。

古代犹太教徒和基督徒在发现《圣经》无法自圆其说的时候大失所望，不情不愿地让人类机构完成这个信息技术无法做到的事。但到21世纪，人类面对的情况几乎彻底翻转，我们终于设计出了一套可以自圆其说的信息技术，但也正因如此，我们最好创设人类机构对其仔细监控。

总而言之，新的计算机网络不一定是好还是坏。我们能确定的是人类将很难理解这种网络，而且这种网络是会犯错的。因此，人类建立的机构除了要能够发现各种常见的人类弱点（例如贪婪与仇恨），还得有能力察觉从未见过的错误。这个难题无法用技术来解决，它是一个政治上的挑战。在政治上，我们有处理这个问题的意愿吗？现代人类创造了两种主要的政治制度：大规模民主和大规模极权。在本书第三部分，我们将探讨这两种制度如何应对这种新的且容易出错的计算机网络。

1、Nathan Larson, Aleksandr Solzhenitsyn and the Modern Russo-Jewish Question (Stuttgart:Ibidem Press, 2005), 16.

2、Aleksandr Solzhenitsyn, The Gulag Archipelago, 1918–1956: An Experiment in Literary Investigation, I–II (New York: Harper & Row, 1973), 69–70.

3、Gessen, Ch. 4 Homo Sovieticus, in Future Is History; Gulnaz Sharafutdinova, The Afterlife of the “Soviet Man”: Rethinking Homo Sovieticus (London: Bloomsbury Academic, 2023), 37.

4、Fisher, Chaos Machine, 110–11.

5、Jack Nicas, “YouTube Tops 1 Billion Hours of Video a Day, on Pace to Eclipse TV,”Wall Street Journal, Feb. 27, 2017, www.wsj.com/articles/youtube-tops-1-billion-hours-of-video-a day-on-pace-to-eclipse-tv-1488220851.

6、Fisher, Chaos Machine; Ariely, Misbelief, 262–63.

7、Fisher, Chaos Machine, 266–77.

8、Ibid., 276–77.

9、Ibid., 270.

10、Emine Saner, “YouTube’s Susan Wojcicki: ‘Where’s the Line of Free Speech — Are You Removing Voices That Should Be Heard?,’”Guardian, Aug. 10, 2019, www.theguardian.com/technology/2019/aug/10/youtube-susan-wojcicki-ceo-where-line-removing-voices heard.

11、Dan Milmo, “Frances Haugen: ‘I Never Wanted to Be a Whistleblower. But Lives Were in Danger,’”Guardian, Oct. 24, 2021, www.theguardian.com/technology/2021/oct/24/frances haugen-i-never-wanted-to-be-a-whistleblower-but-lives-were-in-danger.

12、Amnesty International, Social Atrocity, 44.

13、Ibid., 38.

14、Ibid., 42.

15、Ibid., 34.

16、“Facebook Ban of Racial Slur Sparks Debate in Burma,”Irrawaddy, May 31, 2017, www.irrawaddy.com/news/burma/facebook-ban-of-racial-slur-sparks-debate-in-burma.html.

17、Amnesty International, Social Atrocity, 34.

18、Karen Hao, “How Facebook and Google Fund Global Misinformation,”MIT Technology Review, Nov. 20, 2021, www.technologyreview.com/2021/11/20/1039076/facebook-google disinformation-clickbait/.

19、Hayley Tsukayama, “Facebook’s Changing Its News Feed. How Will It Affect What You See?,”Washington Post, Jan. 12, 2018, www.washingtonpost.com/news/the-switch/wp/2018/01/12/facebooks-changing-its-news-feed-how-will-it-affect-what-you-see/; Jonah Bromwich and Matthew Haag, “Facebook Is Changing. What Does That Mean to Your News Feed?,”New York Times, Jan. 12, 2018, www.nytimes.com/2018/01/12/technology/facebook-news-feed-changes.html; Jason A. Gallo and Clare Y. Cho, “Social Media:Misinformation and Content Moderation Issues for Congress,” Congressional Research Service Report R46662, Jan. 27, 2021, 11n67, crsreports.congress.gov/product/pdf/R/R46662;Keach Hagey and Jeff Horwitz, “Facebook Tried to Make Its Platform a Healthier Place. It Got Angrier Instead,”Wall Street Journal, Sept. 15, 2021, www.wsj.com/articles/facebook algorithm-change-zuckerberg-11631654215; “YouTube Doesn’t Know Where Its Own Line Is,”Wired, March 2, 2010, www.wired.com/story/youtube-content-moderation-inconsistent/;Ben Popken, “As Algorithms Take Over, YouTube’s Recommendations Highlight a Human Problem,” NBC News, April 19, 2018, www.nbcnews.com/tech/social-media/algorithms take-over-youtube-s-recommendations-highlight-human-problem-n867596; Paul Lewis,“‘Fiction Is Outperforming Reality’: How YouTube’s Algorithm Distorts Truth,”Guardian,Feb. 2, 2018, www.theguardian.com/technology/2018/feb/02/how-youtubes-algorithm distorts-truth.

20、M. A. Thomas, “Machine Learning Applications for Cybersecurity,”Cyber Defense Review 8, no. 1 (Spring 2023): 87–102, www.jstor.org/stable/48730574.

21、Allan House and Cathy Brennan, eds., Social Media and Mental Health (Cambridge, U.K.:Cambridge University Press, 2023); Gohar Feroz Khan, Bobby Swar, and Sang Kon Lee,“Social Media Risks and Benefits: A Public Sector Perspective,”Social Science Computer Review 32, no. 5 (2014): 606–27, doi.org/10.1177/089443931452.

22、Vanya Eftimova Bellinger, Marie von Clausewitz: The Woman Behind the Making of “On War” (Oxford: Oxford University Press, 2016); Donald J. Stoker, Clausewitz: His Life and Work (Oxford: Oxford University Press, 2014), 1–2, 256.

23、Stoker, Clausewitz, 35.

24、John G. Gagliardo, Reich and Nation: The Holy Roman Empire as Idea and Reality,1763—1806 (Bloomington: Indiana University Press, 1980), 4–5.

25、Todd Smith, “Army’s Long-Awaited Iraq War Study Finds Iran Was the Only Winner in a Conflict That Holds Many Lessons for Future Wars,”Army Times, Jan. 18, 2019, www.armytimes.com/news/your-army/2019/01/18/armys-long-awaited-iraq-war-study-finds iran-was-the-only-winner-in-a-conflict-that-holds-many-lessons-for-future-wars/. 这篇研究的一位作者与其同事最近在《时代》周刊发表了研究摘要，参见：Frank Sobchak and Matthew Zais, “How Iran Won the Iraq War,”Time , March 22, 2023, time.com/6265077/how-iran-won-the-iraq-war/.

26、Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (Oxford: Oxford University Press, 2014), 122–25.

27、Brian Christian, The Alignment Problem: Machine Learning and Human Values (New York:W. W. Norton, 2022), 9–10.

28、Amnesty International, Social Atrocity, 34–37.

29、Andrew Roberts, Napoleon the Great (London: Allen Lane, 2014), 5.

30、Ibid., 14–15.

31、Ibid., 9, 14.

32、Ibid., 29–40.

33、Philip Dwyer. Napoleon: The Path to Power, 1769—1799 (London: Bloomsbury, 2014), 668;David G. Chandler, The Campaigns of Napoleon (New York: Macmillan, 1966), 1:3.

34、Maria E. Kronfeldner, The Routledge Handbook of Dehumanization (London:Routledge, 2021); David Livingstone Smith, On Inhumanity: Dehumanization and How to Resist It (New York: Oxford University Press, 2020); David Livingstone Smith, Less Than Human: Why We Demean, Enslave, and Exterminate Others (New York: St. Martin’s Press, 2011).

35、Smith, On Inhumanity, 139–42.

36、International Crisis Group, “Myanmar’s Rohingya Crisis Enters a Dangerous New Phase,”Dec. 7, 2017, www.crisisgroup.org/asia/southeast-asia/myanmar/292-myanmars-rohingya crisis-enters-dangerous-new-phase.

37、Bettina Stangneth, Eichmann Before Jerusalem: The Unexamined Life of a Mass Murderer(New York: Alfred A. Knopf, 2014), 217–18.

38、Emily Washburn, “What to Know About Effective Altruism—Championed by Musk,Bankman-Fried, and Silicon Valley Giants,”Forbes, March 8, 2023, www.forbes.com/sites/emilywashburn/2023/03/08/what-to-know-about-effective-altruism-championed-by-musk bankman-fried-and-silicon-valley-giants/; Alana Semuels, “How Silicon Valley Has Disrupted Philanthropy,”Atlantic , July 25, 2018, www.theatlantic.com/technology/archive/2018/07/how-silicon-valley-has-disrupted-philanthropy/565997/; Timnit Gebru, “Effective Altruism Is Pushing a Dangerous Brand of ‘AI Safety,’”Wired, Nov. 30, 2022, www.wired.com/story/effective-altruism-artificial-intelligence-sam-bankman-fried/; Gideon Lewis-Kraus, “The Reluctant Prophet of Effective Altruism,”New Yorker, Aug. 8, 2022, www.newyorker.com/magazine/2022/08/15/the-reluctant-prophet-of-effective-altruism.

39、这指的是虽然把这种行为视为犯罪，但其实并没有真正的被害人。——译者注

40、Alan Soble, “Kant and Sexual Perversion,”Monist 86, no. 1 (2003): 55–89, www.jstor.org/stable/27903806. See also Matthew C. Altman, “Kant on Sex and Marriage: The Implications for the Same-Sex Marriage Debate,”Kant-Studien 101, no. 3 (2010): 332; Lara Denis,“Kant on the Wrongness of ‘Unnatural’ Sex,”History of Philosophy Quarterly 16, no. 2(April 1999): 225–48, www.jstor.org/stable/40602706.

41、Geoffrey J. Giles, “The Persecution of Gay Men and Lesbians During the Third Reich,” in The Routledge History of the Holocaust, ed. Jonathan C. Friedman (London:Routledge, 2010), 385–96; Melanie Murphy, “Homosexuality and the Law in the Third Reich,” in Nazi Law: From Nuremberg to Nuremberg, ed. John J. Michalczyk (London:Bloomsbury Academic, 2018), 110–24; Michael Schwartz, ed., Homosexuelle im Nationalsozialismus: Neue Forschungsperspektiven zu Lebenssituationen von lesbischen,schwulen, bi-, trans- und intersexuellen Menschen 1933 bis 1945 (Munich: De Gruyter Oldenbourg, 2014).

42、Jeremy Bentham, “Offenses Against One’s Self,” ed. Louis Crompton, Journal of Homosexuality 3, no. 4 (1978): 389–406; Jeremy Bentham, “Jeremy Bentham’s Essay on Paederasty,” ed. Louis Crompton, Journal of Homosexuality 4, no. 1 (1978): 91–107.

43、Olga Yakusheva et al., “Lives Saved and Lost in the First Six Months of the US COVID-19 Pandemic: A Retrospective Cost-Benefit Analysis,”PLOS ONE 17, no. 1 (2022), article e0261759.

44、Bitna Kim and Meghan Royle, “Domestic Violence in the Context of the COVID-19 Pandemic: A Synthesis of Systematic Reviews,”Trauma, Violence, and Abuse 25, no. 1(2024): 476–93; Lis Bates et al., “Domestic Homicides and Suspected Victim Suicides During the Covid-19 Pandemic 2020–2021,” U.K. Home Office, Aug. 25, 2021, assets.publishing.service.gov.uk/media/6124ef66d3bf7f63a90687ac/Domestic_homicides_and_suspected_victim_suicides_during_the_Covid-19_Pandemic_2020-2021.pdf; Benedetta Barchielli et al., “When ‘Stay at Home’ Can Be Dangerous: Data on Domestic Violence in Italy During COVID-19 Lockdown,”International Journal of Environmental Research and Public Health 18, no. 17 (2021), article 8948.

45、Jingxuan Zhao et al., “Changes in Cancer-Related Mortality During the COVID-19 Pandemic in the United States,”Journal of Clinical Oncology 40, no. 16 (2022): 6581; Abdul Rahman Jazieh et al., “Impact of the COVID-19 Pandemic on Cancer Care: A Global Collaborative Study,”JCO Global Oncology 6 (2020): 1428–38; Camille Maringe et al., “The Impact of the COVID-19 Pandemic on Cancer Deaths due to Delays in Diagnosis in England, UK: A National, Population-Based, Modelling Study,”Lancet Oncology 21, no. 8 (2020): 1023–34;Allini Mafra da Costa et al., “Impact of COVID-19 Pandemic on Cancer-Related Hospitalizations in Brazil,”Cancer Control 28 (2021): article 10732748211038736; Talía Malagón et al., “Predicted Long-Term Impact of COVID-19 Pandemic-Related Care Delays on Cancer Mortality in Canada,”International Journal of Cancer 150, no. 8 (2022): 1244–54.

46、凯恩斯的原话为：“有些所谓务实人士，自认为不受任何知识分子影响，但通常只是某个过世经济学家的奴隶。”——译者注

47、Chalmers, Reality+.

48、Pokémon GO, “Heads Up!,” Sept. 7, 2016, pokemongolive.com/en/post/headsup/.

49、Brian Fung, “Here’s What We Know About Google’s Mysterious Search Engine,”Washington Post, Aug. 28, 2018, www.washingtonpost.com/technology/2018/08/28/heres what-we-really-know-about-googles-mysterious-search-engine/; Geoffrey A. Fowler, “AI is Changing Google Search: What the I/O Announcement Means for You,”Washington Post,May 10, 2023, www.washingtonpost.com/technology/2023/05/10/google-search-ai-io-2023/;Jillian D’Onfro, “Google Is Making a Giant Change This Week That Could Crush Millions of Small Businesses,”Business Insider, April 20, 2015, www.businessinsider.com/google mobilegeddon-2015-4.

50、SearchSEO, “Can I Improve My Search Ranking with a Traffic Bot,” accessed Jan. 11, 2024, www.searchseo.io/blog/improve-ranking-with-traffic-bot; Daniel E. Rose, “Why Is Web Search So Hard . . . to Evaluate?,”Journal of Web Engineering 3, no. 3 and 4 (2004): 171–81.

51、Javier Pastor-Galindo, Felix Gomez Marmol, and Gregorio Martínez Pérez, “Profiling Users and Bots in Twitter Through Social Media Analysis,”Information Sciences 613(2022): 161–83; Timothy Graham and Katherine M. FitzGerald, “Bots, Fake News, and Election Conspiracies: Disinformation During the Republican Primary Debate and the Trump Interview,” Digital Media Research Center, Queensland University of Technology(2023), eprints.qut.edu.au/242533/; Josh Taylor, “Bots on X Worse Than Ever According to Analysis of 1M Tweets During First Republican Primary Debate,”Guardian, Sept. 9, 2023,www.theguardian.com/technology/2023/sep/09/x-twitter-bots-republican-primary-debate tweets-increase; Stefan Wojcik et al., “Bots in the Twittersphere,” Pew Research Center,April 9, 2018, www.pewresearch.org/internet/2018/04/09/bots-in-the-twittersphere/;Jack Nicas, “Why Can’t the Social Networks Stop Fake Accounts?,”New York Times,Dec. 8, 2020, www.nytimes.com/2020/12/08/technology/why-cant-the-social-networks-stop fake-accounts.html.

52、Sari Nusseibeh, What Is a Palestinian State Worth? (Cambridge, Mass.: Harvard University Press, 2011), 48.

53、Michael Lewis, The Big Short: Inside the Doomsday Machine (New York: W. W.Norton, 2010); Marcin Wojtowicz, “CDOs and the Financial Crisis: Credit Ratings and Fair Premia,”Journal of Banking and Finance 39 (2014): 1–13; Robert A. Jarrow, “The Role of ABS, CDS, and CDOs in the Credit Crisis and the Economy,”Rethinking the Financial Crisis 202 (2011): 210–35; Bilal Aziz Poswal, “Financial Innovations: Role of CDOs, CDS,and Securitization During the US Financial Crisis 2007–2009,”Ecorfan Journal 3, no. 6(2012): 125–39.

54、Citizens United v. FEC, 558 U.S. 310 (2010), supreme.justia.com/cases/federal/us/558/310/;Amy B. Wang, “Senate Republicans Block Bill to Require Disclosure of ‘Dark Money’Donors,”Washington Post, Sept. 22, 2022, www.washingtonpost.com/politics/2022/09/22/senate-republicans-campaign-finance/.

55、Vincent Bakpetu Thompson, The Making of the African Diaspora in the Americas, 1441–1900(London: Longman, 1987); Mark M. Smith and Robert L. Paquette, eds., The Oxford Handbook of Slavery in the Americas (New York: Oxford University Press, 2010); John H. Moore, ed., The Encyclopedia of Race and Racism (New York: Macmillan Reference USA, 2008); Jack D. Forbes, “The Evolution of the Term Mulatto: A Chapter in Black–Native American Relations,”Journal of Ethnic Studies 10, no. 2 (1982): 45–66; April J. Mayes, The Mulatto Republic: Class, Race, and Dominican National Identity (Gainesville: University Press of Florida, 2014); Irene Diggs, “Color in Colonial Spanish America,”Journal of Negro History 38, no. 4 (1953): 403–27.

56、Sasha Costanza-Chock, Design Justice: Community-Led Practices to Build the Worlds We Need (Cambridge, Mass.: MIT Press, 2020); D’Ignazio and Klein, Data Feminism; Ruha Benjamin, Race After Technology: Abolitionist Tools for the New Jim Code (Cambridge,U.K.: Polity Press, 2019); Virginia Eubanks. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor (New York: St. Martin’s Press, 2018); Wendy Hui Kyong Chun, Discriminating Data: Correlation, Neighborhoods, and the New Politics of Recognition(Cambridge, Mass.: MIT Press, 2021).

57、Peter Lee, “Learning from Tay’s Introduction,” Microsoft Official Blog, March 25, 2016,blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/; Alex Hern, “Microsoft Scrambles to Limit PR Damage over Abusive AI Bot Tay,”Guardian , March 24, 2016,www.theguardian.com/technology/2016/mar/24/microsoft-scrambles-limit-pr-damage-over abusive-ai-bot-tay; “Microsoft Pulls Robot After It Tweets ‘Hitler Was Right I Hate the Jews,’”Haaretz , March 24, 2016, www.haaretz.com/science-and-health/2016-03-24/tyarticle/microsoft-pulls-robot-after-it-tweets-hitler-was-right-i-hate-the-jews/0000017f-dede d856-a37f-ffde9a9c0000; Elle Hunt, “Tay, Microsoft’s AI Chatbot, Gets a Crash Course in Racism from Twitter,”Guardian, March 24, 2016, www.theguardian.com/technology/2016/mar/24/tay-microsofts-ai-chatbot-gets-a-crash-course-in-racism-from-twitter.

58、Morgan Klaus Scheuerman, Madeleine Pape, and Alex Hanna, “Auto-essentialization: Gender in Automated Facial Analysis as Extended Colonial Project,”Big Data and Society 8, no. 2(2021), article 20539517211053712.

59、D’Ignazio and Klein, Data Feminism, 29–30.

60、Yoni Wilkenfeld, “Can Chess Survive Artificial Intelligence?,”New Atlantis 58 (2019): 37.

61、Ibid.

62、Matthew Hutson, “How Researchers Are Teaching AI to Learn Like a Child,”Science ,May 24, 2018, www.science.org/content/article/how-researchers-are-teaching-ai-learn-child;Oliwia Koteluk et al., “How Do Machines Learn? Artificial Intelligence as a New Era in Medicine,”Journal of Personalized Medicine 11 (2021), article 32; Mohsen Soori, Behrooz Arezoo, and Roza Dastres, “Artificial Intelligence, Machine Learning, and Deep Learning in Advanced Robotics: A Review,”Cognitive Robotics 3 (2023): 54–70.

63、Christian, Alignment Problem, 31; D’Ignazio and Klein, Data Feminism, 29–30.

64、Christian, Alignment Problem, 32; Joy Buolamwini and Timnit Gebru, “Gender Shades:Intersectional Accuracy Disparities in Commercial Gender Classification,” in Proceedings of the 1st Conference on Fairness, Accountability, and Transparency, PMLR 81 (2018): 77–91.

65、Lee, “Learning from Tay’s Introduction.”

66、D’Ignazio and Klein, Data Feminism, 28; Jeffrey Dastin, “Insight—Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women,” Reuters, Oct. 11, 2018, www.reuters.com/article/idUSKCN1MK0AG/.

67、Christianne Corbett and Catherine Hill, Solving the Equation: The Variables for Women’s Success in Engineering and Computing (Washington, D.C.: American Association of University Women, 2015), 47–54.

68、D’Ignazio and Klein, Data Feminism.

69、Meghan O’Gieblyn, God, Human, Animal, Machine: Technology, Metaphor, and the Search for Meaning (New York: Anchor, 2022), 197–216.

70、Brinkmann et al., “Machine Culture.”

71、Suleyman, Coming Wave, 164.

72、Brinkmann et al., “Machine Culture”; Bengio et al., “Managing AI Risks in an Era of Rapid Progress.”