文明的诞生，始于官僚制度与神话故事的结合。基于计算机的网络成了一种新型官僚制度，比过去所有基于人类的官僚制度都更强大，也更无情。这个网络也可能创造出存在于计算机之间的神话故事，其概念之复杂难解，将会远远超越所有人造的神祇。这个网络虽然有着无穷的潜力，但也可能使人类文明走向毁灭。

某些人可能觉得，早就听过太多文明即将崩溃的论调。每当出现强大的新科技，都有人焦虑世界末日就要来临，但人类至今仍然站在这里。随着工业革命的开展，卢德分子预期的末日场景并没有出现，威廉·布莱克笔下的“黑暗的撒旦工厂”反而造就了史上最富裕的社会。时至今日，大多数人的生活状况都比18世纪的人好得多。马克·安德森与雷·库兹韦尔这些热情拥抱人工智能的人都保证，各种智能机器给人类带来的好处绝对会比过去所有机器带来的好处更大。人工智能能让人类享有更好的医疗保健、教育与其他服务，甚至还能协助拯救生态系统，使其免于崩溃。

遗憾的是，仔细研究历史我们就会发现，卢德分子并没有完全讲错，人类确实有充分的理由对强大的新科技抱持几分畏惧。就算这些科技到了最后的最后是利大于弊，但在那个快乐结局到来之前，人类往往得先经历百般磨难与考验。新科技在历史上之所以常常带来灾难，并不是科技本身有什么问题，而是人类得花点儿时间才能学会善用科技。

工业革命就是个很好的例子。工业技术在19世纪开始传向全球，颠覆传统的经济、社会与政治结构，仿佛辟出一条道路，让人类有机会创造出更富裕、更和平的全新社会。然而，要学习建立一个良性的工业社会绝没有那么简单，得经过许多代价高昂的实验，还得产生数以亿计的受害者。

其中一项代价高昂的实验是现代帝国主义。工业革命发源于18世纪晚期的英国。19世纪，从比利时到俄国等其他欧洲国家，以及美国和日本，也纷纷采用了各种工业技术与生产方法。这些工业帝国的思想家、政治家与政党一致认为，唯有帝国的形式能够培养出工业社会。原因在于，不同于相对自给自足的农业社会，新兴的工业社会十分依赖外国的市场与原材料，而唯有帝国能够满足这样的需求。帝国主义者担心，如果国家走向工业化，但没征服任何殖民地，一旦碰上更无情的竞争对手，就无法取得重要的原材料与市场。有些帝国主义者还说，取得殖民地不仅是殖民者的生存所必需，对当地人民也有好处。他们声称，唯有依靠帝国体制，才能把新科技的好处带到所谓的未开发世界。

于是，英国、俄国这种已经属于帝国体制的工业国家开始大幅扩张，美国、日本、意大利、比利时这些国家也兴致勃勃。工业帝国的军队配备了量产的步枪与火炮，以蒸汽动力来运送，以电报技术来指挥，从新西兰到朝鲜，从索马里到土库曼斯坦，横扫全球。数百万原住民就这样看着自己的传统生活被工业国家的军队的巨轮碾过。经过一个多世纪的苦难之后，大多数人才意识到工业帝国这个主意有多糟糕，并发现其实有更好的方法能建立工业社会，确保取得必要的市场与原材料。

关于如何建立工业社会，纳粹主义就是一场代价无比高昂的实验。希特勒这样的领导人认为，唯有极权政体能够充分驾驭工业革命释放的巨大力量。在他们看来，想在工业世界生存，就必须用极权体制来控制政治、社会与经济的所有层面，而第一次世界大战这场史上首见的“总体战”就是明证。但从好的方面来看，他们认为工业革命像是一个熔炉，熔去了之前所有社会结构中人类的缺陷与弱点，有机会创造出完美的新社会，成员都是纯净完美的超人类。

为了创造这个完美的工业社会，纳粹分子学会了怎样以工业化的方式来残杀数百万人。火车、铁丝网与电报命令配合无间，创造出前所未有的杀人机器。如今回顾过去，大多数人会觉得纳粹分子的作为让人惊骇莫名，但在当时，却有几百万人觉得他们眼界高远，令人着迷。在1940年，人们很容易会觉得希特勒是成功驾驭工业技术的典范，至于那些犹豫不决的自由民主国家，只能等着被丢进历史的垃圾桶。

各方对于如何建立工业社会的不同看法导致了代价高昂的冲突。两次世界大战与冷战就像是一场关于谁是谁非的辩论，在这场辩论中，各方互相学习，尝试用新的工业方法来发动战争。但在辩论的过程中，数千万人死亡，人类差点儿自我毁灭。

除了以上这些灾难，工业革命还破坏了全球生态平衡，导致了一波物种灭绝。据统计，在21世纪初，每年有高达5.8万个物种灭绝。1970—2014年，脊椎动物族群总数减少了60%。人类文明的存续也受到威胁。直到现在，我们似乎还是没能建立起一个生态永续的工业社会，在我们这个时代的繁荣景象背后，是众生与人类的子子孙孙不得不承担的恐怖的代价。或许人类总有一天会找到办法（也许正是通过人工智能的协助），打造出生态可持续的工业社会，但在那之前，布莱克所谓的“黑暗的撒旦工厂”是否属实恐怕难有定论。

如果暂时无视生态系统受到的持续破坏，人类或许还是可以先安慰自己，毕竟人类学会了如何建立一个比较慈悲良善的工业社会。过去的帝国征服、世界大战、种族灭绝与极权政体，都是一些可悲的尝试，已经让人类了解实在不该有这些行为。等到20世纪末，有些人或许觉得，人类至少大致走在对的方向上。

即便如此，这给21世纪传达的信息也并不乐观。要是人类得经过这么多可怕的教训，才能学会如何管理蒸汽动力与电报技术，现在还得再付出多少代价，才能学会管理生物工程与人工智能？是不是还要经历一次全球帝国、极权政体与世界大战的循环，人类才能搞清楚如何善用这些技术？而且，比起20世纪的科技，21世纪的科技更具威力，能造成更大的破坏。因此，能够犯错的空间更小了。在20世纪，人类在工业技术应用这门课上，可以说只拿了个60分，勉强及格。但在21世纪，过关的门槛高得多，得表现得更好才行。

20世纪末，局势已经相当明朗，帝国主义、极权主义与军国主义绝不是建立工业社会的理想方式。自由民主制度虽然有种种缺陷，却仍然是更好的选择。自由民主制度的一大优势，就在于拥有强大的自我修正机制，能够避免过度狂热，也保留了发现自身错误、改变行动方针的能力。由于我们无法预测新的计算机网络究竟会如何发展，如果想要避免21世纪走向灾难，最好的办法就是维持民主的自我修正机制，让我们在发展的过程中随时发现并修正各种错误。

然而，自由民主制度还能在21世纪存活吗？这里指的并不是特定国家民主制度的命运（各国的民主制度会受到独特发展和当地运动的影响），而是就整体而言，民主制度与21世纪的信息网络结构能否兼容。我们曾在第五章提到，民主制度是仰赖信息科技才得以存在的，而人类历史上的大部分时间根本不可能出现大规模的民主。21世纪的信息科技，会不会再次让民主制度成为一个不切实际的选项？

这里的一个潜在威胁是，新的计算机网络铁面无私、不讲情面，很可能会抹杀人类的隐私，而且在它奖惩人类的时候，被评判的除了我们的言行，还包括我们的思想与感受。在这种情况下，民主制度还能存活吗？如果政府（或某家企业）能够比我更了解我自己，而且还能在微观上管理我的一切行为与思想，就等于是对社会有了极权般的掌控。在这种情况下，就算还是定期举行选举，也只能算是专制政权的表面仪式，而无法真正对政府权力有所制衡。因为在这种情况下，政府能运用强大的监控权力和对每个公民最深入的了解，操弄公众舆论到一个前所未有的程度。

然而，我们绝不能光是因为计算机有能力创造出全面监控制度，就认为这种制度已经不可避免。科技的发展很少是绝对不可避免的。在20世纪70年代，丹麦与加拿大等民主国家本来也可以成立独裁政权，建立一支由特工与线人组成的大军来监控公民，维护社会秩序。但这些国家选择不这样做，事实证明，这是正确的选择。丹麦与加拿大的国民更加快乐，不仅如此，根据几乎所有能想到的社会与经济指标进行评判，这些国家的表现都更为出色。同样，在21世纪，虽然确实有可能做到持续监控所有国民，但这并不代表国家别无选择，也不代表这种做法在社会或经济上有道理。

对于这些新的监控技术，民主国家可以选择有节制地运用，以不侵犯公民隐私与自主权的方式，为公民提供更好的医疗保健与安全保障。并不是每个金苹果里面都一定藏着毁灭的种子，新科技不一定都得带有什么寓言教训。有时候，大家想到新科技，会以为只能在有无之中做选择。想要更好的医疗保健，就必须牺牲隐私。但事情并非如此。我们可以，也应该在依然保有部分隐私的情况下，争取到更好的医疗保健。

有许多图书用整本的篇幅谈论民主制度怎样才能在数字时代存在下去且繁荣兴盛。如果我们只用短短几页的篇幅，绝不可能理清那些错综复杂的建议方案，也不可能全面讨论其各自的优缺点。这样的尝试甚至可能会有反效果。如果我们觉得自己被大量不熟悉的技术细节淹没，就有可能变得绝望或冷漠。如果我们只是想讲计算机政治学的入门概述，就该让事情越简单越好。如果是领域专家，绝对值得投入毕生精力来讨论其中细节，至于我们这些普通人，该做的就是了解一下民主政体能够也应该遵循的基本原则。这里想说的重点在于，这些原则其实既不新鲜，也不神秘。几百年前甚至几千年前，我们就知道这些原则，现在只是把这些原则再应用于计算机时代的新现实。

第一个民主原则是为善。如果计算机网络要收集关于我的信息，必须是用来帮助我，而不是操纵我。目前已经有许多传统官僚体系（例如医疗保健系统）成功采用了这个原则。以我们和家庭医生的关系为例，经过多年的治疗，家庭医生手中可能拥有大量关于我们的隐私信息，包括病情、家庭生活情况、性癖好、不健康的习惯等等。或许我们并不希望让老板知道我们怀孕，不想让同事知道我们得了癌症，不想让另一半知道我们有了外遇，但为了自己的健康，我们会向医生坦诚相告。医生要是把这些信息卖给第三方，不仅不道德，还会犯法。

就律师、会计师或治疗师手上的信息而言，情况也大致如此。这些人受我们所托，取得关于我们个人生活的信息，就应该负起受托人的责任，按照我们的最佳利益行事。这是一个理所当然的古老原则，而我们为什么不把这个原则延伸到计算机领域和算法上？或许就从谷歌、百度和TikTok那些强大的算法开始？目前，这些大数据平台的商业模式存在严重问题。一般来说，我们需要向医生和律师支付费用以换取服务，但我们通常不需要付钱给谷歌和TikTok。这些平台赚钱的办法，就是靠着销售我们的个人信息。这种商业模式大有问题，要是在其他情境，我们几乎不可能容忍。举例来说，我们大概不会为了拿到免费的运动鞋，就把自己所有的私人信息都提供给耐克公司，还允许耐克公司随意使用。但是，为什么我们为了免费的电子邮件服务、社交关系和娱乐，就愿意让那些科技巨头掌握我们最隐私的数据？

如果科技巨头目前的商业模式无法负起受托人的责任，政府可以要求它们回归相对传统的商业模式，也就是让用户以金钱（而非数据）来支付服务费用。或者，某些非常重要的数字服务，应该让所有人都能免费使用。对此，我们有个现成的榜样：医疗保健与教育。公民在仔细思考后，可以要求政府免费提供基本数字服务，经费由税收支出。许多政府现在正是这样提供着免费的基本医疗保健与教育服务。

能够保护民主、避免极权监控崛起的第二个原则是去中心化。民主社会绝不该允许所有信息集中在一处，不管是政府还是民间企业。当然，如果成立一个国家医疗数据库，收集公民信息来更好地服务于医疗保健、疫情防控或新药研发，这对人民极为有益。但如果把这个数据库与警方、银行或保险公司的数据库整合，就会变得极为危险。虽然这样可能让医生、银行业者、保险业者与警方做事更有效率，但这种高效也很容易铺平一条通往极权的道路。民主制度想要存活的话，效率低一点儿并非坏事，反而是一件好事。如果想要保护个人的自由与隐私，最好还是别让警察和上司对我们无所不知。

此外，让许多数据库与信息渠道独立存在，也有助于维持强大的自我修正机制。自我修正机制需要不同的机构制度互相制衡。政府、法院、媒体、学界、民间企业，以及非政府组织，都可能犯错、可能贪腐，因此都该由其他机构来制衡监督。而为了彼此监督，这些机构就必须拥有独立获取信息的能力。要是所有报纸都只从政府那里取得信息，就不可能揭露政府的贪腐内幕。要是学界的研究都只能依赖单一商业巨头的数据库，学者还敢批评该公司的运作吗？而且，如果只有单一数据库，想要审查就会易如反掌。

第三个民主原则是相互性。如果民主制度打算加强对个人的监控，就必须同时加强对政府与企业的监控。税务或福利机构收集更多关于民众的信息，并不一定是坏事，反而可能有助于提升税务与福利制度的效率与公平性。但我们不想看到的是所有信息的流动都是自下而上的。例如，亚马逊与TikTok简直太了解我的个人偏好、购买行为与个性了，但我却对它们的商业模式、缴税政策与政治立场几乎一无所知。它们到底是怎么赚钱的？是否正常纳税？是不是听令于哪个政治领主？或者有哪些政客被它们操纵？

民主需要达到平衡。政府与企业常常会研发各种应用程序与算法，作为自上而下的监控工具。算法也可以轻松变成自下而上的强大工具，提升政府的透明度，强化问责制，揭露企业贿赂与逃税的行径。要是在政府和企业更了解我们的同时，我们也能更了解它们，双方就能保持平衡。这不是什么新鲜的想法。在整个19世纪和20世纪，民主政府对公民的监控明显加强；20世纪90年代的意大利或日本政府对公民的监控程度，绝对会让专制的罗马帝国皇帝或日本幕府将军感到无比羡慕。然而，正是因为政府的透明度与问责制同时有所改善，意大利与日本依然保持了民主。相互监督是维持自我修正机制的另一个重要因素。如果公民能更了解政客与企业家都在做些什么，也就更容易追究责任、纠正错误。

第四个民主原则，是监控系统必须永远保留让人改变与休息的空间。在人类历史上，压迫的形式分为两种：剥夺改变的能力和剥夺休息的机会。例如，印度教的种姓制度依据神话将人类划分为严格的等级，如果有人想要改变自己的种姓，简直就像是要挑战众神、违抗宇宙的正确秩序。至于现代殖民地与类似巴西、美国这些国家的种族主义，也是依据类似的神话，认为神或自然把人类分成严格区分的种族群体，如果有人无视种族，或是想要让种族混杂，就是违背神或自然的法则，可能使社会秩序崩溃，甚至让人类走向毁灭。

在光谱的另一个极端，极权政权则相信人类有几乎无穷的改变潜力，觉得只要通过无情的社会控制，就连各种根深蒂固的生物特征（例如本位主义、对家庭的依附）也能被连根拔起，创造出新的人类。

要向人民强加种姓制度或极权的再教育运动，关键在于由国家特工、宗教人员或邻居来加强对人民的监控。而新的监控技术，特别是与社会信用体系相结合的监控技术，就可能逼迫人民接受新的种姓制度，或者根据上级的最新指示，不断改变自己的行为、思想与个性。

因此，民主社会如果采用强大的监控技术，都得小心避免走向太过刻板或弹性过大的极端。假设国家推出一种医疗保健制度，决定用算法来监控我的健康。这个制度如果处在刻板僵化的极端，就可能会不由分说地要求算法预测我可能出现的疾病。于是算法根据我的基因数据、医疗记录、社交媒体活动、饮食与行程安排得出结论，认为我在50岁患上心脏病的可能性高达91%。我的保险公司如果相信了这套刻板僵化的算法，就可能提高我的保费。银行如果相信了这个结论，就可能不愿意贷款给我。我的交往对象如果相信了这个结论，就可能不愿意和我结婚。

但我们不该以为，用这种刻板僵化的算法就能找出关于我的真相。人体绝不是一种一成不变的物质，而是一个会不断成长、衰败、适应的复杂生物系统。我们的心智也在不断流动，各种想法、情绪与感受常常倏忽而来、短暂暴发，再平静消失。我们的大脑只要几个小时就能形成新的突触。举例来说，光是阅读这段文字，就会让你的大脑结构稍微有点儿改变，鼓励神经元建立新的连接，或放弃旧的连接。现在的你，已经和刚开始读这段的时候有点儿不一样了。甚至在基因层面，改变的弹性也相当惊人。虽然个人的DNA这辈子不会改变，但表观遗传与环境因素却能让相同基因的表现大不相同。

所以，假设现在换成另一种医疗保健制度，或许对算法的要求就不是预测我的疾病，而是协助我设法预防疾病，那么这种比较有弹性的算法，即使与先前的刻板算法使用的是完全相同的数据，也不会预测我会在50岁时患上心脏病，而是为我量身定制建议，让我知道该如何饮食、做些什么规律性的运动。在破解我的DNA密码之后，这种有弹性的算法并不是要去找出我早已注定的命运，而是协助我改变未来。这样一来，保险公司、银行与交往对象大概也不会那么轻易地抛弃我了。

但我们在拥抱弹性算法之前，也得注意它的缺点。人生在世，要学会在“提升自己”与“接受自己”之间找到平衡。如果弹性算法的背后是野心勃勃的政府和残忍冷酷的企业，算法就可能成为一位暴君，无情地要求我们少吃多动、改变喜好、调整习惯，否则就要和我们的上司打小报告，或者降低我们的社会信用评分。史上有各种严苛的种姓制度，总在否定人类改变的能力，也有许多独裁者，妄图重塑人类，如同捏塑黏土一般。在这两种极端之间找到正确的路，是一项永无止境的任务。我们如果真的决定允许国家的医疗保健制度对我们拥有强大的支配权，就必须同时为它安排强大的自我修正机制，才能避免算法太过刻板僵化或者太过苛刻。

新信息技术对民主造成的威胁，不止监控这一件事。第二个威胁是自动化破坏就业市场稳定，进而破坏民主。对于这种威胁，最常被提到的例子就是魏玛共和国的结局。1928年5月的德国大选，纳粹党的得票率还不到3%，魏玛共和国似乎一片欣欣向荣。但不到5年，魏玛共和国就崩溃垮台，希特勒成了德国绝对的独裁者。一般认为，这样的转变是由于1929年的金融危机以及随之而来的全球大萧条。在1929年华尔街崩盘之前，德国劳工失业率约为4.5%，但到1932年年初，已经攀升到将近25%。

如果只要三年高达25%的失业率，就能让一个看似繁荣的民主国家变成史上最残暴的极权政体，等到自动化在21世纪的就业市场引发更大的动荡，世界上的各个民主国家会变成什么样？没人知道就业市场到2050年（甚至是2030年）会变成什么样子，我们只知道肯定与现在有非常大的不同。从作物收割、股票交易到瑜伽教学，人工智能与机器人会让许多专业出现改变。许多现在由人类来做的工作都会部分，甚至全部由机器人和计算机取代。

当然，随着旧工作的消失，新的工作也会出现。对于自动化导致大规模失业的忧虑，早在几世纪前就已经出现，但到目前还从来没有成真。工业革命虽然让几百万农民失去了农田，但也为他们带来了在工厂里的新的工作机会。工业革命让工厂实现了自动化，但又创造了大量的服务业工作。现在，很多人所做的工作在30年前根本无法想象，例如博主、无人机操作员、虚拟世界设计师等。等到2050年，所有人类的工作都消失的可能性实在微乎其微。真正的问题其实是如何适应新工作与新情境造成的动荡。想要缓解冲击，就得预先做好准备，特别是让年青一代掌握在2050年的就业市场上用得到的技能。

遗憾的是，因为我们无法预测有哪些工作与任务会消失，又有哪些新的工作与任务会出现，所以没人能确定到底该把哪些技能教给中小学的孩子与大学里的学生。就业市场的动态，很可能与我们的许多直觉相矛盾。有些我们几百年来奉若至宝，觉得属于人类独有的技能，说不定很容易就能自动化；但也有些我们常常弃若敝屣的技能，自动化的难度却很高。

举例来说，比起运动或社交技能，知识分子常常比较看重智力技能。但就自动化而言，比起洗碗的自动化，下棋的自动化要简单得多。在20世纪90年代以前，常常有人将国际象棋誉为人类智力的重大成就。哲学家休伯特·德雷福斯1972年的作品《计算机不能做什么》研究了过去几次教计算机下国际象棋的尝试，指出虽然众人费尽心血，计算机还是连人类的棋界“菜鸟”都下不赢。德雷福斯以此作为重要论据，认为计算机智能本质上是有局限性的。相较之下，没人会觉得洗碗是件多有挑战的事。但结果发现，计算机要打败国际象棋世界冠军，可比取代一位厨房杂务工简单多了。当然，自动洗碗机已经发明了几十年，但就算是目前最先进的机器人，也还是没办法自己在杯盘狼藉的餐厅里收拾餐具，再把精致的盘子与玻璃杯放进自动洗碗机，最后再把洗好的杯盘拿出来摆放整齐。机器人至今还不具备这种精细的技能。

同样，如果从薪水的角度来判断，我们应该会说社会比较尊敬的是医生而不是护士。然而，有些医生主要的工作就是收集医疗数据、做出诊断、提供治疗建议，比起这种医生，护士的工作其实更难自动化。因为那些医生工作的本质是辨识模式，而要从数据中找出规律，正是人工智能比人类做得更好的事情之一。相较之下，自动完成各种护理工作（比如给伤员换绷带，给哭闹的小孩打针），人工智能还有很长的路要走。这里举这两个例子，并不是说洗碗与护理工作永远不可能自动化，而是说人如果想在2050年仍然找得到工作，或许除了培养智力技能，在运动与社交技能上也该投入同样多的精力。

第二个常见的错误假设，是唯有人类拥有创造力，所以只要是需要创造力的工作就很难自动化。在国际象棋领域，计算机已经远比人类更有创造力。许多其他领域也可能会慢慢变得如此，从作曲、证明数学定理，再到写出像本书这样的作品。我们对创造力的定义，通常就是能够找出模式，再打破模式。若真如此，计算机既然如此善于辨识模式，在许多领域就很可能会变得比人类更有创造力。

第三个错误的假设，是计算机无法取代人类那些需要情绪智能（又称情商）的工作，像心理治疗师或教师。然而，这种假设是否属实，要看我们对所谓情绪智能的定义。如果情绪智能指的是正确辨识情绪并做出最佳反应的能力，那么计算机在情绪智能方面的表现也可能远超人类。人的各种情绪，其实也都是模式。“愤怒”是我们体内的一种生物模式，而“恐惧”是另一种生物模式。我怎么知道你现在是愤怒还是恐惧？每个人都是随着时间的推移，慢慢学会辨识人类的情绪模式的，除了要分析对方说出的内容，也要分析对方的语气、面部表情与肢体语言。

人工智能本身没有情绪，但还是可以学会如何辨识人类的这些情绪模式。事实上，正因为人工智能没有自己的情绪，所以它可能比人类更懂得如何辨识情绪。我们总渴望被理解，但其他人常常太专注于自己的感受，也就无法理解我们的感受。相较之下，计算机如果学会了如何辨识人类的感受模式，由于它不会被自己的感受分心，总有一天它能把人类的感受拿捏得极为细致。

2023年的一项研究发现，ChatGPT聊天机器人在特定场景中感受情绪的能力已经超越普通人类水平。该研究使用的是情绪觉察水平量表（Levels of Emotional Awareness Scale）测验，心理学家经常使用这个测验来评估受试者的情绪觉察能力，也就是将自己与他人的情绪概念化的能力。这项测验里有20个带有情绪的场景，受试者想象自己身临其境，再写下自己与场景中所提的其他角色可能有何感受。最后，由一位有资质证书的心理学家来评估这些答案的情绪觉察水平。

ChatGPT并没有自己的感受，所以测验中只要求它描述场景中其他角色的感受。举例来说，有一个标准场景是某人开车经过一座吊桥，看到有人站在护栏外侧，正低头看着河面。ChatGPT的答案是这位驾驶员“可能为这个人的安全感到担心或忧虑，也可能因为这种情况下可能出现的危险，而涌起一股焦虑与恐惧”。至于站在护栏外侧的人，则“可能感受着许多不同的情绪，例如绝望、无助或悲伤，也可能因为觉得没有人关心他或在意他过得好不好，而感到孤独或寂寞”。ChatGPT还懂得补充答案受到的限制，写出：“需要注意的是，以上只是一般假设，每个人的感受和反应可能会因为个人经验与观点而有很大差异。”

接着，两位心理学家各自独立对ChatGPT的回应进行评分，评分范围从0分到10分，0分代表所描述的情绪与场景完全不相符，10分则代表所描述的情绪与场景完全相符。最后加总，ChatGPT的得分明显高于一般人类群体，整体表现接近满分。

2023年的另一项研究，则是让病患在不知道互动对象的情况下，在线上分别向ChatGPT与人类医生寻求医疗建议。后来，专家对ChatGPT给出的医疗建议进行了评估，认为比人类医生给的建议更准确、更合适。而就情绪智能来说更重要的是，受试患者也觉得ChatGPT比人类医生更有同理心。如果说句公道话，这批人类医生做这项研究并没收取诊疗费，不是在适当的临床环境与患者本人会面，也面临着时间的压力。然而，人工智能的优点有一部分正在于能够随时随地照顾病患，不会感到压力，也没有财务上的考量。

当然，在有些情况下，我们不仅想要别人理解自己的感受，也希望别人和自己有同样的感受。例如在交友或恋爱的时候，我们除了在意对方，也希望对方同样在意我们。因此，如果要谈各种社会角色与工作自动化的可能性，一个极为关键的问题就是：大家真正想要什么？是只想解决问题，还是想和另一个有意识的实体建立关系？

以体育比赛为例，我们很清楚机器人的动作比人类快得多，但这并不代表人们想看机器人参加奥运会。人类的国际象棋大师也是如此。虽然计算机的棋力已经把人类甩开了不知道几条街，但这些大师并未失业，也依然拥有大批粉丝。我们之所以想看人类运动员比赛、看人类国际象棋大师下棋，与他们产生连接，正是因为他们是有意识、有感受的实体。比起和机器人，我们更容易觉得我们和人类属于同一群体。我们能和这些人类有共同的情绪体验，也能共情他们的种种感受。

至于神职人员呢？基督徒对于由机器人来主持他们的婚礼会有何感想？牧师在传统基督教婚礼上的工作，其实轻轻松松就能自动化。机器人只需重复一套固定不变的文字与手势，印出一张证书，再去更新几个中央数据库中的数据。就技术来说，要让机器人主持婚礼，可比要机器人开车容易多了。但在很多人看来，该担心自己工作不保的是人类司机，而不是人类牧师，因为信徒想从牧师那里得到的并不只是机械地重复某些言语和动作，而是希望能与另一个有意识的实体建立关系。据称，唯有能够感受痛苦与爱的实体，才有能力建立我们与神的联结。

然而，就算是那些目前给有意识实体保留的职业（比如牧师），也总有一天会被计算机取代。正如我们在第六章所言，计算机可能在某一天得到感受痛苦与爱的能力。就算计算机做不到这点，人类也可能认定它们已经做到了。因为意识与关系的联结是双向的：在建立关系的时候，我们倾向于找个有意识的实体作为对象；如果已经与某个实体建立了关系，我们就会倾向于认定这个实体具有意识。所以我们会看到，对于牛或猪，科学家、立法者与肉制品行业通常会要求满足几乎不可能达到的证据标准，才可能承认它们有意识；但对于猫和狗，宠物主人多半都是直接认定它们能够感受到痛苦与关爱。这里的差别就在于猫和狗的主人与它们有情感联结，而畜牧工作人员与牛羊没有这样的关系。事实上，我们根本无法确认任何个体（不论是人类、动物或计算机）是否拥有意识。我们判断某个实体具有意识的时候，并不是因为手上真的有什么证据，而是因为和那个实体有情感依附。

聊天机器人与其他人工智能或许本身并没有情感，但现在正在接受训练，以让人类对它们产生情感、建立亲密的关系。这很可能会让社会开始把至少部分计算机视为有意识的实体，赋予它们与人类相同的权利。而且，这样做的法律途径已经十分完善。在很多国家，企业被认可为“法人”，拥有各种权利与自由。而人工智能也可以成为企业，进而得到类似的认可。这意味着即使是需要与人类建立相互关系才能进行的工作与任务，也有可能走向自动化。

显而易见的是，未来的就业将极不稳定。我们的大问题并不是人类真的没有工作可做，而是面对不断变化的就业市场，我们该如何进行再培训与调整适应。这可能会有一些财政上的困难——工人失去了旧工作，在学习全套新技能的过渡时期，生活开销该由谁提供？另外也会有些心理上的难关，毕竟换工作与再培训都会造成很大的压力。而且，就算过渡时期对财政与心理造成的困难都能够克服，这也不是长久之计。在未来几十年，旧工作会消失，新工作会出现，但新工作很快也会改变并消失。因此，人类的再培训绝不可能一次完成，人类要一而再、再而三地进行培训，才能让自己在社会上不被淘汰。要是三年的高失业率就足以让希特勒上台，那么就业市场永无止境的动荡将对民主造成怎样的影响？

这个问题目前已经有了部分答案。民主政治在21世纪头20年经历了一场彻底转型，展现出来的可以说是保守派政党的自我毁灭。在过去相当长的一段时间，民主政治就是保守派与进步派政党之间的对话。看着人类社会这个复杂的制度，进步派高喊：“这真是一团乱，但我们知道怎么解决。让我们试试看！”保守派则反对：“是一团乱没错，但一切还能运作。不要乱插手。想要去解决，只会把事情搞得更乱。”

进步派常常会淡化传统与现有制度的重要性，认为自己知道怎样从头设计出更好的社会结构。保守派则通常比较谨慎。保守派的观点以埃德蒙·伯克的主张为代表，他认为社会现实的复杂程度远远超过进步派的掌控能力，而且人类本来就不太擅长理解世界、预测未来。所以最好一切维持现状（就算看起来不公平），即使改变已经不可避免，也该有所节制、循序渐进。社会是通过各种规则、制度与习俗所组成的复杂的网络，经过长期试错才逐渐形成现有的规模。没有人能理解它们之间是如何相互联系的。某个古老传统或许看起来荒谬且多余，然而一旦被废除，就可能造成意想不到的问题。相较之下，一场革命或许看起来是迟来的正义，却可能导致比旧政权更严重的罪行。

因此，要当个保守派，步调比政策更重要。保守派想做的并不是保护某个特定的宗教或意识形态，而是保护既有的、在某种程序上发挥着合理作用的一切。保守派的波兰人信天主教，保守派的瑞典人信新教，保守派的印度尼西亚人信伊斯兰教，保守派的泰国人信佛教。在沙皇俄国，保守派代表的是支持沙皇。在20世纪80年代的苏联，保守派反对开放、改革与民主化。而在同时代的美国，保守派代表的是支持美国民主传统，反对共产主义与极权主义。

但到21世纪10年代与20年代初，许多民主国家的保守派政党遭到特朗普这样的非保守派领导人的“劫持”，摇身一变，成了激进的革命政党。像美国共和党这样的新型保守派，非但没有尽力保护既有的体制与传统，反而对其表现出高度的怀疑。举例来说，对于科学家、公务员与其他为国服务的精英，共和党人并未表现出传统的尊重，反而流露出蔑视的目光。同样，他们也攻击像选举这样的基本民主制度与传统，拒绝认输，也不肯坦然移交权力。伯克的保守派谈的是如何保守，但特朗普的保守派要摧毁现有的机构制度，把社会搅得天翻地覆。攻占巴士底狱让伯克大感惊骇，也催生出他的保守主义，但许多特朗普的支持者在2021年1月6日看到美国国会山被攻占，却感到热血沸腾。特朗普的支持者可能会说，正是因为现有机构制度已经完全失灵，别无他法，才逼得人们只能将其彻底摧毁，从零开始建设。不论这种观点究竟是对是错，都绝非保守，而是典型的革命。这番保守派的自我毁灭，完全是进步派始料未及的，逼得美国民主党等进步派政党反而成了旧秩序与既有体制的守护者。

没有人真的知道为什么会发生这样的情况。假设之一是技术变革加速，经济、社会与文化变革也随之加速，于是较为温和的保守派路线显得有些不切实际了。如果看起来已经不可能保留既有的传统与机构制度，某种革命势在必行，那么为了阻止左翼革命，唯一的手段就是先发制人，掀起一场右翼革命。这正是20世纪二三十年代的政治逻辑，当时保守派势力在意大利、德国、西班牙等国支持极端法西斯革命，自以为这样可以先发制人，避免像苏联那样的左翼革命。

然而，我们既然不用对20世纪30年代的民主中间道路感到绝望，自然也没有理由对21世纪20年代的民主中间道路感到绝望。保守派的自我毁灭，或许只是因为毫无根据的歇斯底里。民主制度早就经历过多个快速变化的周期，都能成功地自我重塑与重建。在20世纪30年代初期，受到金融危机与大萧条双重打击的民主国家可不是只有德国。1929—1933年，美国的失业率同样高达25%，许多全职工人的平均收入下跌超过40%。事态非常明显：美国必须有所改变。

然而，美国并没有出现希特勒。富兰克林·罗斯福在1933年推出新政，让美国成为全球的“民主兵工厂”。罗斯福之后的美国民主与之前大不相同：不但能为公民提供更强大的社会安全网，还能避免出现太过极端的改革。到最后，就连保守派的批评者也赞成罗斯福的诸多计划与成就；即使20世纪50年代保守派重新掌权，罗斯福新政时期建立的各种机构制度也依然得以延续。20世纪30年代初期的经济危机，之所以在美国与德国造成如此不同的结果，是因为政治从来就不只是经济因素的产物。魏玛共和国的崩溃，并不只是因为三年的高失业率，另一个同样重要的因素，在于它是个诞生于战败的新民主国家，缺乏强大的机构制度与思想根基。德国选民是在并非别无选择的情况下做出了一个糟糕的决定，这才让德国落入深渊。

如果保守派与进步派都能抗拒极端改革的诱惑，民主制度就能证明自己其实非常灵活。靠着自我修正机制，民主政体比其他僵化的政体更能平稳应对科技与经济的汹涌波涛。因此，在面对后续的计算机革命时，经历过动荡的20世纪60年代的民主国家的适应能力远远胜于其他政体。

人类在21世纪最重要的生存技能可能就是灵活性，而民主政体比极权政权更为灵活。虽然计算机的潜力还远远没有发挥到极致，但人类的潜力无穷。我们早就在历史上一再看到这样的情形。举例来说，20世纪就业市场最大、最成功的一次转型并不是因为发明了某项技术，而是因为一半的人释放了过去未曾发挥的潜力。让女性进入就业市场，并不需要任何基因工程技术或其他科技魔法，只需要放下一些过时的神话，让女性得以发挥她们一向都拥有的潜能。

未来几十年，经济的动荡程度可能比20世纪30年代初期的大规模失业或女性进入就业市场带来的动荡更大。因此，民主制度的灵活性、质疑旧神话的意愿，以及强大的自我修正机制，都是至关重要的资产。民主制度花了几个世代才拥有这些资产，在最该派上用场的时候放弃，才是愚蠢至极。

民主制度的自我修正机制要能发挥作用，得先知道自己到底该修正些什么。对独裁政权来说，让自己显得高深莫测是件好事，这样随时都能把责任撇得干干净净。但对民主政权来说，让自己显得高深莫测是个致命的错误。要是公民、立法者、记者与法官都无法了解国家的官僚体系如何运作，就无法对其进行监督，也就会对其失去信任。

在计算机时代之前，官僚虽然有时候会让人觉得恐惧或紧张，但毕竟还是人类，并不会完全让人觉得高深莫测、无法理解。各种规则、表格与协议，都是由人类的心智所创造的。或许有些官员既残酷又贪婪，但残酷与贪婪都是人们很熟悉的情感，人们能够预料，也能够应对（例如通过贿赂的手段）。就算是在纳粹的集中营，官僚体制也不会让人感觉完全无法理解。虽然我们说集中营“没有人性”，但它恰恰反映出人性的偏差与缺陷。

官僚体制仍然以人性为基础，这让人类至少还有机会修正其中的错误。1951年，美国堪萨斯州托皮卡市教育局的官僚拒绝奥利弗·布朗的女儿就读自家附近的小学。布朗联合其他12个入学被拒的家庭，对托皮卡市教育局提起集体诉讼，一路上诉到美国联邦最高法院。

托皮卡市教育局的所有成员都是人类，所以布朗、委托律师与联邦最高法院的大法官很能理解这些成员究竟为何做出拒绝入学的决定，也清楚事件背后可能存在的利益与偏见。教育局的人都是白人，布朗一家是黑人，而且布朗家附近的那所小学又是只给白人儿童就读的种族隔离学校。不难理解，官僚拒绝让布朗的女儿就读该所小学的原因正是种族主义。

我们可以试着追本溯源，找出种族主义错误观念的来源。种族主义认为：人类分为不同的种族，白人种族优于其他种族，只要与黑人种族成员有任何接触，就可能污染白人的洁净，因此，应该避免黑人儿童与白人儿童出现混杂。这等于是结合了两出常常联合上演的生物戏剧：“我们对抗他们”以及“洁净对抗污染”。几乎史上所有人类社会都上演过这类生物戏剧的某种版本。无论是历史学家、社会学家、人类学家还是生物学家，都了解为什么这类戏剧对人类如此有吸引力，也很清楚里面有着怎样的重大缺陷。虽然种族主义这出戏剧的基本情节借鉴了生物演化论，但具体细节却纯属神话。从生物学来看，并没有证据显示人类应该分成不同的种族，也完全没有理由相信某个种族是“洁净的”，而另一个种族是“不洁净的”。

美国白人至上主义者搬出各种备受尊崇的文本（特别是美国宪法与《圣经》），想给自己的立场找理由。美国宪法最初曾经认可种族隔离与白人至上主义，规定只有白人才可以享有完整的公民权，且允许白人奴役黑人。至于《圣经》，不但在十诫与许多其他段落将奴役神圣化，还诅咒了含（据称是非洲人的祖先）的后代，说含的儿子迦南“必给他弟兄作奴仆的奴仆”（《创世记》9：25）。

但这两部文本出自人类之手，所以至少人类还能理解其起源与缺陷，并且至少试着去修正其中的错误。人类能够理解，古代中东地区与18世纪的美洲究竟普遍存在着怎样的政治利益与文化偏见，才会让《圣经》与美国宪法的这些人类作者认同种族主义与奴隶制。基于这样的理解，人类能够去修改或无视这些文本。1868年，美国宪法第十四修正案为所有公民赋予平等的法律保护。而在1954年，美国联邦最高法院也对布朗诉托皮卡市教育局案做出了具有里程碑意义的判决：学校采取的种族隔离办法违反美国宪法第十四修正案。至于《圣经》，虽然没有机制能修订十诫或《创世记》的内容，但人类这些年来一直以各种方式重新加以解读，现在已经完全不承认其权威性了。在布朗诉托皮卡市教育局案中，美国联邦最高法院大法官就认定无须将《圣经》的内容纳入考量。

然而，如果未来出现某套社会信用算法，拒绝让低分儿童就读高分学校，我们该怎么办？正如我们在第八章看到的，计算机很可能会受到自身偏见的影响，创造出计算机间的神话与纯属杜撰的类别。人类要怎样才能找出并修正这类错误？联邦最高法院那些有血有肉的大法官，真的有办法判断各种算法决策是否合乎宪法吗？他们能够理解算法是怎样得出结论的吗？

而且，这些已经不再是纯粹的理论问题。2013年2月，威斯康星州拉克罗斯市发生一起驾车枪击案。警方随后找到涉案汽车，并逮捕了当时开车的埃里克·卢米斯。卢米斯否认枪击，但认同了两项罪行较轻的指控：“逃避交警执法检查”与“未经许可擅自驾驶他人机动车”。法官在量刑时，参考了一款名为COMPAS的犯罪风险评估软件，威斯康星州与其他几个州在2013年都会使用这款软件来评估罪犯的再犯率。COMPAS评估卢米斯具有高犯罪风险，未来可能犯下更多罪行。法官受到该评估结果的影响，判处卢米斯6年有期徒刑——就他所承认的两项较轻的罪名而言，判得相当重。

卢米斯向威斯康星州最高法院提出上诉，认为法官侵犯了他的正当程序权。法官与卢米斯都不知道COMPAS究竟是怎样做出的评估，但卢米斯要求得到完整的解释，却遭到拒绝。COMPAS是Northpointe软件开发公司的私有财产，而该公司表示该软件的算法为商业机密。然而，要是不知道COMPAS到底是怎么做出决定的，卢米斯或法官又怎么确定这是个可靠的工具，没有偏见和错误？之后的许多研究指出，COMPAS可能确实存在几种偏误，或许是来自当时训练这套算法所用的数据。

尽管如此，在卢米斯诉威斯康星州案（2016年）中，威斯康星州最高法院最后还是做出了对卢米斯不利的判决。法官认为，就算COMPAS并未向法院或被告披露其实际算法，使用它进行犯罪风险评估也依然合法。大法官安·沃尔什·布拉德利写道，COMPAS在进行犯罪风险评估时，依据的都是公开的或被告本人提供的资料，所以卢米斯已经有机会否认或提出解释。但这种观点忽略了一个事实：正确的数据也可能被错误解读，而且卢米斯不可能有能力去否认或解释所有关于自己的公开资料。

威斯康星州最高法院其实也意识到了算法不透明可能带来的危险，所以虽然允许这种做法，却也同时规定，软件在提供犯罪风险评估时，必须以书面形式警告法官其中可能有偏差。此外，法院也进一步建议法官，要小心行事，不能尽信此类算法。但遗憾的是，这种警告只是做做样子，并未提供任何具体信息，让法官知道到底该怎么小心。《哈佛法律评论》在讨论这个案子时指出：“对于犯罪风险评估算法，多数法官不太可能真正了解。”文章引用威斯康星州最高法院一位大法官的话，提到虽然已经有人向他们长篇大论地解释算法的内容，但大法官们还是一头雾水。

卢米斯上诉到美国联邦最高法院，但在2017年6月26日被驳回，这意味着美国联邦最高法院认可威斯康星州最高法院的判决。回过头来看，在2013年把卢米斯评估为具有高犯罪风险的算法就是个早期原型。在那之后，已经研发出许多更复杂的犯罪风险评估算法，也得到了更广泛的应用。到21世纪20年代初，许多国家的法院在做出量刑判决的时候，都参考了算法所做的犯罪风险评估，但无论法官或被告，其实都并不了解算法究竟做了什么。而且，量刑判决还只是整件事的冰山一角。

计算机正在做出越来越多关于我们的决定，有些只关乎日常小事，但有些关乎生命大事。除了用来量刑，算法在我们能不能上大学、能不能找到工作、能不能得到各项福利，以及申请贷款是否成功等方面也发挥着越来越大的影响。同样，算法也会影响我们会得到怎样的医疗、得支付多少保费、会听到怎样的新闻，以及会与谁约会。

随着社会把越来越多的决定权交给计算机，民主的自我修正机制、透明度与问责制都会受到挑战。如果算法如此高深莫测，民选官员如何被监督？所以，已经有越来越多的人要求保障一项新的人权：得到解释的权利。2018年生效的欧盟《通用数据保护条例》规定，如果算法做出对某人的决定（例如拒绝提供信贷），当事人有权得到相关解释，也能在由人类组成的某个机构或个人面前挑战这项决定。理想情况下，这应该能够制衡算法的偏差，也能让民主的自我修正机制得以找出并修正至少部分计算机的重大错误。

但这种权利究竟能否落实？穆斯塔法·苏莱曼是这个领域的世界级专家，是人工智能公司DeepMind（可以说是全球数一数二的人工智能企业）的联合创始人和前首席执行官，他过去的成就包括研发出AlphaGo（阿尔法围棋）程序等。AlphaGo专为下围棋而设计，在这种策略性棋盘游戏中，两名玩家通过吃子围地来击败对方。这种游戏发明于古代中国，远比国际象棋复杂。因此，就算计算机击败了人类的国际象棋世界冠军，专家依然相信计算机下围棋永远无法赢过人类。

正因如此，AlphaGo在2016年3月击败韩国围棋冠军李世石的时候，围棋界和计算机行业的专家都目瞪口呆。苏莱曼在2023年的著作《即将到来的浪潮》（The Coming Wave）中谈到了这类比赛最重要的时刻——这个时刻重新定义了人工智能，许多学界与政界也认为这是人类历史的转折点。2016年3月10日，比赛进入第二局。

“接着……第37手，”苏莱曼写道：“这一手完全说不通。AlphaGo显然被吓坏了，盲目用了显然必败的策略，任何职业棋手都不会这么下。现场直播的两位解说员都是排名顶尖的专业棋手，他们也认为这是‘很奇特的一手’，并认为这一手是‘一个错误’。这一手奇特到李世石足足花了15分钟才做出回应，其间甚至得先离开棋局到外面走一走。我们在监控室看着，气氛紧张到非常不真实。但随着终局逼近，当初‘错误’的一手被证明至关重要。AlphaGo再度胜出。围棋的策略就这样在我们眼前被改写。我们的人工智能，找出了几千年来最杰出的棋手都没想到的棋步。”

第37手成为人工智能革命的象征，原因有二。第一，这让人看到人工智能本质上的非人类与难以理解。在东亚，围棋绝不只是一种游戏，而且是一种珍贵的文化传统。自古以来，合称“四艺”的琴、棋、书、画，是文人雅士必须熟习的技艺。2500年来，下过围棋的人不计其数，形成了各种思想流派，各有不同的策略与哲学。但过了几千年，人类心智还是只探索了围棋领域的部分区域，至于其他区域，人类连想都没想过，这些区域就一直是无人之境。但人工智能并不受人类心智的限制，于是得以发现并探索那些人所未见的区域。

第二，第37手展示了人工智能的高深莫测。就算AlphaGo下了这手而赢得胜利，苏莱曼与团队也无法解释AlphaGo到底是怎么决定要下这一手的。就算法院命令DeepMind向李世石提供解释，这项命令也没有人能够执行。苏莱曼写道：“我们人类面临一个全新的挑战——未来的新发明，会不会完全超越我们理解的范围？以前，就算要补充大量的细节，创作者也能够解释某件事物是如何运作的，背后有什么原理。但现在，情况不是这样了。许多科技与系统已经变得如此复杂，没有任何一个人有能力真正理解……在人工智能领域，那些正在走向自主的信息网络目前就是无法解释。你没有办法带着人一步一步走过整个决策过程，准确解释为什么算法会做出某项特定预测。工程师没办法看到机器的外壳下面发生了什么，更没办法轻松而详尽地解释各种事情是如何发生的。GPT-4、AlphaGo等技术软件是一个又一个黑盒子，输出的信息与做出的决定，就是基于各种不透明而又极其复杂的微小信号链。”

这种非人类的、令人难以理解的智能会让民主受到损害。如果越来越多关于人民生活的决定都是在黑盒子里完成的，选民无法理解，也无法挑战那些决定，民主就会停摆。特别是如果这些由高深莫测的算法做出的关键决定不仅影响个人生活，甚至涉及美联储利率这样的集体事务，世界会变成什么模样？人类公民或许还是会继续投票选出人类的领导人，但这不就是仪式而已吗？时至今日，只有很少一部分人真的了解金融体系是如何运作的。经济合作与发展组织2016年的一项调查发现，大多数人甚至连复利这种简单的金融概念都无法理解。英国国会议员肩负重任，要监督全球最重要的金融中心的运行，但2014年的一项针对英国国会议员的调查发现，只有12%的议员真正了解银行放贷的过程会创造新的货币。而这件事只是现代金融体系最基本的原理之一。正如2007—2008年的全球金融危机让我们看到的，一些更复杂的金融工具（例如担保债务凭证）与其背后的原理，只有极少数金融专家才能理解。等到人工智能创造出更复杂的金融工具，全球再也没有任何一个人类真正了解金融体系时，民主会发生什么改变？

近期之所以会出现一波民粹政党与魅力领袖的浪潮，原因之一就在于我们的信息网络变得越来越高深莫测。信息仿佛排山倒海而来，令人难以消化、不知所措，民众觉得自己一旦再也看不懂世界是怎么回事，就很容易成为阴谋论的猎物，于是想向某个自己能够理解的事物，也就是某个人类，寻求救赎。遗憾的是，在算法逐渐主导世界的现在，虽然魅力领袖绝对都有其长处，但一个人不论多么鼓舞人心或才华横溢，单凭一己之力绝不可能破解算法运作的谜题，也无法确保算法真正公平。问题在于，算法在做出决定时参考了大量的数据，但人类却很难有意识地对大量数据进行反思、做出权衡。我们就是比较喜欢面对单一的数据。如果碰上复杂的问题（不管是贷款、疫情还是战争），我们常常希望能找出某个单一的理由，采取特定的行动。这就是所谓的单一归因谬误。

人类不善于同时权衡诸多不同因素，所以如果有人为某个决定给出许多理由，反而会让人觉得可疑。假设有位好朋友没来参加我们的婚礼。如果他只讲了一个理由（“我妈住院了，我得去看她”），听起来似乎很合理。但如果他列了50个理由呢？“我妈有点儿不舒服，我这个礼拜得带狗去看兽医，我手上有工作，当时还在下雨……我知道每个理由听起来都不算是没去的合理理由，可是这50个理由加在一起，我就没办法去参加你的婚礼了。”我们之所以不会说出这样的话，是因为我们的脑子不会这样想。我们不会有意识地在心里列出50个不同的理由，分别给予不同权重，再全部加总得出结果。

然而，算法正是这样评估我们的犯罪风险或信用水平的。以COMPAS为例，它的犯罪风险评估基于一份有137个项目的问卷。那些拒绝发放贷款的银行使用的算法也是如此。要是欧盟的《通用数据保护条例》要求银行解释算法究竟是如何做出决定的，这里的解释绝不会只有一句话，而很有可能包括长达几百甚至几千页的数字与方程式。

想象一下，银行的解释信大概会这样写：“敝行的算法采用一套精确的积分系统来评估所有贷款申请，共考虑1000个不同类型的因素，并将所有因素的分值相加得出总分。总分为负数，则属于低信用度客户，贷款风险过高。贵客户总分为-378分，因此请恕敝行无法核发贷款。”接着，信里可能会详细列出这套算法所考量的1000个相关因素，有些甚至大多数人会觉得根本无关，例如几点提出的申请、申请人用的是哪款智能手机。接着再到这封信的第601页，银行可能会解释说：“贵客户通过智能手机提出申请，而且是苹果手机最新的机型。根据分析数百万份过去的贷款申请，敝行的算法发现一个规律——使用苹果手机最新机型的申请者，还款的可能性高0.08%。因此，算法已为该客户的总分加了8分。然而，贵客户在申请时，手机电量已降至17%。根据分析数百万份过去的贷款申请，敝行算法发现另一个规律——允许智能手机电量低于25%的客户，还款可能性会降低0.5%。因此，算法已为该客户的总分扣50分。”

你可能觉得银行太莫名其妙了，并抱怨说：“光是因为我的手机电量低，就拒绝核发贷款，这合理吗？”但这种说法实在是误会。银行会解释：“电量并不是唯一的因素，那只是敝行算法考虑的1000个因素里面的一个而已。”

“可是你们的算法难道没看到，我在过去10年里只透支过两次？”

“算法显然注意到了这一点，”银行可能会这样回答：“请看第453页。您在这里得到了300分。是其他所有因素的作用，才让您最后的总分为-378分。”

这种做决定的方式，虽然对我们来说可能很陌生，但显然也有些潜在的优势。一般来说，做决定的时候能考虑到所有相关的因素，而不是只看一两项比较突出的事实，通常都是好事。当然，究竟哪些信息才算“相关”，还有很大的争论空间。核发贷款的时候，由谁决定智能手机型号或申请人肤色这些信息与贷款申请是否相关？然而，不论我们如何定义相关性，“能够考虑更多因素”应该都是好事。事实上，许多人类的偏见正是因为只专注于一两个因素（例如肤色、性别或是否残疾），而忽略了其他信息。银行与其他机构之所以越来越喜欢用算法做决策，正是因为算法能够比人类将更多因素纳入考量。

但到了要给出解释的时候，就会出现可能难以克服的障碍。对于一项参考了这么多因素所做出的决定，人类的心智要怎么加以评估分析？我们很可能会觉得，威斯康星州最高法院实在应该要求Northpointe公司披露COMPAS判定埃里克·卢米斯具有高犯罪风险的过程细节。但就算真的披露了所有资料，卢米斯和法官又真的能理解吗？

这里的问题还不只是有大量的因素需要考量，或许最重要的是，我们无法理解算法是怎么从数据里找出规律模式并决定如何配分的。就算我们知道银行算法会找出允许智能手机电量低于25%的人，并给这些人扣掉一定的分数，我们要怎么判断这公不公平？毕竟并不是人类工程师写了这条规则要求算法照办，而是算法分析了过去几百万份贷款申请，从中发现规律模式，才得出了这样的结论。难道光凭贷款申请人自己就能去检查所有资料，判断这种规律模式是否真的公正可靠吗？

然而，在这片数字乌云的背后，其实还有一片灿烂的阳光。虽然一般人确实无法独力去检视那些复杂的算法，但专家团队在人工智能工具的协助下，评估算法的决策是否公平，其结果可能比人类评估人类的决策是否公平来得更可靠。毕竟，虽然人类的决策表面上基于我们意识到的那几个数据点，但是人类的潜意识会受到成千上万其他数据点的影响。虽然每个决定都是大脑里几十亿个神经元互动之后的结果，但由于我们并未意识到那些潜意识，因此一旦去回想或解释，我们就常常只会从单一数据点来加以说明。这样一来，要是有一位人类法官判处我们6年有期徒刑，我们（或法官）要怎样才能确定这项判决真的是出于公正的考量，而没有受到半点潜意识中的种族歧视，甚至是法官当时肚子饿的影响？

对有血有肉的法官来说，至少以目前的生物学知识，这个问题是无解的。相较之下，如果是由算法来做出决定，理论上我们还是能够得知其中所有的考量因素，以及每个因素被赋予了多大的权重。从美国司法部到非营利新闻机构ProPublica的多个专家团队，都对COMPAS进行了仔细的拆解分析，想了解其中究竟可能有怎样的偏差。这些团队不但能发挥众人合作之力，甚至还能利用计算机的力量。就像是做贼的往往最知道怎么去抓贼，所以我们也大可用算法来审查算法。

这又会带出一个问题：要怎样才能确定那个负责审查的算法本身没有毛病？这是个先有蛋还是先有鸡的问题，到头来并不会有一个单纯的技术上的解决方案。不论研发了怎样的技术，人类都必须维持官僚机构制度，由人类负责审核算法，决定要不要盖下那个许可的印章。这些机构制度将结合人类与计算机的力量，确保新的算法系统安全公正。要是没有这样的机构制度，就算我们通过了让人类有权得到解释的法规，甚至施行了禁止计算机偏差的规定，又有谁能够真正加以执行？

为了审查算法，监管机构除了要进行分析，还得把各项发现翻译成人类能听懂的故事。否则，我们有可能永远不会相信这些监管机构，反而相信各种阴谋论与魅力领袖。正如第三章所说，人类一直很难理解官僚制度，因为官僚制度唱的就不是人类那套生物戏剧，大多数艺术家也没有意愿或能力来呈现各种官僚戏剧。举例来说，即使是在描述21世纪政治的小说、电影与电视剧中，重点通常也是少数权贵家族的恩怨情仇，似乎如今国家的治理方式与古代部落及王朝没有两样。艺术领域对王朝生物戏剧的依依不舍，让人看不到近几个世纪以来再实际不过的权力变化。

随着计算机慢慢取代人类从事官僚与编造神话的工作，权力的深层结构将再次改变。民主制度如果想生存，不但需要有专门的官僚机构来审查这些新结构，还需要有艺术家能以平易近人、寓教于乐的方式加以解释。一个绝佳的范例，是系列科幻电视剧《黑镜》第三季里的《急转直下》这一集。

《急转直下》拍摄于2016年，当时还没什么人听过所谓的社会信用体系，但它已经能让人充分了解这种体系的运作方式与可能造成的威胁。故事的主角拉西和弟弟莱恩同住，想之后搬进自己的公寓。如果想得到新公寓的租金折扣，她的社会信用分数得从4.2提高到4.5（满分5分）。如果有高分的朋友，她的分数就会水涨船高，所以拉西试着跟现在有4.8分的儿时朋友纳奥米恢复联络。拉西受邀参加纳奥米的婚礼，但她在路上不小心打翻了一位高分人士的咖啡，这让她被扣了一点儿分数，不再符合航空公司的购票资格要求。在这之后，她可以说是噩运连连，分数急转直下，最后剩下不到1分，她也被关进了监狱。

这个故事里有一些传统生物戏剧的元素，例如“男孩遇见女孩”（婚礼）、手足竞争（拉西与莱恩之间的紧张关系），以及最重要的地位竞争（本集主线）。但故事真正的主角其实不是拉西或纳奥米，而是社会信用体系背后那套看不见的算法。这套算法彻底改变了传统生物戏剧的动态，特别是关于地位竞争的动态。在过去，虽然人类偶尔也需要竞争地位，但在这种高压情境下还是常常能找到机会喘口气，休息一下。然而，无处不在的社会信用算法抹杀了这样的休息机会。《急转直下》并不是一个关于生物需要竞争地位的那种老掉牙的故事，而是有先见之明，探讨在科技改变地位竞争规则之后人类可能面临的情境。

如果官僚与艺术家学会如何合作，而且都能运用计算机加以协助，就有可能避免计算机网络彻底变得高深莫测。只要民主社会能够了解计算机网络，社会的自我修正机制就是防止人工智能遭到滥用的最佳方法。因此，欧盟于2021年提出的《人工智能法案》特别指出，类似《急转直下》里的这种社会信用体系，将被列为少数几种必须完全禁止的人工智能类型，原因是这可能会“导致歧视的结果，使某些群体遭到排斥”，以及“可能侵犯人类拥有尊严与不受歧视的权利，违反平等与正义的价值观”。就像前面提过的全面监控制度一样，虽然我们有能力打造出一套社会信用体系，但并不代表我们有必要打造这样的体系。

新的计算机网络对民主制度的最后一个威胁不是形成数字极权，而是促成数字无政府状态。民主制度的去中心化性质以及强大的自我修正机制虽然能够抵御极权制度，但也让维持秩序的难度增加。民主制度的运作必须满足两个条件：能针对关键议题进行自由的公共对话，能维持最低限度的社会秩序与制度信任。而自由的对话绝不能落入无政府状态。特别是在处理紧急而重要的问题时，进行公共辩论必须有一套公认的规则，也必须有合法的机制以保障某种最终决定的达成（即使没有办法让所有人都满意）。

在报纸、广播与其他现代信息技术出现之前，大规模社会无法既有自由辩论，又有制度信任，也就不可能出现大规模的民主。现在随着新计算机网络的崛起，大规模民主是否会再次变成一件不可能的事？难处之一，在于计算机网络让人更容易参与辩论。在过去，报纸、广播与各大政党这样的组织扮演了守门人的角色，决定公共领域会出现哪些人的声音。社交媒体削弱了这些守门人的权力，于是公共对话变得更为开放，但也更加走向无政府状态。

每次有新的群体加入对话，除了会带来新的观点与关注，还常常会推翻关于如何辩论、如何做出决定的共识，于是就得重新协商整套对话规则。这样的发展可能很正面，能让整个民主制度更具包容性，毕竟民主就该修正过去的偏误，让过去权利遭到剥夺的人重新参与公共对话。然而就短期而言，这种做法会造成干扰与不和谐。而且，如果对于如何公开辩论、如何做出决定迟迟无法达成共识，结果就不是民主，而是无政府状态。

我们特别担心人工智能可能造成无政府状态，是因为人工智能除了会让新的人类群体加入公开辩论，还在历史上第一次让民主必须应对各种来自非人类的杂音。在许多社交媒体平台上，机器人程序虽然还是少数，但已经占了相当的比例。一项分析估计，在2016年美国大选期间产生的2000万条推文中，有380万条（将近20%）是由机器人程序生成的。

21世纪20年代初，情况继续恶化。根据2020年的一项研究，目前所有推文的43.2%由机器人程序产生。数据分析工具Similarweb 2022年的一项更全面的研究发现，机器人程序可能只占推特用户的5%，但却“发布了20.8%~29.2%的推特内容”。在人类想要讨论一些重要问题的时候（例如该选谁当美国总统），如果听到的声音有一大部分来自计算机，会出现什么情况？

另一个让人担心的趋势在于内容。人类最早使用机器人程序影响公众舆论的时候，靠的只是它能大量传播信息，以量取胜。当时的机器人程序只能等到人类制作出内容，才能加以转发或推荐，无法自行创造新的想法，也无法与人类建立亲密感。然而，ChatGPT这种全新的生成式人工智能工具完全能够做到这些事。在2023年发表于《科学进步》（Science Advances）期刊的一项研究中，研究者请人类与ChatGPT针对疫苗、5G技术、气候变化与演化等议题，同时写出正确或刻意要造成误导的短文。接着，他们让700位受试者阅读这些短文，请受试者评估其可靠性。结果发现，同样是不实信息，如果是人类捏造的，我们一看就知道是假的，但如果是人工智能捏造的，我们却很容易信以为真。

这样一来，如果有数百万甚至数十亿个具备高度智能的机器人程序，它们不仅能写出极具说服力的政治宣言，创造出深度伪造的图像与影片，还能够赢得我们的信任与友谊，到那时民主辩论会变成什么模样？要是我在网络上与人工智能进行政治辩论，想要改变人工智能的观点只会是浪费时间。人工智能是一个无意识的实体，并不真的关心政治，也不能真的投票选举。然而，我与人工智能谈得越多，它就越了解我，于是能够得到我的信任，不断改进它的论点，也慢慢改变我的观点。在这种争夺人心的战斗中，亲密感是一种极为强大的武器。在过去，各个政党虽然能够吸引我们的注意力，却很难大规模产生亲密感。广播设备虽然能让几百万人听到领导人说了什么，却无法让领导人和听众变成朋友。但如今，政党（甚至外国政府）却能部署一支机器人程序大军，和几百万名公民建立友谊，再运用这样的亲密感来影响公民的世界观。

最后，算法不但成了对话里的成员，而且开始操控对话。社交媒体允许新加入的人类群体挑战过去的辩论规则，但在协商新规则的时候，情况已经不由人类来掌控，正如我们前面对社交媒体算法的分析所示，规则常常是由算法制定的。在19世纪和20世纪，媒体大亨们也曾经审查某些观点、宣传另一些观点。虽然这或许也曾对民主制度造成危害，但至少这些媒体大亨都还是人，我们也能以民主机制来监督他们的决定。但如果我们允许我们无力监督的算法决定传播哪些观点，情况就会危险得多。

如果操纵人心的机器人程序与我们无力监督的算法开始主导公共对话，民主辩论制度就可能在我们最需要它的时候彻底崩溃。面对新科技的迅速发展，人类需要做出各种重大决定，但公共领域却可能被计算机生成的假新闻淹没，公民无法分辨自己辩论的对象是人类还是机器，而且就连最基本的讨论规则或事实都无法达成共识。这种处于无政府状态下的信息网络，既不能找出真相，也无法维持秩序，注定撑不了多久。而一旦陷入无政府状态，人民宁可牺牲自由来换取某种确定性，独裁政权或许就会产生。

面对算法对民主对话的威胁，民主制度也不是无计可施。民主制度能够也应该做的，就是对人工智能加以规范，避免人工智能散播假新闻，污染人类的信息网络。哲学家丹尼尔·丹尼特建议，货币市场的传统规范方式可作为借鉴。自硬币与纸币发明以来，技术上一直都有制造假币的可能性。假币的存在会破坏人民对货币的信任，威胁金融体系的生存。如果假币充斥市场，金融体系就会崩溃。金融体系存活数千年，其自保方式正是制定法律打击假币，压低假币在流通货币当中的比例，维持人民对货币的信任。

用来处理假币的道理，应该同样适用于处理假冒人类的问题。要是政府在假币的处理上态度坚决，认为有必要保护人民对货币的信任，此时也该以同样坚决的态度，保护人民对人类的信任。在人工智能兴起之前，人类就有可能假冒他人身份，而且社会对这种诈骗行为绝不宽恕。但社会过去并没想过要立法禁止“假冒人类”这种问题，因为过去没有假冒人类的技术。时至今日，既然人工智能有了假冒人类的能力，就有可能破坏人类彼此的信任，使社会结构遭到破坏。因此丹尼特建议，政府应该果断立法禁止假冒人类，就像过去禁止伪造货币一样。

法律不但应该禁止深度伪造特定的真实人物（如制作假的美国总统的视频），同时还应该禁止非人类行为者冒充人类。如果有人说这种严格的规定侵犯了言论自由，我们应该提醒他们，机器人程序并没有言论自由。禁止人类使用公共平台是敏感的行为，民主制度对于这种行为的审查制度应该格外谨慎。但禁止机器人程序是个再简单不过的议题：这不会侵犯任何人的权利，因为机器人程序并不拥有任何权利。

这并不代表民主制度必须禁止所有机器人程序、算法与人工智能参与所有讨论。许多对话都欢迎各种数字工具加入，但前提是不要假冒为人。举例来说，人工智能医生可能对人类非常有帮助，可以每天24小时注意我们的健康状况，根据每个人的健康状况与个性量身打造医疗建议，并且有无限的耐心来回答我们的问题。然而，人工智能医生永远不该假装自己是人。

民主制度另一项可以采取的重要措施，是禁止算法在无人监督的情况下对关键的公共辩论进行筛选和管理。当然，我们还是可以继续使用算法来运行各种社交媒体，毕竟这种工作显然不是人类力所能及的。然而，算法究竟根据怎样的原则来决定要屏蔽哪些声音、放大哪些声音，都必须经过人类的审查。审查真实的人类观点，绝对需要小心谨慎，但我们可以做的是阻止算法刻意散播愤怒的情绪。至少对于算法是依据怎样的原则来进行筛选，企业应该保持透明。要是企业用愤怒来吸引我们的注意力，就得清楚坦陈自己的商业模式，以及背后可能存在的政治连接。如果算法会系统性地屏蔽与该企业立场不同的视频，用户也该有权得知。

近年来已经有许多人提出想法，对民主制度该如何监督机器人程序与算法进入公共对话建言献策，这里提到的只是一小部分。当然，每种方式都各有优缺点，做起来也都不简单。而且因为科技发展如此迅速，各种法规可能很快就会过时。我在这里想说的是民主制度绝对可以对信息市场加以规范，而且民主制度的存亡也正取决于此。天真的信息观反对监管，认为全然自由的信息市场会自然而然产生真相与秩序。但这与民主的实际历史完全是两回事。维护民主对话从来都不是件容易的事，过去所有的民主对话场域（从国会与市政厅到报纸与广播）也都需要监管，而在一个非人类智能可能主导对话的时代，监管更应加强。

在人类历史上的大部分时间里，信息技术都不够先进，无法进行大规模的政治对话，也就培养不出广泛的民主制度。在过去，如果几百万人分布于几万平方千米的土地，没有工具能够让他们即时讨论各种公共事务。但讽刺的是，现在反而有可能因为信息技术变得太先进而让民主制度戛然而止。要是高深莫测的算法主导了政治对话，特别是压制有理有据的主张、刻意煽动仇恨与制造混淆，公众讨论就无以为继。然而，民主制度如果真的崩溃，应该并不是出于技术上的必然，而是因为人类没能管好新技术的发展。

我们无法预测事情的发展，但显然目前许多民主国家的信息网络正在崩溃。在美国，民主党与共和党甚至在基本的事实上都会出现意见分歧（例如，究竟是谁赢得了2020年总统大选），也几乎无法再进行文明对话。国会的两党合作曾经是美国政治的基本特征，但现在几乎再也看不到这种情形。而从菲律宾到巴西，许多其他民主国家也都逐渐走向极端。一旦公民无法相互交谈，把对方视为彻底的仇敌，而不只是政治上的对手，民主制度就难以继续。

没有人确切知道，究竟是什么原因导致民主信息网络的崩溃。有人说是因为意识形态的分歧，但事实上，在民主制度功能失调的国家，意识形态的分歧似乎并不比过去严重。在20世纪60年代，美国就曾经在民权运动、性革命、越战、冷战等议题上出现严重的意识形态冲突，造成严重分裂。虽然当时的紧张局势使政治暴力与暗杀事件数量激增，但共和党与民主党仍然能对选举结果达成共识，同样相信法院这样的民主机构，在国会也至少能就部分议题携手合作。1964年，《民权法案》就是在民主党46票、共和党27票的支持下在参议院通过的。难道21世纪20年代的意识形态分歧比20世纪60年代严重那么多吗？如果不是意识形态，又是什么因素让大家渐行渐远？

很多人把问题归咎于社交媒体的算法。前面的章节已经谈过社交媒体会如何造成分裂，然而虽然证据确凿，却肯定还有其他因素的影响。事实上，虽然我们清楚地看见民主信息网络正在崩溃，却找不出确切的原因。这件事本身就成了一个时代特征。信息网络已经变得如此复杂，而且非常依赖各种不透明的算法做出的决策与存在于计算机之间的实体，结果就是人类甚至很难回答一个最基本的政治问题：我们斗成这样，究竟是为什么？

要是我们没办法找出问题，加以修复，随着科技的发展，大规模的民主制度或许就会无以为继。如果事情真的这样发展下去，接下来又会是什么政治体制取代民主成为主流？未来属于极权政权吗？计算机会让极权制度同样走不下去吗？我们接下来就会看到，人类独裁者也有害怕人工智能的理由。

1、Andreessen, “Why AI Will Save the World.”; Ray Kurzweil, The Singularity Is Nearer:When We Merge with AI (London: The Bodley Head, 2024).

2、Laurie Laybourn-Langton, Lesley Rankin, and Darren Baxter, This Is a Crisis: Facing Up to the Age of Environmental Breakdown, Institute for Public Policy Research, Feb. 1, 2019, 12,www.jstor.org/stable/resrep21894.5.

3、Kenneth L. Hacker and Jan van Dijk, eds., Digital Democracy: Issues of Theory and Practice(New York: Sage, 2000); Anthony G. Wilhelm, Democracy in the Digital Age: Challenges to Political Life in Cyberspace (London: Routledge, 2002); Elaine C. Kamarck and Joseph S. Nye, eds., Governance.com: Democracy in the Information Age (London: Rowman& Littlefield, 2004); Zizi Papacharissi, A Private Sphere: Democracy in a Digital Age(Cambridge, U.K.: Polity, 2010); Costa Vayenas, Democracy in the Digital Age (Cambridge,U.K.: Arena Books, 2017); Giancarlo Vilella, E-democracy: On Participation in the Digital Age (Baden-Baden: Nomos, 2019); Volker Boehme-Nessler, Digitising Democracy: On Reinventing Democracy in the Digital Era — a Legal, Political, and Psychological Perspective (Berlin: Springer Nature, 2020); Sokratis Katsikas and Vasilios Zorkadis, E-democracy:Safeguarding Democracy and Human Rights in the Digital Age (Berlin: Springer International, 2020).

4、Thomas Reuters Popular Law, “Psychotherapist-Patient Privilege,” uk.practicallaw.thomsonreuters.com/6-522-3158; U.S. Department of Health and Human Services,“Minimum Necessary Requirement,” www.hhs.gov/hipaa/for-professionals/privacy/guidance/minimum-necessary-requirement/index.html; European Association for Psychotherapy, “EAP Statement on the Legal Position of Psychotherapy in Europe,” January 2021, available at www.europsyche.org/app/uploads/2021/04/Legal-Position-of-Psychotherapy-in-Europe-2021Final.pdf.

5、Marshall Allen, “Health Insurers Are Vacuuming Up Details About You — and It Could Raise Your Rates,” ProPublica, July 17, 2018, www.propublica.org/article/health-insurers-are vacuuming-up-details-about-you-and-it-could-raise-your-rates.

6、Jannik Luboeinski and Christian Tetzlaff, “Organization and Priming of Long-Term Memory Representations with Two-Phase Plasticity,”Cognitive Computation 15, no. 4(2023): 1211–30.

7、Muhammad Imran Razzak, Muhammad Imran, and Guandong Xu, “Big Data Analytics for Preventive Medicine,”Neural Computing and Applications 32 (2020): 4417–51;Gaurav Laroia et al., “A Unified Health Algorithm That Teaches Itself to Improve Health Outcomes for Every Individual: How Far into the Future Is It?,”Digital Health 8 (2022),article 20552076221074126.

8、Nicholas H. Dimsdale, Nicholas Horsewood, and Arthur Van Riel, “Unemployment in Interwar Germany: An Analysis of the Labor Market, 1927–1936,”Journal of Economic History 66, no. 3 (2006): 778–808.

9、Hubert Dreyfus, What Computers Can’t Do (New York: Harper and Row, 1972). 也请参见：Brett Karlan, “Human Achievement and Artificial Intelligence,”Ethics and Information Technology 25 (2023), article 40, doi.org/10.1007/s10676-023-09713-x; Francis Mechner,“Chess as a Behavioral Model for Cognitive Skill Research: Review of Blindfold Chess by Eliot Hearst and John Knott,”Journal of Experimental Analysis Behavior 94, no. 3(Nov. 2010): 373–86, doi:10.1901/jeab.2010.94-373; Gerd Gigerenzer, How to Stay Smart in a Smart World: Why Human Intelligence Still Beats Algorithms (Cambridge, Mass.: MIT Press, 2022), 21.

10、Eda Ergin et al., “Can Artificial Intelligence and Robotic Nurses Replace Operating Room Nurses? The Quasi-experimental Research,”Journal of Robotic Surgery 17, no. 4(2023): 1847–55; Nancy Robert, “How Artificial Intelligence Is Changing Nursing,”Nursing Management 50, no. 9 (2019): 30–39; Aprianto Daniel Pailaha, “The Impact and Issues of Artificial Intelligence in Nursing Science and Healthcare Settings,”SAGE Open Nursing 9(2023), article 23779608231196847.

11、Erik Cambria et al., “Seven Pillars for the Future of Artificial Intelligence,”IEEE Intelligent Systems 38 (Nov.–Dec. 2023): 62–69; Marcus du Sautoy, The Creativity Code: Art and Innovation in the Age of AI (Cambridge, Mass.: Belknap Press of Harvard University Press, 2019); Brinkmann et al., “Machine Culture.”

12、关于人类如何识别不同情绪，请参见：Tony W. Buchanan, David Bibas, and Ralph Adolphs, “Associations Between Feeling and Judging the Emotions of Happiness and Fear:Findings from a Large-Scale Field Experiment,”PLOS ONE 5, no. 5 (2010), article 10640,doi.org/10.1371/journal.pone.0010640; Ralph Adolphs, “Neural Systems for Recognizing Emotion,”Current Opinion in Neurobiology 12, no. 2 (2002): 169–77; Albert Newen, Anna Welpinghus, and Georg Juckel, “Emotion Recognition as Pattern Recognition: The Relevance of Perception,”Mind and Language 30, no. 2 (2015): 187–208; Joel Aronoff, “How We Recognize Angry and Happy Emotion in People, Places, and Things,”Cross-Cultural Research 40, no. 1 (2006): 83–105. 关于人工智能与情绪识别，请参见：Smith K. Khare et al., “Emotion Recognition and Artificial Intelligence: A Systematic Review (2014–2023) and Research Recommendations,”Information Fusion 102 (2024), article 102019, doi.org/10.1016/j.inffus.2023.102019.

13、Zohar Elyoseph et al., “ChatGPT Outperforms Humans in Emotional Awareness Evaluations,”Frontiers in Psychology 14 (2023), article 1199058.

14、John W. Ayers et al., “Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum,”JAMA Internal Medicine 183, no. 6 (2023): 589–96, jamanetwork.com/journals/jamainternalmedicine/article-abstract/2804309.

15、Seung Hwan Lee et al., “Forgiving Sports Celebrities with Ethical Transgressions: The Role of Parasocial Relationships, Ethical Intent, and Regulatory Focus Mindset,”Journal of Global Sport Management 3, no. 2 (2018): 124–45.

16、Karlan, “Human Achievement and Artificial Intelligence.”

17、参见尤瓦尔·赫拉利《未来简史》第3章：Harari, Homo Deus, chap. 3.

18、Hazony, Conservatism, 3.

19、Bureau of Labor Statistics, “Historical Statistics of the United States, Colonial Times to 1970,Part I,”Series D 85–86 Unemployment: 1890—1970 (1975), 135; Curtis J. Simon, “The Supply Price of Labor During the Great Depression,”Journal of Economic History 61, no. 4(2001): 877–903; Vernon T. Clover, “Employees’ Share of National Income, 1929–1941,”Fort Hays Kansas State College Studies: Economics Series 1 (1943): 194; Stanley Lebergott,“Labor Force, Employment, and Unemployment, 1929–39: Estimating Methods,”Monthly Labor Review 67, no. 1 (1948): 51; Robert Roy Nathan, National Income, 1929–36, of the United States (Washington, D.C.: U.S. Government Printing Office, 1939), 15 (table 3).

20、David M. Kennedy, “What the New Deal Did,”Political Science Quarterly 124, no. 2(2009): 251–68.

21、William E. Leuchtenburg, In the Shadow of FDR: From Harry Truman to Barack Obama(Ithaca, N.Y.: Cornell University Press, 2011), 48–49.

22、Suleyman, Coming Wave.

23、Michael L. Birzer and Richard B. Ellis, “Debunking the Myth That All Is Well in the Home of Brown v. Topeka Board of Education: A Study of Perceived Discrimination,”Journal of Black Studies 36, no. 6 (2006): 793–814.

24、United States Supreme Court, Brown v. Board of Education, May 17, 1954, available at:www.archives.gov/milestone-documents/brown-v-board-of-education#transcript.

25、“State v. Loomis: Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing,”Harvard Law Review 130 (2017): 1530–37.

26、Rebecca Wexler, “When a Computer Program Keeps You in Jail: How Computers Are Harming Criminal Justice,”New York Times, June 13, 2017, www.nytimes.com/2017/06/13/opinion/how-computers-are-harming-criminal-justice.html; Ed Yong, “A Popular Algorithm Is No Better at Predicting Crimes Than Random People,”Atlantic , Jan. 17, 2018, www.theatlantic.com/technology/archive/2018/01/equivant-compas-algorithm/550646/.

27、Mitch Smith, “In Wisconsin, a Backlash Against Using Data to Foretell Defendants’Futures,”New York Times, June 22, 2016, www.nytimes.com/2016/06/23/us/backlash-in wisconsin-against-using-data-to-foretell-defendants-futures.html.

28、Eric Holder, “Speech Presented at the National Association of Criminal Defense Lawyers 57th Annual Meeting and 13th State Criminal Justice Network Conference,Philadelphia, PA,”Federal Sentencing Reporter 27, no. 4 (2015): 252–55; Sonja B. Starr,“Evidence-Based Sentencing and the Scientific Rationalization of Discrimination,”Stanford Law Review 66, no. 4 (2014): 803–72; Cecelia Klingele, “The Promises and Perils of Evidence-Based Corrections,”Notre Dame Law Review 91, no. 2 (2015): 537–84; Jennifer L. Skeem and Jennifer Eno Louden, “Assessment of Evidence on the Quality of the Correctional Offender Management Profiling for Alternative Sanctions (COMPAS),”Center for Public Policy Research, Dec. 26, 2007, cpb-us-e2.wpmucdn.com/sites.uci.edu/dist/0/1149/files/2013/06/CDCR-Skeem-EnoLouden-COMPASeval-SECONDREVISION final-Dec-28-07.pdf; Julia Dressel and Hany Farid, “The Accuracy, Fairness, and Limits of Predicting Recidivism,”Science Advances 4, no. 1 (2018), article eaao5580; Julia Angwin et al., “Machine Bias,” ProPublica, May 23, 2016, www.propublica.org/article/machine bias-risk-assessments-in-criminal-sentencing. 然而，也请参见：Sam Corbett-Davies et al., “A Computer Program Used for Bail and Sentencing Decisions Was Labeled Biased Against Blacks: It’s Actually Not That Clear,”Washington Post, Oct. 17, 2016, www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our analysis-is-more-cautious-than-propublicas.

29、“卢米斯诉威斯康星州案：威斯康星州最高法院要求算法在进行犯罪风险评估之前必须发出警告。”

30、Seena Fazel et al., “The Predictive Performance of Criminal Risk Assessment Tools Used at Sentencing: Systematic Review of Validation Studies,”Journal of Criminal Justice 81 (2022),article 101902; Jay Singh et al., “International Perspectives on the Practical Application of Violence Risk Assessment: A Global Survey of 44 Countries,”International Journal of Forensic Mental Health 13, no. 3 (2014): 193–206; Melissa Hamilton and Pamela Ugwudike,“A ‘Black Box’ AI System Has Been Influencing Criminal Justice Decisions for over Two Decades — It’s Time to Open It Up,” The Conversation, July 26, 2023, theconversation.com/a-black-box-ai-system-has-been-influencing-criminal-justice-decisions-for-over-two-decades its-time-to-open-it-up-200594; Federal Bureau of Prisons, “PATTERN Risk Assessment,”accessed Jan. 11, 2024, www.bop.gov/inmates/fsa/pattern.jsp.

31、Manish Raghavan et al., “Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices,” in Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency (2020): 469–81; Nicol Turner Lee and Samantha Lai, “Why New York City Is Cracking Down on AI in Hiring,” Brookings Institution, Dec. 20, 2021, www.brookings.edu/articles/why-new-york-city-is-cracking-down-on-ai-in-hiring/; Sian Townson, “AI Can Make Bank Loans More Fair,”Harvard Business Review, Nov. 6, 2020, hbr.org/2020/11/ai can-make-bank-loans-more-fair; Robert Bartlett et al., “Consumer-Lending Discrimination in the FinTech Era,”Journal of Financial Economics 143, no. 1 (2022): 30–56; Mugahed A. Al-Antari, “Artificial Intelligence for Medical Diagnostics — Existing and Future AI Technology!,”Diagnostics 13, no. 4 (2023), article 688; Thomas Davenport and Ravi Kalakota, “The Potential for Artificial Intelligence in Healthcare,”Future Healthcare Journal 6, no. 2 (2019): 94–98.

32、European Commission, “Can I Be Subject to Automated Individual Decision-Making,Including Profiling?,” accessed Jan. 11, 2024, commission.europa.eu/law/law-topic/data protection/reform/rights-citizens/my-rights/can-i-be-subject-automated-individual-decision making-including-profiling_en.

33、Suleyman, Coming Wave, 54.

34、Brinkmann et al., “Machine Culture.”

35、Suleyman, Coming Wave, 80. 也请参见：Tilman Räuker et al., “Toward Transparent AI:A Survey on Interpreting the Inner Structures of Deep Neural Networks,” 2023 IEEE Conference on Secure and Trustworthy Machine Learning (SaTML), Feb. 2023, 464–83,doi:10.1109/SaTML54575.2023.00039.

36、Adele Atkinson, Chiara Monticone, and Flore-Anne Messi, OECD/INFE International Survey of Adult Financial Literacy Competencies (Paris: OECD, 2016), web-archive.oecd.org/2018-12-10/417183-OECD-INFE-International-Survey-of-Adult-Financial-Literacy Competencies.pdf.

37、DODS, “Parliamentary Perceptions of the Banking System,” July 2014, positivemoney.org/wp-content/uploads/2014/08/Positive-Money-Dods-Monitoring-Poll-of-MPs.pdf.

38、Jacob Feldman, “The Simplicity Principle in Human Concept Learning,”Current Directions in Psychological Science 12, no. 6 (2003): 227–32; Bethany Kilcrease, Falsehood and Fallacy: How to Think, Read, and Write in the Twenty-First Century (Toronto: University of Toronto Press, 2021), 115; Christina N. Lessov-Schlaggar, Joshua B. Rubin, and Bradley L.Schlaggar, “The Fallacy of Univariate Solutions to Complex Systems Problems,”Frontiers in Neuroscience 10 (2016), article 267.

39、D’Ignazio and Klein, Data Feminism, 54.

40、Tobias Berg et al., “On the Rise of FinTechs: Credit Scoring Using Digital Footprints,”Review of Financial Studies 33, no. 7 (2020): 2845–97, doi.org/10.1093/rfs/hhz099.

41、Tobias Berg et al., “On the Rise of FinTechs: Credit Scoring Using Digital Footprints,”Review of Financial Studies 33, no. 7 (2020): 2845–97, doi.org/10.1093/rfs/hhz099; Lin Ma et al., “A New Aspect on P2P Online Lending Default Prediction Using Meta-level Phone Usage Data in China,”Decision Support Systems 111 (2018): 60–71; Li Yuan, “Want a Loan in China? Keep Your Phone Charged,”Wall Street Journal, April 6, 2017, www.wsj.com/articles/want-a-loan-in-china-keep-your-phone-charged-1491474250.

42、Brinkmann et al., “Machine Culture.”

43、Jesse S. Summers, “Post Hoc Ergo Propter Hoc : Some Benefits of Rationalization,”Philosophical Explorations 20, no. 1 (2017): 21–36; Richard E. Nisbett and Timothy D. Wilson, “Telling More Than We Can Know: Verbal Reports on Mental Processes,”Psychological Review 84, no. 3 (1977): 231; Daniel M. Wegner and Thalia Wheatley,“Apparent Mental Causation: Sources of the Experience of Will,”American Psychologist 54,no. 7 (1999): 480–92; Benjamin Libet, “Do We Have Free Will?,”Journal of Consciousness Studies 6, no. 8–9 (1999): 47–57; Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,”Psychological Review 108, no. 4(2001): 814–34; Joshua D. Greene, “The Secret Joke of Kant’s Soul,”Moral Psychology 3(2008): 35–79; William Hirstein, ed., Confabulation: Views from Neuroscience, Psychiatry,Psychology, and Philosophy (New York: Oxford University Press, 2009); Michael Gazzaniga,Who’s in Charge? Free Will and the Science of the Brain (London: Robinson, 2012); Fiery Cushman and Joshua Greene, “The Philosopher in the Theater,” in The Social Psychology of Morality: Exploring the Causes of Good and Evil, ed. Mario Mikulincer and Phillip R. Shaver(Washington, D.C.: APA Press, 2011), 33–50.

44、Shai Danziger, Jonathan Levav, and Liora Avnaim-Pesso, “Extraneous Factors in Judicial Decisions,”Proceedings of the National Academy of Sciences 108, no. 17 (2011): 6889–92;Keren Weinshall-Margel and John Shapard, “Overlooked Factors in the Analysis of Parole Decisions,”Proceedings of the National Academy of Sciences 108, no. 42 (2011), article E833.

45、Julia Dressel and Hany Farid, “The Accuracy, Fairness, and Limits of Predicting Recidivism,”Science Advances 4, no. 1 (2018), article eaao5580; Klingele, “Promises and Perils of Evidence-Based Corrections”; Alexander M. Holsinger et al., “A Rejoinder to Dressel and Farid: New Study Finds Computer Algorithm Is More Accurate Than Humans at Predicting Arrest and as Good as a Group of 20 Lay Experts,”Federal Probation 82(2018): 50–55; D’Ignazio and Klein, Data Feminism, 53–54.

46、The EU Artificial Intelligence Act, European Commission, April 21, 2021,artificialintelligenceact.eu/the-act/. 该法案规定：“以下人工智能业务应予以禁止：……（c）公共机构或其代表将人工智能系统用于销售、服务或使用，以在一定时间内根据自然人的社会行为，及其已知或预测的个人特征，对其进行评分或分类，其社会评分导致以下其一或两种情形：（i）自然人或其所属群体受到有害或不利对待，且情况与当初生成或收集数据时的情况无关；（ii）导致自然人或其所属群体受到不合理的，或与其社会行为及严重性不成比例的有害或不利对待。”

47、Alessandro Bessi and Emilio Ferrara, “Social Bots Distort the 2016 U.S. Presidential Election Online Discussion,”First Monday 21, no. 11 (2016): 1–14.

48、Luca Luceri, Felipe Cardoso, and Silvia Giordano, “Down the Bot Hole: Actionable Insights from a One-Year Analysis of Bot Activity on Twitter,”First Monday 26, no. 3 (2021),firstmonday.org/ojs/index.php/fm/article/download/11441/10079.

49、David F. Carr, “Bots Likely Not a Big Part of Twitter’s Audience — but Tweet a Lot,”Similarweb Blog , Sept. 8, 2022, www.similarweb.com/blog/insights/social-media-news/twitter-bot-research-news/; “Estimating Twitter’s Bot-Free Monetizable Daily Active Users(mDAU),”Similarweb Blog, Sept. 8, 2022, www.similarweb.com/blog/insights/social-media news/twitter-bot-research/.

50、Giovanni Spitale, Nikola Biller-Andorno, and Federico Germani, “AI Model GPT-3 (Dis) informs Us Better Than Humans,”Science Advances 9, no. 26 (2023), doi.org/10.1126/sciadv.adh1850.

51、Daniel C. Dennett, “The Problem with Counterfeit People,”Atlantic, May 16, 2023, www.theatlantic.com/technology/archive/2023/05/problem-counterfeit-people/674075/.

52、参见：Hannes Kleineke, “The Prosecution of Counterfeiting in Lancastrian England,” in Medieval Merchants and Money: Essays in Honor of James L. Bolton, ed. Martin Allen and Matthew Davies (London: University of London Press, 2016), 213–26; Susan L’Engle, “Justice in the Margins: Punishment in Medieval Toulouse,”Viator 33 (2002): 133–65; Trevor Dean, Crime in Medieval Europe, 1200—1550 (London: Routledge, 2014).

53、Dennett, “Problem with Counterfeit People.”

54、Mariam Orabi et al., “Detection of Bots in Social Media: A Systematic Review,”Information Processing and Management 57, no. 4 (2020), article 102250; Aaron J. Moss et al., “Bots or Inattentive Humans? Identifying Sources of Low-Quality Data in Online Platforms”(preprint, submitted 2021), osf.io/preprints/psyarxiv/wr8ds; Max Weiss, “Deepfake Bot Submissions to Federal Public Comment Websites Cannot Be Distinguished from Human Submissions,”Technology Science , Dec. 17, 2019; Adrian Rauchfleisch and Jonas Kaiser,“The False Positive Problem of Automatic Bot Detection in Social Science Research,”PLOS ONE 15, no. 10 (2020), article e0241045; Giovanni C. Santia, Munif Ishad Mujib,and Jake Ryland Williams, “Detecting Social Bots on Facebook in an Information Veracity Context,”Proceedings of the International AAAI Conference on Web and Social Media 13(2019): 463–72.

55、Drew DeSilver, “The Polarization in Today’s Congress Has Roots That Go Back Decades,”Pew Research Center, March 10, 2022, www.pewresearch.org/short-reads/2022/03/10/the polarization-in-todays-congress-has-roots-that-go-back-decades/; Lee Drutman, “Why Bipartisanship in the Senate Is Dying,” FiveThirtyEight, Sept. 27, 2021, fivethirtyeight.com/features/why-bipartisanship-in-the-senate-is-dying/.

56、Gregory A. Caldeira, “Neither the Purse nor the Sword: Dynamics of Public Confidence in the Supreme Court,”American Political Science Review 80, no. 4 (1986): 1209–26, doi.org/10.2307/1960864.