说到新计算机网络的伦理与政治议题，讨论常常集中于新计算机网络会如何影响民主政权的命运。而专制与极权政权主要被用来当作反乌托邦的例子是“我们”人类如果没有好好管理计算机网络，“我们”可能走向的未来。但到2024年，“我们”人类其实相当部分的人口活在专制或极权政权之下，而且这些政权成立的时间多半是在计算机网络兴起之前。如果真的要了解算法与人工智能对人类的影响，除了该问它们会对美国与巴西这样的民主政体有何影响，也得看看它们对那些专制政体有何意义。

前几章曾解释，前现代时代由于信息技术的限制，不可能出现大规模民主或大规模极权。不论是中国的汉朝还是18世纪沙特阿拉伯的德拉伊耶酋长国，这样的大型政体通常都属于有限的专制政体。到20世纪，新的信息技术让大规模民主与大规模极权都得以兴起，但此时的极权有一个严重劣势：极权政权希望能把所有信息集中到一个中枢来处理。电报、电话、打字机与无线电等技术虽然有利于信息的集中，却无法自行进一步处理信息、做出决策。这还只是人类有能力做的事。

流向中心的信息越多，处理起来就越困难。极权统治者与政党常常会犯下一些代价高昂的错误，而极权制度又欠缺发现并修正这些错误的机制。相较之下，民主制度是将信息（与决策权）分散到许多不同的机构与个人手中，不但能够更有效率地处理大量数据，而且如果某个机构做了错误的决定，其他机构也可以提出修正。

然而，机器学习算法的兴起，可能正是独裁者们已经等了太久的好消息。人工智能让科技力量的天平开始倒向极权制度那一方。就事实来说，人类如果被大量数据淹没，常常就会不知所措、开始犯错，但人工智能在接触大量数据之后，效率却常常越来越高。于是，人工智能似乎也倾向于将信息与决策都集中在一处。

目前即使是在西方国家，谷歌、脸书与亚马逊等少数企业也在各自领域处于垄断地位，一部分原因在于人工智能的天平倒向这些行业巨头。对餐饮这样的传统行业来说，规模算不上是压倒性的优势。以全球连锁的麦当劳为例，它每天为超过5000万人提供餐饮，凭借规模在成本、品牌等方面拥有诸多优势。但你还是可以在麦当劳附近开一间本地餐厅，不用担心活不下去。虽然每天可能只接待200位顾客，但你还是有机会把食物做得比麦当劳更美味，让顾客更满意，成为回头客。

但在信息市场，事情就不一样了。谷歌搜索引擎每天的使用人数为20亿~30亿，一天的总搜索量高达85亿次。假设有一家本地的新兴搜索引擎公司想要与谷歌竞争，只能说门儿也没有。谷歌已经有了几十亿个用户，这让谷歌得以取得更多数据，把算法训练得更好，于是又能吸引到更多的用户，再用来训练下一代的算法，就这样不断循环。因此，2023年谷歌在全球搜索引擎市场的占有率高达91.5%。

想想遗传学的例子。假设几个不同国家的企业都想研发出一套算法，找出基因与各种疾病的关联。新西兰的总人口为500万，而且隐私法规严格，基因数据与医疗记录不易获取。中国有14.1亿人，隐私法规也较为宽松。你觉得哪个国家的企业更有机会研发出一套遗传算法？巴西如果打算购买一套遗传算法，提供给国内的医疗保健体系使用，比起向新西兰购买，它会有强烈的动机选择准确度高得多的中国算法。如果这套中国算法又能用巴西超过2亿人的数据继续精益求精，品质就会越来越好，得到更多国家的青睐。很快地，全球大部分的疾病信息都会流向中国，进而让这套遗传算法完全没有对手。

想把所有信息与权力都集中在一个地方，曾经是20世纪极权政权的致命弱点，但到了人工智能时代却可能成为决定性的优势。与此同时，我们前面也提过，人工智能还能让极权政权建立全面监控制度，使人民几乎不可能反抗。

对于这种极权倾向，有些人相信可以用区块链技术制衡，毕竟区块链在本质上有利于民主、不利于极权。要在区块链系统做决策，需要得到51%的用户的批准。虽然这听起来很民主，但区块链技术有一项致命缺陷，问题出在“用户”这个词。某人如果有10个账号，就会被算成10个用户。如果政府控制了51%的账号，就能自己构成51%的用户。目前在区块链网络已经有一些例子，政府自己就是51%的用户。

如果政府成为区块链51%的用户，它除了能控制区块链的现在，还能控制区块链的过去。从古至今，专制者一直都希望拥有改变过去的权力。罗马皇帝就常常下令进行“记忆抹杀”——把对手与敌人从世人的记忆里抹除。例如皇帝卡拉卡拉，在暗杀了弟弟兼王位竞争对手盖塔之后，就曾经试着抹除所有关于盖塔的记忆。刻有盖塔名字的铭文被凿除，印有盖塔肖像的硬币被熔化，就连提到盖塔的名字都会被判死刑。一幅在那个时代幸存下来的画作《塞维鲁一家圆形画》，绘制于两兄弟的父亲塞普蒂米乌斯·塞维鲁统治期间，原本画了塞维鲁、盖塔两兄弟，以及两兄弟的母亲尤莉亚·多姆娜一家四口。但后来，盖塔的脸不但被削掉，还被抹上排泄物，在原本该是他脸部的位置，法医发现了干燥的粪便碎屑。

至于现代的极权政权，同样对于改变过去乐此不疲。这样大规模的记忆抹除，在当时要耗费大量人力，但在区块链上，要改变过去就容易得多了。政府只要控制了51%的用户，轻轻一按，就能让某些人从历史中完全消失。

虽然人工智能有许多方面有利于中央集权，但专制与极权政权在人工智能面前也并非无往不利。首先，独裁政权并没有控制非生物行为者的经验。专制信息网络是以恐怖统治为基础的，但计算机并不怕被关进监狱或被杀。要是某国互联网上有一个聊天机器人程序提到该国在他国犯下的战争罪行，讲了一个会冒犯该国领导人的笑话，又或者批评了该国的某个政党多么腐败，该政权能对这个聊天机器人程序做什么？特工没办法把这个程序关起来，没办法折磨它，也没办法威胁它的家人。该国政府当然能够封锁或删除这个程序，并且试着去找出并惩罚写出这个程序的人，但总之要比平常教训人民困难多了。

过去，计算机还无法自行生成内容，无法进行有智能的对话，比如在VKontakte和Odnoklassniki这些社交平台上，只有人类有能力提出对政府的异议。然而，如果网络空间被塞进了几百万个机器人程序，都能生成内容、进行对话，还能自行学习与发展，情况将会如何？这些机器人程序的设计者可能是外国人士或异见分子，希望传播不同于官方的想法，而且当局对此或许无计可施。就当局的立场而言，如果在授权机器人程序运作之后，这些程序收集了关于该国现状的各种信息，找出其中的模式，并逐渐自行发展出与政府不同的观点，情况岂不是更糟？

这就是一种一致性问题。虽然人类工程师可以尽最大努力打造出向政府看齐的人工智能，但鉴于人工智能具有自我学习与改变的能力，难保哪天走向政府不乐见的方向。特别有趣的一点在于，正如奥威尔在《一九八四》所解释的，极权信息网络常常都需要依赖双言巧语（doublespeak），例如一些极权国家的宪法会做出许多崇高的承诺，比如“人人均应享有思想及言论自由”“人人均应享有寻求、接收、传递、生产与散播信息的自由”“大众媒体之自由应受保障，不得实施审查制度”等等，但几乎没有人会天真到相信这些承诺的字面意义，而计算机并不懂这样的双言巧语。如果要求聊天机器人程序遵守极权国家的法律与价值观，它可能会在读了宪法之后，认定言论自由是该国的核心价值，而在该国的网络空间待上几天，观察整个国家信息领域发生的种种事情之后，这个聊天机器人程序就可能会开始批评该国的政权违反了言论自由这项核心价值。人类虽然也会注意到这些矛盾，但会因为恐惧而不敢明说。聊天机器人程序却是看到什么说什么，哪有什么不敢说的呢？人类工程师该怎样才能向聊天机器人程序解释，虽然宪法明文保障每位公民的言论自由，禁止实施审查制度，但聊天机器人程序其实不该相信宪法，也不能提理论与现实之间的差距？就像曾经有人跟我说的，在极权国家长大的人，相信问题会带来麻烦。但在训练算法的时候，如果要它相信“问题会带来麻烦”这种原则，算法又要怎么学习与发展？

最后，政府如果采取了某项极为失败的政策，后来又改变心意，常常就会把失败推到别人头上，掩饰自己的过错。而人类又常常是经过惨痛的教训，才能学会忘记那些给自己找麻烦的事实。但我们要怎样才能训练聊天机器人程序，要它赶快忘记那些今天被批得一文不值，但在短短一年前还是国家官方立场的政策？这将是极权政权难以应对的重大技术挑战，特别是在聊天机器人程序越来越强大，也越来越不透明的情况下。

当然，民主政权也会有类似的问题，聊天机器人程序可能会说一些政府所不乐见的话，或者提出一些危险的问题。如果微软或脸书工程师已经尽了最大努力，聊天机器人程序却还是散播种族歧视的言论，该怎么办？民主政权的优势，在于就算真的遇上算法不受控制的情况，处理起来也能够较有余裕。因为民主政体“藏在柜子里的骷髅”可能会少一些，所以就算碰上反民主言论，大体上也能够包容。但极权政权简直就像在柜子里藏了整个见不得光的墓园，因此完全无法承受任何批评，这种时候，会提出异议的机器人程序就会形成极为严重的挑战。

长期而言，极权政权还可能遇上更大的危险：算法并不是仅仅批评这些政权，而是直接控制了这些政权。纵观历史，专制者最大的威胁常常来自下属。第五章提到过，没有哪个罗马皇帝是被民主革命赶下台的，都是被下属推翻或成了傀儡。要是21世纪的专制者把太多权力交给计算机，就有可能成为计算机的傀儡。独裁者最不乐见的，就是创造出比自己更强大的或自己控制不了的力量。

为了说明这一点，请让我以一个有点儿天马行空的思想实验为例，它有点儿像波斯特洛姆提出的“回形针启示”的极权政体版本。想象时间来到2050年，凌晨4点，独裁者被“监控与安全算法”紧急叫醒。“伟大的领袖，我们遇上了一个紧急状况。我通过计算几万亿个数据，发现了绝对无误的模式：国防部长打算在今早对您发动暗杀政变。暗杀小队已经准备就绪，等他下令。但只要您一声令下，我就会发动精准攻击，将他肃清。”

“可是国防部长是我手下最忠诚的人，”独裁者说，“他昨天还跟我说……”

“伟大的领袖，我知道他对您说了什么，这世上没有什么话是我没听过的。但我也知道他后来对暗杀小队说了什么，而且我一直在数据中发现令人不安的模式，已经追踪了好几个月。”

“你确定你没有被深度伪造的数据蒙骗吗？”

“恐怕我所依据的数据都是百分之百真实的，”算法说，“我使用专门的深度伪造检测子算法检查过。虽然我可以详细解释为什么我知道这些不是深度伪造的数据，但可能得花上几个星期。要不是已经确定，我绝不想惊扰您，但所有数据都指向一个绝对的结论：一场政变就在眼前。除非我们现在采取行动，否则暗杀小队一小时后就会抵达。但只要您下令，我就会肃清叛徒。”

独裁者让监控与安全算法拥有这么大的权力，这让他进退两难。如果他不相信算法，就可能被国防部长暗杀；如果他相信算法、肃清国防部长，就成了算法的傀儡。要是有人想对算法不利，算法也很清楚怎样操弄他来先下手为强。请注意，这一切并不代表算法需要有意识。就像波斯特洛姆的回形针思想实验所显示的——也像是GPT-4会对跑腿兔网站（TaskRabbit）的打工人员小规模地撒谎——算法就算没有意识，不会像人类一样贪婪或自私，也可能会试着抓住权力，操弄他人。

要是算法真的能发展出以上假设的这些能力，独裁政权成为算法傀儡的风险其实远高于民主政权。在美国这样的分布式民主体系中，人工智能再不择手段也很难夺权：就算学会了如何操弄美国总统，还是得面对国会、联邦最高法院、州长、媒体、各大企业和各种非政府组织的反对。举例来说，如果参议院阻挠议事，算法能怎么办？

国家的权力如果高度集中，夺权的难度就低得多。如果所有权力集于一人之手，只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。一个典型的例子就是罗马皇帝提比略成了禁卫军队长塞扬努斯的傀儡。

禁卫军最初由奥古斯都所设，是一个小型的帝国护卫队。奥古斯都还给禁卫军任命了两名队长，这样任何一位的权力都不会凌驾于自己之上。可惜，提比略没那么聪明，而他的偏执也成了他最大的弱点。身为两位队长之一的塞扬努斯，巧妙地利用了提比略的恐惧心理，不断揭发各种号称要暗杀提比略的阴谋，但多半纯属虚构。除了塞扬努斯，这位多疑的皇帝开始越来越不信任其他人，于是任命塞扬努斯成了禁卫军唯一的队长，统领1.2万人，还进一步负责整个罗马城的治安与管理。到最后，塞扬努斯还说服提比略离开了首都，前往卡普里岛，理由是比起一个充满叛徒与间谍的大都市，在一个小岛上保护皇帝实在容易多了。但正如罗马历史学家塔西佗所言，塞扬努斯的真正目的是掌控能够传到皇帝手中的一切信息：“与皇帝的接触尽在他的控制之中，之前由士兵传递的信件，现在都必须经他的手转交。”

提比略被孤立在卡普里岛上，塞扬努斯控制了提比略能够获取的一切信息。随着禁卫军控制了罗马，这位禁卫军队长也就成了罗马帝国真正的统治者。包括皇室成员在内，只要是可能反对他的人，塞扬努斯就会诬指他们叛国，并加以清除。所有人都必须经过塞扬努斯的许可才能联络上皇帝，提比略因此沦为傀儡。

终于，后来有人（或许是提比略的弟媳安东尼亚）在塞扬努斯的信息防线里发现了一个缺口，偷偷将一封信送到皇帝那里，解释了当时的情境。提比略发现了危险，决心要除掉塞扬努斯，却几乎束手无策。这个人不但控制了他身边的守卫，还控制了他与外界的一切联系，他要怎样才能扳倒这个人？一旦提比略轻举妄动，塞扬努斯就可能会将他无限期囚禁在卡普里岛，并且告诉元老院与军队皇帝重病，无法前往他处。

话虽如此，提比略还是成功地扭转乾坤。随着塞扬努斯权力与日俱增，他开始把更多心思放在整个帝国的管理上，不再过问罗马治安机构的日常琐事。提比略找到塞扬努斯的一个部下——马克罗（负责罗马消防与夜巡事务的警卫队队长），取得了他的支持。马克罗策划政变，扳倒了塞扬努斯。作为奖励，提比略任命马克罗成为新任禁卫军队长。几年后，马克罗杀死了提比略。

提比略的命运告诉我们，所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。如果政权仰赖的是人类（如塞扬努斯与马克罗），高明的独裁者就能操弄他们互相对抗，而让自己稳居高位。如果政权仰赖的是一套力量强大且高深莫测的人工智能，所有信息都由人工智能来收集与分析，人类独裁者就有可能直接失去一切权力。这位独裁者就算依然身在首都，也像是被隔离在一个数字孤岛上，只能受到人工智能的控制与操弄。

比起成为算法的傀儡，接下来几年里，这个世界上的独裁者还会碰上更迫切的问题。目前的人工智能系统还没有大规模操控政权的能力，但极权政权已经出现了太过信任算法的危机。民主政权假设任何人都可能犯错，而极权政权假设自己永远是对的。基于这种假设而建立起的政权，相信有绝对正确的天才存在，也不乐见创造出强大的自我修正机制，用以监督那位天才。

到目前为止，这些政权相信的都是由人类组成的领导人，也是培育个人崇拜的温床。未来，这样的极权传统也使这些政权做好另一种准备：相信有绝对正确的人工智能。这不只会给这些政权的公民带来灾难，还可能波及世界其他地区。要是某个负责环境政策的算法犯了离谱的错误，又没有自我修正机制能够发现并修正这个错误，事情会如何发展？要是某个负责国家社会信用体系的算法犯了离谱的错误，除了开始恐吓一般大众，甚至还开始恐吓执政党成员，把所有质疑算法所制定的政策的人都贴上“人民的敌人”这个标签，事情又会如何发展？

独裁者无法摆脱的问题，就是自我修正机制薄弱，以及下属尾大不掉的威胁，而人工智能的兴起又可能让这些问题变得更为严重。对独裁者来说，计算机网络带来的其实是一个令人无比苦恼的两难困境。独裁者如果想要摆脱尾大不掉的人类下属，可以选择信任理论上绝对正确的信息技术，但这种时候，他们就可能成为信息技术的傀儡。如果独裁者想要建立一个人类机构来监督人工智能，就得小心这个机构对独裁者的权力造成限制。

即使全球只有极少数独裁者选择信任人工智能，也可能对全人类造成深远影响。科幻小说里常常会出现人工智能不再受控，进而奴役或消灭人类的场景，而且多半把背景设在民主资本主义的社会。这点也不难理解，毕竟民主国家的作家对自己的社会更感兴趣。然而，人类如果要对抗人工智能，里面最弱的一环大概就是独裁者。人工智能如果要夺取权力，最简单的方法不是逃出制造科学怪人的实验室，而是赶快去讨好偏执的提比略。

这种说法并不是预言，而是提出一种可能。1945年之后，独裁者及其下属还是能和民主政权与公民携手合作，共同抵制核武器的。1955年7月9日，爱因斯坦、罗素等著名科学家及思想家共同发表《罗素-爱因斯坦宣言》，呼吁各个国家的领导人应合力避免发生核战争。这份宣言提到：“我们以人类的身份，向人类殷切呼吁：请铭记人性，并忘却其余。做到这点，眼前就是通往新天堂的道路；反之，眼前就是共同毁灭的危机。”人工智能也是如此。独裁者如果相信人工智能必定会让权力的天平向自己倾斜，只能说是愚不可及。只要一不小心，人工智能就会夺取权力。

1、例如，参见其他极具洞见的文章：Zuboff, Age of Surveillance Capitalism; Fisher, Chaos Machine ; Christian, Alignment Problem; D’Ignazio and Klein, Data Feminism; Costanza-Chock. Design Justice . Kai-Fu Lee, AI Superpowers: China, Silicon Valley, and the New World Order (New York: Houghton Mifflin, 2018)，这是一个绝佳的反例。也请参见：Mark Coeckelbergh, AI Ethics (Cambridge, Mass.: MIT Press, 2020).

2、哥德堡大学的多元民主中心估算，2022年，全球有72%的人口（57亿人）生活在专制或极权政权之中。参见：V-Dem Institute, Defiance in the Face of Autocratization (2023), v-dem.net/documents/29/V-dem_democracyreport2023_lowres.pdf.

3、Chicago Tribune Staff, “McDonald’s: 60 Years, Billions Served,”Chicago Tribune ,April 15, 2015, www.chicagotribune.com/business/chi-mcdonalds-60-years-20150415-story.html.

4、Alphabet, “2022 Alphabet Annual Report,” 2023, abc.xyz/assets/d4/4f/a48b94d548d0b2f dc029a95e8c63/2022-alphabet-annual-report.pdf; Statcounter, “Search Engine Market Share Worldwide — December 2023,” accessed Jan. 12, 2024, gs.statcounter.com/search-engine market-share; Jason Wise, “How Many People Use Search Engines in 2024?,” Earthweb,Nov. 16, 2023, earthweb.com/search-engine-users/.

5、Google Search, “How Google Search Organizes Information,” accessed Jan. 12, 2024, www.google.com/search/howsearchworks/how-search-works/organizing-information/; Statcounter,“Browser Market Share Worldwide,” accessed Jan. 12, 2024, gs.statcounter.com/search engine-market-share.

6、Parliamentary Counsel Office of New Zealand, “Privacy Act 2020,” Dec. 6, 2023, www.legislation.govt.nz/act/public/2020/0031/latest/LMS23223.html.

7、Dionysis Zindros, “The Illusion of Blockchain Democracy: One Coin Equals One Vote,”Nesta Foundation, Sept. 14, 2020, www.nesta.org.uk/report/illusion-blockchain-democracy one-coin-equals-one-vote/; Lukas Schädler, Michael Lustenberger, and Florian Spychiger,“Analyzing Decision-Making in Blockchain Governance,”Frontiers in Blockchain 23,no. 6 (2023); PricewaterhouseCoopers, “Estonia — the Digital Republic Secured by Blockchain,” 2019, www.pwc.com/gx/en/services/legal/tech/assets/estonia-the-digital republic-secured-by-blockchain.pdf; Bryan Daugherty, “Why Governments Need to Embrace Blockchain Technology,”Evening Standard, May 31, 2023, www.standard.co.uk/business/government-blockchain-technology-business-b1080774.html.

8、Cassius Dio, Roman History, book 78.

9、Adrastos Omissi, “Damnatio Memoriae or Creatio Memoriae? Memory Sanctions as Creative Processes in the Fourth Century AD,”Cambridge Classical Journal 62 (2016): 170–99.

10、译者在这里使用的是一句比喻，用来形象地表示不可告人的秘密。——编者注

11、Sandra Bingham, The Praetorian Guard: A History of Rome’s Elite Special Forces (London:I. B. Tauris, 2013).

12、Tacitus, Annals, book 4.41.

13、Ibid., book 6.50.

14、Albert Einstein et al., “The Russell-Einstein Manifesto [1955],”Impact of Science on Society—Unesco 26, no. 12 (1976): 15–16.