前言

“爸爸，你小时候没有电子计算机，怎么上网啊？”

——一个来自波士顿的七岁孩子

“如果机器人什么都做，那我们该怎么办？”

——一个来自北京的五岁孩子，李开复《AI新世界》（Superpowers）

想象一下，有一个智能助理什么都做得比你好：不管你说什么，它都能准确理解；不管你决定做什么，它都能准确执行；你制订明年的计划后，它会提出一个更好的建议；甚至某些时候，你可能会放弃自己做出的决定而听从它的建议。现在是人工智能在管理你的财务、填写你的信息、选择你的感情伴侣，并建议你最好什么时候生孩子。包裹会被自动送到你家门口，甚至其中有些物品你都不知道正是自己所需要的。社区工作者可能会主动来访，因为数字助手预测你的孩子有罹患严重抑郁症的风险。当你还在为支持哪个政治候选人而苦恼的时候，数字助手已经洞悉并帮你投好了票……科技公司掌控你的生活只是时间问题，忠实的助手会变成一个卓越的超级智能。我们的孙辈将像一群羊一样，满含敬畏地对他们的新主人或是欢呼雀跃，或是瑟瑟发抖。

近年来，我曾在许多热门的人工智能论坛上发言，人们对复杂算法的无条件信任一次次让我震惊。无论是什么主题的活动，科技公司的代表都向听众保证，机器会更准确、更快速、更经济地完成任务，更重要的是，用软件代替人工很可能会让世界变得更美好。同样，听说谷歌比我们更了解自己，人工智能几乎可以完美预测我们的行为，或者很快就能做到这一点。在向广告商、保险公司或零售商提供服务时，科技公司就宣称它们具备这种能力。我们也倾向于相信这一点。即使是那些认为机器会带来世界末日的流行作家以及科技行业最直言不讳的批评者，也认为人工智能几乎无所不知，他们将人工智能称为邪恶的监控资本主义，对人类自由和尊严将被践踏感到深深的恐惧。[1]正是这种信念让许多人担心脸书（Facebook，现更名为Meta）是一个可怕的奥威尔式监控机器。数据泄露和剑桥分析丑闻则将这种担忧放大，让人害怕，让人敬畏。要么出于信任，要么出于恐惧，但故事情节却保持不变。情节是这样的：

人工智能在国际象棋和围棋比赛中击败了最优秀的人类。

计算能力每两年翻一番。

因此，机器很快就会在各方面比人类做得更好。

我们将此种论调称为“人工智能战胜人类”。它预测机器超级智能即将到来。这一论调的两个前提是正确的，但结论却是错误的。

因为对于某些类型的问题，计算能力还有很长的路要走，但对于其他问题却没有。迄今为止，人工智能还只是在具有固定规则、定义明确的游戏中获得了胜利，例如国际象棋和围棋，在相对不变的条件下人脸和语音识别也取得了成功。当环境稳定时，人工智能可以超越人类。如果未来和过去一样，那么海量数据将大有用处。然而，如果发生意外，大数据（都是过去的数据）可能会误导我们对未来的看法。大数据算法并没有预测出2008年的金融危机，但却预测出希拉里·克林顿在2016年能够获得压倒性胜利。

事实上，我们面临的许多问题并不是定义明确的游戏，而是充满了不确定性，比如寻找真爱、预测谁会犯罪，或者在不可预见的紧急情况下如何做出反应。在这些问题上，计算能力再强，数据量再大，帮助也是有限的。人类是不确定性的主要来源。想象一下，如果国王可以一时兴起违反规则，而王后可以在放火后跺脚离开以示抗议，那么国际象棋将会变得多么困难。在涉及人的情况下，信任复杂算法会对确定性产生错觉，从而成为灾难的根源。

复杂算法在情况稳定时可能会成功，但在不确定的情况下则比较难成功，这体现了本书的主题：

保持聪慧意味着了解数字技术的潜力和风险，以及在充满算法的世界中保持主导地位。

我写这本书是为了帮助你了解数字技术的潜力，比如人工智能，但更重要的是帮助你了解这些技术的局限性和风险。随着数字技术逐渐普及，并成为主导，我想为你提供掌控自己生活的策略和方法，不让自己被人工智能打败。

当软件替我们做出决定时，我们是否应该完全听从于它？当然不应该。保持聪慧并不意味着完全信任技术，也不意味着完全不信任技术，对此充满焦虑。相反，这本书旨在帮助读者了解人工智能可以做什么，揭示有关营销炒作和技术宗教信仰的幻想问题。同时，本书还讨论了如何让人类控制设备，而不是被设备远程控制。

保持聪慧与单纯使用技术的数字技能不是一回事。世界各地的教育项目都试图通过给教室安装平板电脑和智能白板，并教孩子使用这些设备来提高数字技能。但这些项目很少教孩子如何理解数字技术带来的风险。结果，令人震惊的是，多数数字原住民（自幼就熟悉信息技术的人）无法将隐藏广告与真实新闻区分开来，而且常被网站的外观所吸引。例如，一项针对3 446名数字原住民的研究表明，96%的人不知道如何查验网站和帖子的可信度。[2]

智能世界不仅仅是在我们的生活中增添智能电视、在线约会和其他花哨噱头，而是一个被数字技术改变的世界。当智能世界的大门首次打开时，许多人将其描绘为一个人人都能了解真实信息的天堂，最终将终结无知、谎言和腐败，能公开有关气候变化、恐怖主义、逃税、剥削穷人和侵犯人类尊严的事实，能揭露不道德的政客和贪婪的行政人员，使他们被迫辞职，能防止政府监控公众和侵犯公众隐私。虽然天堂也被污染了，但在某种程度上，这个梦想已经成为现实。然而，真正的巨大变化却是社会变革。世界不会简单地变得更好或更坏，我们对好与坏的看法正在发生变化。例如，不久前，人们非常关注隐私，会走上街头抗议政府和公司监控个人行为并掌握个人数据。各种活动家、年轻的自由主义者和主流组织对1987年的德国人口普查进行了抗议，担心计算机可以将他们的答案去匿名化，愤怒的人们在柏林墙上贴了数千份空白问卷。在2001年澳大利亚人口普查中，超过70 000人宣布其宗教为“绝地武士”（取自电影《星球大战》）。2011年，英国公民抗议政府侵犯他们的隐私，如宗教信仰。[3]今天，智能家居每周7天每天24小时全天候记录我们所做的一切，包括我们在卧室里的活动，甚至孩子的智能玩偶也记录了它所“听”到的每一个秘密，面对这种情况我们却只能耸耸肩。人们对隐私和尊严的感受在随着技术的进步而变化，“隐私”和“尊严”这两个词可能会成为历史。曾经，互联网的梦想是自由；现在，对许多人来说，自由意味着不受约束的互联网。

自古以来，人类创造了许多惊人的新技术，但人类并不总能明智地使用这些技术。为了获得数字技术的诸多好处，我们需要洞察力和勇气，以在智能世界中保持聪慧。不要再任由机器摆布，是时候睁大眼睛并实现自我掌控了。

掌握主动权

如果你不是一个不顾一切的人，那么你可能偶尔会担心自己的安全。你认为未来10年更可能发生哪种灾难？

• 你会被恐怖分子杀死。

• 你将被开车时玩手机的司机撞死。

如果你选择恐怖袭击，那么你就是大多数人。自“9·11”事件以来，北美和欧洲的调查表明，许多人认为恐怖主义是对他们生活的最大威胁之一。对某些人来说，没有什么比这更令人恐惧的了。同时，大多数人承认曾在开车时发短信，而且对此并不是很在意。2020年之前的10年中，美国平均每年有36人死于恐怖分子、宗教激进组织、右翼分子等组织的活动中，[4]而同一时期，每年有3 000多人因司机开车时分心而丧生，这些司机通常是边开车边忙于用手机发短信、阅读或看视频。[5]这个数字相当于“9·11”袭击的死亡总人数。

大多数美国人更害怕恐怖主义而不是枪支弹药，尽管他们更可能死于家里玩枪的孩子之手，而不是被恐怖分子枪杀。除非你住在阿富汗或尼日利亚，否则你更有可能被分心的司机杀死，而这个司机极有可能就是你自己。原因不难理解。20岁的司机使用手机时，应激反应时间会减慢到与没有使用手机的70岁司机一样。[6]这就是所谓的即时大脑老化。

为什么人们开车时会发短信？也许你认为这些人不知道这有多危险。然而，在一项调查中发现大多数人都清楚地知道这个行为十分危险。[7]问题不在于缺乏认识，而是缺乏自控。一名学生解释说：“当收到短信时，无论如何我都要查看。”自从平台引入通知、点赞和其他心理手段诱使用户盯着网站而不是周围环境后，自控就变得更加困难了。然而，人们如果在开车的时候，能抑制住查看手机的冲动，就可以避免诸如此类的危险。这不仅仅针对年轻人。一位伤心欲绝的妈妈说：“当你爱的人开车时，不要给他发短信。”她在重症监护室里见到了伤势严重的女儿，女儿脸上伤痕累累，还失去了一只眼睛，而这都是因为她给女儿发了一条“愚蠢的短信”。[8]智能手机是一项了不起的技术，但它需要聪慧的人来明智地使用。在这里，掌控技术的能力可以保护你和你所爱之人的生命安全。

大规模监控是问题，而不是解决方案

我们害怕恐怖袭击，而不害怕开车时盯着智能手机的司机，部分原因可能是媒体关注更多的是恐怖主义而非分心驾驶。同样，政客们也更关注恐怖主义。为保护其公民，世界各地的政府都在尝试使用人脸识别监控系统。在实验室对签证、工作申请照片或其他光线充足情况下拍摄且头部保持在特定位置的照片进行面部识别测试时，这些人脸识别系统表现得非常出色。但这个系统在现实世界中准确性如何？有一项测试就是在我家附近进行的。

2016年12月19日晚，一名24岁的恐怖分子劫持了一辆重型卡车，冲入繁华的柏林圣诞市场，那里挤满了享受香肠和热酒的游客和当地人，事件造成12人死亡，49人受伤。次年，德国内政部在柏林火车站安装了人脸识别系统，以测试其识别嫌疑人的准确度。为期一年的实验结束后，德国内政部在其新闻稿中自豪地宣布了两个令人兴奋的数据：识别率为80%，即每10名嫌疑人中，系统识别正确的有8名，识别错误的有2名；误报率为0.1%，即每1 000名无辜路人中只有一名被误认为是嫌疑人。内政部部长称赞该系统取得了令人瞩目的成功，并得出结论：在全国范围内实施监控是可行且可取的。

新闻发布后便引发了激烈的争论。一部分人相信更全面的监控会使社会更安全，而另一部分人则担心监控设备最终会成为乔治·奥威尔著名小说《1984》中的“电幕”（telescreens）。然而，他们都理所当然地默认了政府宣称的系统识别率。[9]与其在情绪化的辩论中站队，不如思考一下，若广泛部署这种面部识别系统，会发生什么？每天约有1 200万人通过德国的火车站，除了数百名通缉嫌疑人，大都是正常工作或外出游玩的人。0.1%的误报率意味着每天有近12 000名路人会被误认为嫌疑人。他们会被强制拦截，搜查是否携带武器或毒品，并被管制或拘留，直到其身份得到证实。[10]本就紧张的警力资源将被用于审查这些无辜的公民，而不是有效预防犯罪。换言之，这样的系统实际上是以安全为代价的。最终，人们将建立一个侵犯个人自由且扰乱社会和经济生活的监控系统。

人脸识别可以提供有价值的服务，但必须用于特定的任务：个人身份识别而不是大规模筛查。在地铁站发生犯罪或汽车闯红灯后，录像可以帮助识别肇事者。在这种情况下，我们知道这个人犯了罪。然而，在车站对每个人进行筛查时，他们中的大多数并不是嫌疑人，与大规模医疗筛查一样，这会导致大量误报。人脸识别在某些任务中表现相对更好，比如，人脸解锁手机时，手机会执行一项名为“验证”的任务。不像在地铁里逃跑的肇事者，你得直视摄像头，将其靠近脸部，保持完全静止。试图解锁你手机的人几乎总是你自己。这种情况创造了一个相对稳定的世界：你和你的手机。这很少发生错误。

要讨论人脸识别系统的优缺点，需要区分以下三种情况：多对多、一对多和一对一。在大规模筛查时，许多人与数据库中的其他人进行比较；在身份识别时，一个人与其他人进行比较；在身份验证时，一个人与另一个人进行比较。如前所述，不确定性越小，系统的性能就越好，因此相比大规模筛选，身份识别时系统性能更优。回想一下，在2021年1月对美国国会大厦的袭击中，如果面部识别系统能迅速识别出一些强行进入大楼的人会怎么样。一般的观点是，人工智能没有好坏之分，只是对某些任务有用，对其他任务没那么有用。

最后，此分析与民众对隐私的担忧相符。公众最关心的是政府的大规模监控，而不是对肇事者的识别和身份验证。而大规模监控正是人脸识别系统最不可靠的地方。了解这一关键差异有助于保护一些国家所重视的个人自由。

我没有什么可隐藏的

这句话在社交媒体公司的讨论中越来越流行，这些公司收集了它们可以获得的所有个人数据。你可能会听到那些喜欢用个人数据而非金钱来支付购物的用户这样说。这句话适用于我们这些过着平静生活、没有严重的健康问题、从未树立潜在敌人、不会就政府剥夺的公民权利发表意见的人。然而，问题不在于是否隐瞒信息或免费自由地发布可爱小猫的照片。科技公司不在乎你是否有什么需要隐瞒的，相反，因为你不为它们的服务买单，所以它们不得不使用心理学技巧，让你将尽可能多的时间花在它们的应用程序上。你不是客户，客户是付钱给科技公司以吸引你注意力的广告商。我们中的许多人已经沉迷于智能手机，为这个新床伴而减少了睡眠，甚至没有时间做其他事情，并且热切地等待新的“点赞”为我们再次注入多巴胺。贾·托伦蒂诺在《纽约客》中提到了她与手机的斗争：“我随身携带手机，就好像它是个氧气罐。做早餐时我盯着它，倒垃圾时也盯着它，这破坏了我在家办公最看重的东西——控制力和相对平静。”[11]一些人在网上看到陌生人对自己外表或智慧的恶评后感觉受到了伤害；还有一些人则再次沦为极端主义者，成为假新闻和仇恨言论的牺牲品。

世界上有一类人不太担心自己受到数字技术的影响，而另一类人则像托伦蒂诺一样相信数字技术会让他们上瘾，就像强迫性赌徒无法将注意力从赌博上转移开来一样。然而，技术，特别是社交媒体，是可以在不占用人们正常生活时间的情况下存在的。让我们中的一些人上瘾的不是社交媒体本身，而是基于个性化广告的商业模式。对用户的伤害就来自这一“原罪”。

免费咖啡馆

想象一下，有家咖啡馆通过提供免费咖啡淘汰了镇上的所有竞争对手，你别无选择，只能去这家咖啡馆见朋友。当你享受与朋友聊天的时候，桌子和墙壁上的窃听器及摄像头会密切监控你们的对话，并记录你与谁坐在一起。咖啡馆里还挤满了推销人员，他们在为你的咖啡付费的同时不停打断你，为你提供个性化产品和服务。这家咖啡馆的顾客实际上是这些销售人员，而不是你和你的朋友。这基本上就是脸书等平台的运作方式。[12]

如果社交媒体平台基于实体咖啡馆或电视、广播和其他服务的商业模式，那么这些平台可以采用更加健康的方式运行，作为客户，你为你想要的便利设施付费。事实上，1998年，年轻的谷歌创始人谢尔盖·布林和拉里·佩奇就批评了基于广告的搜索引擎，因为这些搜索引擎偏向于广告商的需求，而非消费者的需求。[13]然而在风险投资家的施压下，他们很快就屈服了，并建立了迄今为止最成功的个性化广告模式。在这种商业模式中，你的注意力就是正在销售的产品，实际客户则是在网站上投放广告的公司。人们看到广告的次数越多，广告商支付的费用就越多，这导致社交媒体营销人员一次又一次地进行实验，以最大限度地延长你在其网站上花费的时间。开车时想要拿起手机的冲动就是一个典型的例子。简而言之，商业模式的精髓就是尽可能地利用用户的时间，吸引用户的注意力。

为了服务广告商，科技公司每时每刻都会收集你在哪里、你在做什么、你在看什么的数据。根据你的习惯，它们会为你画像。广告商投放广告时，会把最新款的产品或昂贵的口红推送给最有可能点击它的人。每当用户点击广告或广告每展示一次，广告商都会向科技公司付费。因此，为了提升你点击或看到广告的概率，它们会想尽办法让你更长时间地留在页面上。通过点赞、通知和其他心理学技巧，使你日夜依赖智能手机。因此，网站出售的不是你的数据，而是你的注意力、时间和睡眠。

如果谷歌和脸书有按服务收费的模式，那么上述这些都不是必需的。工程师和心理学家的大军正在开展如何让你沉迷于智能手机的实验，并进行着更有用的技术创新。社交媒体公司仍需收集特定数据以改善推荐功能，进而满足你的个性化需求，但它们将不再有动力收集其他多余的个人数据，例如可能表明你患有抑郁症、癌症或者怀孕的数据。收集这些数据背后的主要动机——个性化广告——将会消失。在已经实施按服务收费的公司中，奈飞公司就是一个很好的例子。[14]从用户角度来看，按服务收费的一个小缺点是我们每个月都必须支付几美元才能使用社交媒体。然而，对于社交媒体公司来说，更有利可图的“用数据付费”模式的最大优势在于，几乎所有位于阶梯顶端的使用者现在都是地球上最富有和最有权势的人。

保持技术领先

何谓保持技术领先？以下例子给我们留下了深刻印象。抵制开车时发短信的诱惑，需要掌控一项技术。人脸识别系统的可能性和局限性表明，该技术在相对稳定的情况下表现出色，例如解锁手机，或用于将护照照片与另一张你的照片进行比较的边境管制。但在现实世界中筛查人脸时，人工智能误报率仍然很高，而大量无辜的人被拦截和搜查可能会引发巨大的问题。最后，社交媒体引发的问题，如时间损失、睡眠不足、注意力不集中和成瘾，并不是社交媒体本身的错，而是公司“用你的数据付费”这一商业模式导致的。为了从根源上消除这些严重的问题，我们需要进行新的隐私设置或让政府对在线内容进行规制，例如改变基本的商业模式，以及政府以更大的政治魄力来保护人民利益。

人们可能会认为，帮助每个人了解数字技术的潜力和风险是全球教育系统和政府的首要目标。事实上并非如此，经济合作与发展组织（OECD）2017年发布的“G20数字化转型的关键问题”和欧盟委员会2020年发布的“人工智能白皮书”甚至都没有提及此事，[15]而是侧重于其他重要问题，包括创建创新中心、建设数字基础设施、适度立法以及增强人们对人工智能的信任。结果，大多数数字社会原住民没有做好从虚假消息中辨别事实、从隐藏广告中辨别新闻的准备。

然而，解决这些问题不仅需要基础设施和监管，还需要花时间进行反思和认真研究。仔细想想，拨打服务热线时，你是否需要等待很长时间？之所以这样，可能是因为预测算法根据你的地址信息，评估你是低价值客户。你是否注意到，谷歌搜索中的第一个结果对你来说并不是最有用的？因为它可能是广告商为之付费最多的广告。[16]你是否知道，你心爱的智能电视可能会在客厅或卧室记录你的私人对话？[17]

如果这些对你来说都不算新鲜事，那么你可能会惊讶地发现对大多数人来说都一样。很少有人知道算法会确定他们的等待时间或分析智能电视记录的内容，以使隐藏的第三方受益。研究报告称，大约50%的成人用户不知道标记的热门搜索条目是广告，而不是最相关或最受欢迎的搜索结果。[18]这些广告实际上是有标记的，但多年来，它们看起来更像是自然搜索结果，即非广告。自2013年起，谷歌的广告不再使用特殊的背景色以突出显示，而是引入了一个黄色的小“广告”图标；2020年以来，黄色也已被移除，“广告”一词仅以黑色显示，融入自然搜索结果。广告商为广告的每次点击向谷歌付费，人们认为“第一个结果是最相关的”这种观念是错误的，因为那仅对谷歌的业务有利。

如前所述，许多高管和政界人士对大数据和数字化有极大的热情。但热情不等于理解，其实许多过分热心的拥护者似乎并不知道他们在说什么。针对80家大型上市公司400多名高管的研究发现，92%的高管在数字化方面没有公认的或记录在案的经验。[19]同样，当马克·扎克伯格不得不就脸书最新的隐私争议向美国参议院和众议院的政客作证时，最令人震惊的真相并不是他事先准备好的证词。美国政客似乎对社交媒体公司不透明的运作方式知之甚少。[20]我在德国联邦司法和消费者保护部消费者事务咨询委员会任职时，研究了信用评估公司的秘密算法是如何受到数据保护当局的监督的，当局应当确保算法在衡量信誉时的可靠性，不能因为性别、种族或其他个人特征而产生偏颇。然而，当最大的信用评估公司提交其算法时，当局承认缺乏必要的信息技术和统计专业知识来对其进行评估。到最后，信用评估公司甚至需要自己花钱邀请撰写评估报告的专家。[21]在智能世界中，无知似乎成了规则，而非例外。我们需要在当下迅速改变这一点，而不是在遥远的将来。

技术专制

专制/家长制（来自拉丁词pater，“父亲”）是指，一个特定的群体有权像对待孩子一样对待其他人，而后者不得不服从于该群体的权威。从历史上看，统治集团仿佛是被上帝选中的，是贵族，拥有秘密的知识或耀眼的财富。这对专制的存在做出了合理的解释。那些在其权威之下的人被认为是低等人，比如女性、有色人种、穷人或未受过教育的人群等。20世纪，在绝大多数人终于有机会学习阅读和写作，政府最终授予男性和女性言论与行动自由以及投票权之后，专制作风才逐渐退却。在这场革命中，坚定的支持者或锒铛入狱或献出生命，才使得包括我们在内的下一代能够自己掌握命运。然而，在21世纪，科技公司建立了一种新的专制，无论我们是否同意，这些公司都正在使用机器来预测和操纵我们的行为。倡导者甚至宣布新的上帝，即一种被称为“通用人工智能”（AGI）的全知超级智能即将出现，据说它在脑力的各个方面都超过了人类。在它到来之前，我们应该听从其倡导者的意见。[22]

技术解决主义认为每个社会问题都是一个“错误”，需要通过算法来“修复”。技术专制是其自然结果，需要通过算法进行治理。它不需要兜售超级智能，相反，它希望我们接受公司和政府的行为，让它们每时每刻记录我们在哪里、我们在做什么以及与谁在一起，并相信这些记录将使世界变得更美好。正如谷歌前总裁埃里克·施密特解释的那样：“我们的目标是让谷歌用户能够提出诸如‘我明天应该做什么’和‘我应该从事什么工作’之类的问题。”[23]不少广受欢迎的作家通过讲述充其量是符合事实的故事来激起我们对技术专制的敬畏。[24]更令人惊讶的是，即使是一些有影响力的研究人员也认为人工智能没有对我们进行限制，他们认为人脑只是一台劣等计算机，我们应该尽可能用算法代替人脑。[25]人工智能会告诉我们该做什么，我们应该倾听并遵循。我们只需要稍微等待，人工智能就能变得更聪明。奇怪的是，这绝不是说人们也需要变得更聪明。

我写这本书是为了让读者对人工智能可以做什么，以及它如何影响我们有一个现实的认识。我们不需要更多的技术专制，在过去几个世纪里，我们已经承受了太多。但我们也不必害怕技术，在每一项突破性技术出现时都陷入恐慌。火车刚出现时，医生警告说乘客会死于窒息；[26]收音机被广泛使用时，人们担心听得太多会伤害孩子，因为孩子需要的是休息，而不是爵士乐。[27]数字世界需要的不是恐惧或炒作，而是消息灵通、理性批判的公民，他们要将生活掌握在自己手中。

这本书不是对人工智能或其子领域（如机器学习和大数据分析）的学术介绍。相反，它是关于人类与人工智能的关系：关于信任、欺骗、理解、成瘾以及个人和社会转型的探讨。它是为普通读者写的，作为应对智能世界挑战的指南，其中参考了我自己的研究，包括马克斯·普朗克人类发展研究所对不确定性下的决策的研究，这个话题一直让我着迷。在写作过程中，我并不掩饰个人对自由和尊严的看法，但我尽可能呈现客观证据，让读者自己做出判断。我坚信，只要继续保持活跃，并利用在复杂进化过程中发展起来的大脑，人类就不会像人们常说的那样愚蠢和无能。我写这本书的原因是，“人工智能将击败人类”这一论断日益活跃，我们被动地按照政府或机器的条件“优化”我们的生活，这些危险与日俱增。跟我以前的书《直觉思维》《风险认知》一样，这本新书是一种充满激情的呼吁，以弘扬来之不易的个人自由和民主活力。

在今天和不久的将来，我们都面临着专制和民主两种制度的冲突，这与冷战没有什么区别。然而，与那个时代不同，当核技术在两种力量之间保持不稳定的平衡时，数字技术很容易将天平倾向专制系统。我无法兼顾与数字化领域相关的方方面面，但我会利用一些主题来解释可以更广泛应用的普遍原则，例如第二章中讨论的稳定世界原则和得克萨斯神枪手谬误，以及第四章讨论的适应人工智能原理和俄罗斯坦克谬误。你可能已经注意到，我使用的是广义的“人工智能”，包括人类智能所有类型的算法，但我会在必要时进行区分。

在每种文化中，我们都需要谈论我们和我们的孩子希望生活的未来世界是什么样的。答案不是唯一的，但有一句话适用于所有愿景，即尽管有了技术创新（或者说正因为技术创新），但我们却比以往任何时候都需要更多地使用大脑。

让我们从我们最关心的问题开始，从简单到每个人都能理解的秘密算法开始，寻找真爱。

[1] 肖珊娜·祖博夫对监控资本主义的开创性分析具有深远意义，她认为人工智能确实具有这种能力。比如她曾谈道“以前所未有的精确性监控和塑造人类的行为”（“Surveillance Caitalism”，2019a, p. 17），还写道“关于我们，监控资本家无所不知”（Age of Surveillance Capitalism, 2019b, p. 11）。

[2] Breakstone, Smith, Connors et al. （2021）；McGrew et al. （2018）；Wineburg and McGrew（2019）；and Chapter 11.

[3] Rogers（2012） .

[4] National Consortium for the Study of Terrorism and Responses to Terrorism（2020） .

[5] Centers for Disease Control and Prevention（2020）.

[6] Britt（2015）.

[7] ERGO（2019）.

[8] https://www.youtube.com/watch?v=t7911kgJJZc.

[9] 例如，德国警察工会主席在支持大规模监控时写道：0.1%的误报率是非常低的，低到“几乎察觉不到，是可以接受的程度”。新闻稿可访问：https://www.bmi.bund.de/SharedDocs/pressemitteilungen/DE/2018/10/gesichtserkennung-suedkreuz.html。

[10] 缺乏风险识别能力引发了激烈辩论。例如，推特上的一位评论员指出，0.1%的误报率和出现犯罪嫌疑人的低概率意味着绝大多数警报是假的。下面我们来证明这一点，假设有500名嫌疑人在火车站闲逛，其中系统正确识别出400人（80%的准确率）。如果将所有人都鉴定为嫌疑人，那么在总人数有12 400人时，就有400人被纳入了正确的归类，其他的12 000人则归类错误，这意味着大约97%的分类是错误的。作为回应，欧洲议会的一名成员在为该系统辩护的推特上写道：“您应该在数学上努努力：0.1%的错误率意思是在适宜的情况下，其命中率为99.9%。我们强调的是适宜的情况。”她错误地认为0.1%的误报率意味着99.9%的分类是正确的。当被纠正时，她坚称自己知道计算概率。但这无关紧要，因为关键在于人脸识别系统在预防和教育方面的作用。政治家需要识别风险的能力，以及承认错误的谦逊。

[11] Tolentino（2019），p. 71.

[12] 俗话说，“如果不付费购买产品，你自己就会变成产品”。准确地说，有关你的预测就是产品。咖啡馆故事的灵感来自关于企业监控的有趣演讲，请参阅：https://idlewords.com/talks/internet_with_a_human_face.htm。

[13] Brin and Page（2012）；Wu（2016） . 吴修铭曾在《注意力商人》这本书中讲述了谷歌创始人的故事：一位加拿大数学家比佩奇还讨厌广告，但在他的协助下，谷歌这个最强大的基于广告的平台诞生了。

[14] 包括火狐和Google Contributor在内的各种公司都在尝试小额支付［梅伦德兹（Melendez），“火狐和知识共享”（“Mozilla and Creative Commons”）］。奈飞也想让观众继续关注它，但它的目的在于维持较高的订阅率，而不是满足广告投资方的需求。一些平台的用户可以通过付费的方式免受广告泛滥的困扰，但这些付费的人也无法保证不被广告盯上。例如，领英和德国职业社交平台Xing等商业平台就有推出高级会员的资格，会员可以访问其他成员的数据（例如，谁访问了自己的页面），但也无法保护自己的数据。

[15] 欧盟委员会的报告中探讨了加深用户理解程度的问题（Lewandowsky et al., 2020）。DQ研究所等私人组织已经解决了儿童面临的数字时代的风险（Chawla, 2018）。

[16] 更准确地说，这些广告位会被拍卖并出售给竞标者，算法会计算出该技术公司的最高回报。这个算法是一个与竞标和预期将看到或点击广告的用户数量有关的函数。广告投资方向谷歌支付点击费用，所以显然，谷歌希望你点击广告。

[17] https://www.samsung.com/hk_en/info/privacy/smarttv/. Fowler（2019, 18 September） .

[18] https://www.searchenginewatch.com/2016/04/27/do-50-of-adults-really-not-recognise ads-in-search-results/.

[19] Kawohl and Becker（2017）.

[20] Economist（2018）.

[21] 德国联邦司法和消费者保护部消费者事务咨询委员会：《数字主权》（Digital Sovereignty）。巴伐利亚公共广播公司的记者透露，评分系统的核查依据的是信用机构自己授权的报告。

[22] 参见“2045倡议”（http://2045.com/ideology/）。一些作家想象人们可以将大脑上传到这个巨型的智能系统中。一旦成为现实，人类的大脑就可以永生。

[23] Daniel and Palmer（2007）.

[24] 这些有关算法的说法都是没有依据的夸张表述。例如尤瓦尔·赫拉利在《未来简史》中的论述。我在本书的第十一章中举了相关的例子。

[25] 更广泛的意见参见Brockman（2019）。此外，卡尼曼也提出了一个问题，即人工智能最终是否可以做所有人类可以做的事情（“Comment”，609）：“会有什么事情是只有人类才可以做到的吗？坦白地说，我找不到任何理由去限制人工智能的能力。”“您应该尽可能用算法代替人类”（610）。

[26] Gigerenzer（2014） .

[27] 有关恐惧循环可参见Orben（2020）。