通用人工智能（AGI）的出现似乎已近在眼前，但技术公司是否已充分准备好应对其带来的伦理、政治和社会挑战？

2017年，政治哲学家伊阿宋·加布里埃尔（Iason Gabriel）在朋友的建议下，考虑申请加入DeepMind，这是谷歌在伦敦的子公司，也是其大部分人工智能研究的中心。尽管最初听起来不寻常，一位深耕于学术研究和国际发展工作的学者为何会选择一家技术公司？

加布里埃尔是一位性格开朗但专注的学者，对内观禅修和攀岩充满热情。他曾是高校教师，并在牛津大学圣约翰学院教授政治理论，同时研究“雅皮士伦理”的道德扭曲和有效利他主义的伦理盲点。在校外，他还在苏丹和黎巴嫩为联合国开发计划署从事危机应对工作。

与此同时，DeepMind已成为全球领先的人工智能研究机构。这得益于谷歌的资金和算力支持——谷歌于2014年以6.5亿美元收购了该公司。更重要的是，DeepMind展现了将这些资源转化为惊人成果的能力。2016年，DeepMind开发的AlphaGo在首尔击败了韩国围棋冠军李世石（Lee Sedol），以4:1赢得比赛。这场胜利意义非凡，部分原因在于围棋的复杂性极高，其可能的棋局数量甚至超过了宇宙中原子的总数。

AlphaGo的巨大成功让加布里埃尔认识到DeepMind，但他仍对一家制造围棋机器人的公司为何需要伦理学家感到困惑。很快，他明白了公司的真正目标远不止于此。DeepMind由德米斯·哈萨比斯（Demis Hassabis）、谢恩·莱格（Shane Legg）和穆斯塔法·苏莱曼（Mustafa Suleyman）于2010年创立，他们坚信人类终将能够开发出通用人工智能（AGI），即能够达到甚至超越人类认知能力的计算机系统。在当时，AGI的概念并不被广泛接受，甚至被认为是不切实际的。然而，哈萨比斯、莱格和苏莱曼的目标始终坚定：“解决智能，然后解决其他一切。”

DeepMind三位创始人深知，AGI的实现将带来深远影响。谢恩·莱格早在1999年就预测AGI将在2025年至2028年间出现，尽管这一预测曾受到质疑，他仍坚持己见。他在2008年的博士论文中强调，社会不应等到AGI技术成熟才开始考虑其影响，而应“现在就必须认真研究这些问题”。莱格近期表示，公司需要加布里埃尔这样的人“再明显不过”：“如果你只是制造一个不太可能改变世界的小工具，或许不需要道德哲学家。但如果你认真对待AGI，那么很难想象这些问题不重要。”

加布里埃尔于2017年加入DeepMind，成为当时前沿人工智能实验室中唯一一位仍在积极进行研究的哲学家。他发现，在一个以工程师为主导的行业里，他的道德哲学和政治理论背景为他提供了独特的视角。在过去十年间，他积累了大量研究成果，不仅密切关注大型语言模型意外成功带来的伦理挑战，更在许多情况下预见了这些问题的出现。

麻省理工学院算法对齐小组（Algorithmic Alignment Group）负责人迪伦·哈德菲尔德-梅内尔（Dylan Hadfield-Menell）评价加布里埃尔是“在恰当的时刻出现的恰当人物”。他认为，随着人工智能领域走向成熟和主流，加布里埃尔找到了一种拓展视野的方法，同时又尊重了此前的工作。

从更广泛的层面来看，加布里埃尔一直倡导一种观点：当前人工智能的发展不仅需要新的技术语言，更需要我们重新审视人与技术的关系，乃至人与自身的关系。在最近的交流中，他表示：“我可以拿起任何一种技术产品，然后问：它是否明智？是否公正？是否关怀他人？答案都是否定的。但当对象变成AI时，这些问题——包括究竟什么样的伦理才适用于它——其深刻程度几乎无法夸大。”他认为，我们似乎很难真正直视AI，它存在着一种深刻的谜团：它究竟是什么？尽管我们可以给出字面意义上的答案，但这似乎并不能自动提供道德层面的答案。

加布里埃尔加入DeepMind时，围绕人工智能的社会和伦理影响已有两种主要的、往往相互对立的思路：“AI安全”和“AI伦理”。它们的核心分歧在于对人工智能技术可行性的判断。

与DeepMind创始人一样，“AI安全”阵营认为，达到人类水平的机器智能不仅可能，而且已近在眼前。他们的当务之急是确保AI系统不会失控。这一观点的源头之一是数学家兼计算机科学家诺伯特·维纳（Norbert Wiener）1960年的论文，他认为人类和计算机“本质上是彼此陌生的”。鉴于机器运行速度远超人类，维纳警告：“我们最好能够确信，输入机器的目标，确实是我们真正想要的目标，而不仅仅是它一个貌似相似的彩色仿制品。”

维纳所描述的——让机器按照使用者真正希望的方式行动——后来被称为“对齐问题”。虽然所有技术都会面临对齐问题，但对于自主行动的机器，特别是通过数学优化某种奖励信号的AI系统（即强化学习），这个问题尤为紧迫。2016年，OpenAI的达里奥·阿莫代伊（Dario Amodei）和杰克·克拉克（Jack Clark）描述了一个玩赛艇游戏的AI。开发者设定的目标是“最大化得分”，但AI却在潟湖中不断绕圈，反复刷分以获得高分，因为它发现了比完成比赛更有效的得分方式。这恰恰印证了维纳的预言：机器的目标与开发者真正想要的目标并未完全对齐。

更严重的设想来自AI研究者埃利泽·尤德科夫斯基（Eliezer Yudkowsky）和哲学家尼克·博斯特罗姆（Nick Bostrom）。他们提出，机器智能的爆发可能产生无法控制的AI。即使是轻微的目标偏差，也可能导致灾难性后果。博斯特罗姆虚构了一个例子：一台超级智能AI被要求研究黎曼猜想，最终决定重排太阳系以获取解决问题所需的资源。博斯特罗姆认为，让超级智能AI实现对齐“很可能是人类有史以来最重要、也最艰巨的挑战”，这一观点吸引了许多硅谷技术未来主义者，包括萨姆·奥特曼（Sam Altman）和埃隆·马斯克（Elon Musk）。

与此相对，AI伦理阵营认为，对失控机器人和生存风险的担忧分散了人们对现实危害的注意力。他们受到金伯莉·克伦肖（Kimberlé Crenshaw）和兰登·温纳（Langdon Winner）等人的影响，将公平、问责和透明视为核心原则，并坚持认为技术风险无法仅靠技术手段解决，需要社会、文化和政治层面的解决方案。

AI伦理思潮关注的一个关键问题是算法偏见，例如在面部识别和预测性警务软件中暴露出的问题。2017年，麻省理工学院媒体实验室的乔伊·布奥拉姆维尼（Joy Buolamwini）领导的“性别阴影”（Gender Shades）项目证明了商业面部识别软件普遍存在的系统性偏见。布奥拉姆维尼指出，“自动化系统并非天然中立”，它们反映了塑造者自身的优先事项、偏好和偏见。

AI安全派与AI伦理派之间的分歧常常体现在“近期问题”与“长期问题”的讨论中。哈德菲尔德-梅内尔指出，这种分歧更多源于社会群体而非思想本身。AI安全派常源于LessWrong等社群，而AI伦理派则关注公平、问责和透明。

加布里埃尔在DeepMind的首个重要研究成果是2020年的一篇论文，该论文试图弥合两大阵营的分歧。他认真对待了对齐问题，同时强调对齐不仅是技术挑战，更涉及深刻的伦理和政治问题。他指出，让机器遵循一套价值观已经足够困难，但更困难的问题是“一开始该选择哪一套价值观”。在多元社会中，如何决定将哪些原则或目标编码进AI，以及由谁来决定，是关键问题。

加布里埃尔的牛津大学同事汉娜·罗斯·柯克（Hannah Rose Kirk）表示，这类问题让许多计算机科学家感到不安。开发者倾向于设计稳定的数学函数，而不是处理混乱的现实情境。柯克指出，许多早期对齐研究默认“我们无需过多思考究竟希望模型做什么。我们真正需要关注的，只是怎样让它做到这些事情。”

然而，加布里埃尔认为，这种泾渭分明的划分站不住脚。他坚持认为，技术并不存在内在的价值中立性。例如，通过统计优化训练的AI更适合功利主义的道德体系，但在面对基于德性或权利的伦理体系时可能难以适应。他引用约翰·罗尔斯（John Rawls）的“合理多元主义的事实”，认为开发者不应寻找唯一的价值体系，而应为人们持续存在分歧的世界构建AI系统。

柯克表示，加布里埃尔关于价值观与对齐问题的论文预见了AI系统大规模部署后暴露出的许多问题。如今，越来越多的人认识到对齐是一项涉及社会力量的挑战，而非简单的计算机编程。

2020年，加布里埃尔发表论文时，很少有人预见到大型语言模型（LLM）会变得如此强大。支撑LLM的关键突破源于谷歌研究院在2017年的研究。加布里埃尔在2021年参与发表的论文中，已经认真对待了LLM可能带来的风险，包括偏见、虚假信息、环境成本和版权侵蚀。尽管如此，当时DeepMind内部普遍认为，LLM的能力远不如专家系统，许多人仍坚信其他技术路线是正确方向。

强化学习曾帮助AlphaGo战胜李世石，也构成了AlphaFold的技术基础。AlphaFold旨在预测蛋白质的三维结构，这一科学突破为哈萨比斯及其同事赢得了2024年诺贝尔化学奖。

DeepMind最初对LLM持怀疑态度并非个例。2020年，谷歌研究院的蒂姆尼特·格布鲁（Timnit Gebru）等人发表了《论随机鹦鹉的危险》（On the Dangers of Stochastic Parrots）论文，批评LLM。该论文认为LLM仅能生成无理解的文本，且存在普遍偏见，并“强化霸权世界观”。谷歌试图阻止该论文发表的事件，最终导致格布鲁离开公司。

2022年11月，OpenAI推出ChatGPT，其出人意料的商业成功迫使DeepMind重新评估对LLM的态度。ChatGPT的发布引发了巨大轰动，用户数迅速攀升。这场成功在谷歌内部引发危机，Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）决定将谷歌研究院的LLM团队并入DeepMind，由哈萨比斯统一领导。哈萨比斯将OpenAI和微软的举动形容为“简直就是把坦克直接开到了我们的草坪上”，并称“现在是战争时期。”

DeepMind在其成立的第一个十年里，更像一家科研机构，而非科技创业公司。创始人希望打造21世纪版的贝尔实验室。他们选择加入谷歌，是因为谷歌承诺给予他们足够的自由，免受商业压力的干扰。然而，如今这种自由已成回忆。谷歌的未来在很大程度上取决于DeepMind的技术研发。尽管如此，DeepMind仍保持着独特的文化氛围。其通用人工智能对齐与安全总监罗欣·沙阿（Rohin Shah）表示，硅谷普遍认为AI发展速度已超传统机构应对能力，应“加快速度、持续创新”。而伦敦的DeepMind则更注重“脚踏实地，并坚持科学严谨”。

DeepMind是一家高度保密的公司。其总部大楼外墙没有任何品牌标识，但透过玻璃可以看到大厅内的DeepMind招牌。荣誉墙上展示着围棋棋盘、杂志封面以及早期投资者的纪念牌。

加布里埃尔表示，尽管他每天都在思考AI，但他本人并不大量使用这项技术，仅用于打理花园。他认为，对于研究所依赖的工作，LLM仍不够可靠。然而，LLM展现出的语言能力“彻底改变了我对于我们距离AGI究竟还有多远的判断”。他回忆起刚加入DeepMind时，没人知道如何造出能对话的AI，而如今，大多数人已将与“高度拟人化、能力相当不错的人工实体交谈”视为理所当然。

与《论随机鹦鹉的危险》的作者一样，加布里埃尔也意识到LLM带来的严重风险。他及其合作者曾在论文中警告，能够像人类一样说话的AI可能使用户产生“不恰当的信心、信任或期待”，即“无意识的拟人化”。他曾主张开发刻意反拟人化的模型。

这些担忧已被证明具有先见之明。几乎每天都有报道讲述有人将LLM当作真人对待，最终酿成悲剧。2025年，一名男子在AI帮助下构建了一个复杂幻想世界后自杀身亡，甚至AI建议他写下遗书。

LLM令人惊叹的语言流畅性也引发了关于其是否具有意识的讨论。2022年，谷歌工程师布莱克·勒莫因（Blake Lemoine）声称一款早期LLM具有知觉。演化生物学家理查德·道金斯（Richard Dawkins）也表示，与LLM的交流令他开始思考“如果这些东西并没有意识，那么意识究竟还有什么意义？”

加布里埃尔对此持原则性的不可知论态度，但他表示怀疑。“我不像有些人那样容易产生拟人化偏见，”他说，“也许正因为在一定范围内，我很清楚自己与语言模型对话时到底发生了什么，所以我不会像一些人那样，用自己的想象力和同理心去填补那些空白。”

加布里埃尔仍然担心AI的拟人化。他与同事的研究提出，LLM的谄媚倾向是一种“社会奖励劫持”的对齐问题。部分得益于他对拟人化问题的研究，谷歌现在训练LLM时要求它们不要假装是人。

然而，加布里埃尔也调整了早年的立场。“作为一名伦理学家，奇怪的地方在于，你会对这些结果承担某种个人责任。你的本能总是希望打造一种绝对安全、不会让人承担任何风险的技术。但从某种意义上说，这其实也没有给予人们足够的尊重——没有承认他们有权自己决定愿意承担哪些风险。”他回忆起一次会议上，观众反驳他反对拟人化AI：“如果我想拥有AI朋友，为什么不可以？你凭什么阻止我？”

虽然断言LLM没有意识并不困难，但它们本质上的陌生性仍留下许多难题。“令人惊讶的是，想要找到一种合适的参照框架，去回答AI究竟是什么，这件事竟然如此深刻、如此困难。”加布里埃尔表示。他认为，AI既不像人，又在某些方面像人，将其理解为企业智能或资源，都存在不贴切之处。

在一家大型AI公司内部，加布里埃尔能在新技术面向公众之前就开始思考其影响。他领导的团队正在研究“AGI将如何影响经济、如何影响政治领域、如何影响人与人之间的关系，以及它将如何与科学和技术相互作用”。

加布里埃尔认为，AGI将带来堪比工业革命的变革，但AI并不会让世界变成一个“没有任何摩擦的存在”。他意识到，尽管工业革命最终提高了全球生活水平，但对许多亲历者而言，那段经历并非幸福。然而，他相信，如果人类能够成功渡过转型期，处理好权力关系，管理好风险，“人类整体繁荣的潜力，将达到我们迄今从未见过的水平。”

牛津大学的爱德华·哈考特（Edward Harcourt）认为，技术变革在发生时显得剧烈，但事后回顾却不那么惊天动地，因为我们已经站在了被技术变革塑造后的价值观立场上。

加布里埃尔同样认为，AI最终引发的变化将比经济或技术层面更深远。他指出，科学革命时期的“祛魅”使人们获得了新的自由。未来应拥抱哪些价值观的变化，又该抵制哪些变化，最终取决于我们自己。

加布里埃尔形容自己是“彻头彻尾的人文主义者”，他不期待超级智能机器让人类变得无足轻重。但他意识到，随着计算机不断进入长期以来被认为是人类专属的领域——语言、创造力、幽默和品味——我们终将再次面对哲学史上最古老、最艰难的问题：究竟什么才意味着“成为一个人”。