假未来有哪些通关方法，

我的科学观｜王国豫：从“奥本海默纠结”看科学技术的伦理问题

·现代科技的自由是相对且有限度的，超越限度所获得的将不是自由而可能是毁灭。在科学技术突飞猛进的今天，特别要看到科学技术后果的不确定性。

克里斯托弗·诺兰执导的传记电影《奥本海默》8月30日在中国大陆上映。

8月30日，著名导演克里斯托弗·诺兰（Christopher Nolan）的传记电影《奥本海默》终于在中国大陆与观众见面了。

罗伯特·奥本海默（J. Robert Oppenheimer）被称为“原子弹之父”。他原本是美国加州大学的一位理论物理学家，在那个特定的年代，他接受了一项特定的任务：研制原子弹。

事情的缘由是这样的：

1938年，德国化学家奥托·哈恩（Otto Hahn）和弗里兹·施特拉斯曼（Fritz Strassmann）共同发现了核裂变现象，随即又发现其背后的理论原理。这使得人们非常担心纳粹德国会先造出原子弹。1939年8月，匈牙利裔物理学家利奥·西拉德（Leo Szilard）和尤金·维格纳（Eugene Wigner）联合爱因斯坦（Albert Einstein），共同起草了致美国总统罗斯福（Franklin Delano Roosevelt）的信，史称“爱因斯坦-西拉德信”，督促美国政府尽快开展核武器的研究。罗斯福随即命令国家标准局局长莱曼·布里格斯组建铀顾问团，详议“爱因斯坦-西拉德信”提及的问题。同年11月，这个顾问团回禀罗斯福称，铀“或可被制成炸弹，其破坏力将远大于目前所知的任何武器”。但是当时即便是那些科学家，也并不完全了解铀裂变的性质，整个计划充满着未知数。1941年日本偷袭珍珠港之后，美国对日德宣战，加速了整个原子弹研究计划的进行。1942年5月，加州大学理论物理学家罗伯特·奥本海默接手相关研究工作。同年8月，他被任命为研制原子弹的“曼哈顿计划”（Manhattan Project）首席科学家。1945年7月，在奥本海默的主持下，世界上第一颗原子弹问世。

当原子弹变为现实，并投放成功的时候，奥本海默自己却陷入了自我道德评价的纠结困境。在20世纪60年代的一次接受采访中，奥本海默表示，在爆炸发生后的时刻里，他脑海中浮现出了印度教经典《薄伽梵歌》中的一句话：“而今我成了死神，世界的毁灭者。”在1945年10月的一次会议上，他对美国总统杜鲁门（Harry S.Truman）说了这样的话：“我觉得我的双手沾满了鲜血。”总统后来说：“我告诉他，血在我手上——让我来操心这个问题。”在奥本海默生命的最后的时间里，他既对核弹的技术成就感到自豪，也对它的影响心怀愧疚。他后来也有一种认命之情，他不止一次地表示，原子弹的发明是不可避免的，但他也非常清醒认识到，科学不能仅仅是科学，科学需要更好地理解其自身的含义，为此，在他的团队里，还招募了一大批非科学专业人士，包括古典学家、诗人和心理学家。

不止奥本海默，最初建议制造原子弹的匈牙利裔物理学家利奥·西拉德，后来则与其他科学家一起试图阻止美国使用核武器，签署了著名的《弗兰克报告》。爱因斯坦也因为美国发展出的原子弹导致了许多平民的死亡而感到后悔。爱因斯坦后来写道：“在我们这个时代，科学家和工程师担负着特别沉重的道义责任，因为发展大规模破坏性的战争手段有赖于他们的工作和活动。”

“虽然我们赢得了战争，但是没有赢得和平。”爱因斯坦的这句话非常值得人深思。我们知道制造原子弹最初的目的是为了和平，但是二战以后的情况证明了爱因斯坦的洞见：原子弹的出现并没有赢得和平，反而促使军备竞赛不断升级，战争的威胁越来越大。

奥本海默、原子弹，这是科学史甚至是人类历史上的重大事件，但作为一个典型案例，它首先提醒我们，现代科学的性质已经发生了改变，与希腊科学作为无功利的、自由探索的知识体系相比，现代科学已经成为一种力量，用培根的话来说，知识就是权力，用海德格尔的话来说，现代科学本质上已经成为一种Betrieb, 也就是一种有组织有计划有目的有价值指向的活动，原本相分离的科学和技术也越来越紧密地纠缠在一起，成为你中有我我中有你的科技或“技科学”。与此同时，它也向我们敲响了警钟，越来越清晰地告诉人们：科学技术给人类带来的不完全是福祉，科学技术也可能跟灾难、毁灭相伴随。尤其是在科学技术突飞猛进的今天，我们特别需要看到科学技术本身的“两面性”，看到科学技术后果的不确定性。

科学技术带来的不确定性体现在多个方面：首先，科学技术本身具有可塑造性，按照符合逻辑的方式，科学技术可能实现不同的功能。 其次，科学技术发展过程的复杂性所带来的不确定性。现代科学技术是多元主体参与的活动，不同学科背景、不同价值取向主体的介入，使得各个主体之间往往难以完全理解。第三，科学技术发展过程受到诸多因素影响，如政治、市场、政策等，这些因素的叠加使得科学技术创新获得了空前的发展速度，承受着应用的压力。第四，科学技术发展的不确定性还与其发展的范围有关，表现出全球化发展态势与各国发展差异的共存，这种状况又可能会引发人类的其他矛盾和冲突。

比尔·乔伊（Bill Joy），太阳（Sun）微系统公司联合创始人和首席科学家，他在 2000 年的时候就发出警告说：“未来不需要我们。”那个时候，世界各国正在轰轰烈烈地开展纳米技术的竞争。在他看来，用纳米技术进行破坏活动要比进行建设活动容易得多，未来人将越来越依赖于机器，而控制大型机器系统的却是极少数精英阶层。从上世纪 50 年代开始的核技术和生物技术对人类的深度干预，到近几十年迅猛发展的纳米技术和人工智能所展现的巨大威力，激发起人们对它的危害性的警觉和对“技术撬动世界”的狂妄的批判，也成为科技伦理反思和治理的起点。

我们知道，科学技术活动本质上追求的是创造性。而创造性本身是一个带有摧毁性甚至毁灭性的概念，只要我们仔细审视“创造性”这个概念的含义就会发现，创造性与我们所讲的规范、秩序、先验规则等范畴是不相融合的。哲学家尼采就认为，一个人想要成为创造者，那么他必须同时既是善的也是恶的：事实上，他必须首先是一个毁灭者并且是价值的摧毁者。

我们以合成生物学为例，合成生物学被看作是生命科学技术前沿的“黑科技”。如果说传统的生命科学技术还以“读”懂生命的密码为目的，那么，合成生物学则已经开启了对生命这本神秘之书从“读”到“写”，再到“编辑”的新篇章。合成生物学的目的是设计生物系统和生命有机体。它具有工程学的特征：即“在人工设计的指导下，对生物元件进行标准化的表征，建立通用型的模块，在简约的‘细胞’或‘系统’底盘上，构建人工生物系统并实现其运行的优化”，因此具有工程化、系统化和标准化的特征。这不仅在认识论层面突破了“格物致知”的生命科学研究范式，而且开启了“构物致知”的新的研究范式——边改造、制造，边认识，甚至先改造、制造，后获得知识。

这种先技术后科学的所谓“技科学”（technoscience）模式，虽然从知识的获取上开辟了新的途径，具有重要的认识论价值，但是对于风险的管控来说，却是异乎寻常的挑战。数十亿年演化而来的生命，可以在实验室通过人工的形式实现。在某种意义上，人从 Homo Faber（工匠人），变成了 Homo Creator， 成为生命的创造者或“造物主”，生命成为像机器一样可以制造的人工物。这一过程的实现完全颠覆了我们对生命的理解，使得合成生物既具有人工物的特征，又具有生命系统的特征：一方面生命可以被看作是一架由各种生物元件组成的机器，是可以被设计、可以标准化复制并批量生产的人工系统；另一方面，合成的生物（或生物元件）保留了生命的自我分裂和自我繁殖的特征——这也就意味着，作为人工物的输入——输出和反馈的循环将被打破。如此一来，它又不是人类可以随心所欲控制的。因此，一旦我们设计错了，或者编辑错了，其过程就是不可逆的，极有可能对人类的存在构成威胁。

2022 年 11 月 30 日，美国OpenAI 推出的全新的对话式通用人工智能工具ChatGPT 上线后，立即惊艳全球，展现了惊人的应用场景和前途。一方面是大语言模型的巨大能力，另一方面这一巨大能力也可能转化成巨大风险。ChatGPT具有可泛化性，即由于其参数量极大，模型的能力可以惠及诸多领域，当然其问题也会被下游模型所继承，带来“一荣俱荣，一损俱损”的效果；而ChatGPT的泛在性，特别是与移动终端连接后，用户可以时时处处自由地与ChatGPT聊天互动，获取各类信息与知识，完成各类任务。如果治理不到位，数据泄露，功能僭变，身份冒用、伪造诈骗等问题，有可能会以更加隐蔽的方式出现，什么是真的什么是假的、什么是我们可以相信的会变得更难以辨别。而这样的结果必然是对我们生活方式、存在方式，我们的真理观、世界观的改变甚至颠覆。也就是说大模型所突破的绝不仅仅是以往的技术框架，也终将改变人类和世界的关系。

许多科技巨头也看到了大语言模型的颠覆性力量，认为大模型存在着大风险，于是千人联名提出要 “暂停高级AI研发”。然而，必须注意到的是，科学技术发展本身具有强劲的“动力源”，人类对自然的无穷无尽的探索精神，经济赋予它的永不停息的推动力，都是这种“动力源”的重要组成部分。而另一方面，一项技术的社会后果不能在技术生命的早期被准确预见，当不希望的后果被发现时，技术却往往已经成为整个经济和社会结构的一部分，以至于对它的控制十分困难。这就是我们常说的“科林克里奇困境”。

正因为如此，世界各国都越来越多地重视科技伦理。“解放了的普罗米修斯正在呼唤一种能够通过自愿节制而使其权力不会导致人类灾难的伦理”。“预防原则”、“负责任创新”、“伦理先行”等概念或原则的提出，都是希望能够尽可能地从源头上加强对科学技术发展方向的把控。一方面要推动科学技术造福于人类社会，另一方面要避免科学技术带来的“福音”走向其反面。我们不仅要仰望星空，还要心怀道德律、敬畏感。科学技术的自由是相对的、有限度的，超越了这一限度我们所获得的将不是自由而是毁灭。

（作者王国豫，系复旦大学哲学学院教授，中国科协-复旦大学科技伦理与人类未来研究院院长。兼任上海市自然辩证法研究会理事长，中国伦理学会科技伦理专业委员会副主任，中国计算机学会职业伦理与学术道德委员会共同主席等。研究方向为应用伦理学，科技伦理、生物医学伦理等。）