执行摘要

本报告认可激励美国军方追求技术优势并超过所有潜在对手的必要性，但同时又强调这种优势并不等同于安全。核武器、航空和数字信息系统方面的经验，也可用于探讨当前控制人工智能、合成生物学和自主系统的努力。从这个角度，最可能出现的结果是，如果引入了复杂、难懂、新颖和交互式技术，将会引发事故、产生涌现效应和造成破坏。总之，美国国家安全机构将会在许多场合和以多种方式，失去其对所创之物的控制。

我们不断追求技术优势存在一个强大的理由，即这种优势有助于增强我们的威慑力。但是，威慑这种战略旨在减少攻击，而非减少事故；旨在劝阻恶意，而非劝阻疏忽大意。事实上，技术创新之后，接踵而至的几乎必是技术扩散。由于技术扩散会将巨大的破坏力置于他人之手，而他们的安全优先顺序和标准可能不如我们完备，而且缺少资金，因此相互作用数量与复杂程度的增加将会给我们带来更多风险。

因此，当我们朝着自己的主要目标——即追求优势——奋力迈进，它势必会增加而不是减少失控的附带风险。很遗憾，本报告认为我们无法可靠判断产生的风险。更糟糕的是，我们还没有哪种途径可有效将其化解，甚至无法阻止风险的增加。以往人们常常提到到一种辅助性的方法，就是在涉及新技术的运作中引入“人为介入环节”，其好处现在看来是微乎其微，而且在不断减少。

但是，我们对此并非束手无策。随着问题得到越来越多的关注，美国军方至少应该抑制事故增多的可能性，并减少事故发生时的不利后果。设定美国将会成为事故、涌现效应和破坏的受害者，它则应该改进其计划，以应对此类后果。这将涉及到重新分配我们军队的巨大能量，将原本用来应对恶意行为而投入的一部分转为做好计划以应对疏忽大意的行动以及相关活动。

美国国防部和情报机构设计的技术和系统不仅要能提高效率和效力，而且还要更多关注如何减轻失效的后果，并建设弹性的恢复能力。数字信息系统普遍缺乏安全性，应能客观说明当我们对一项新技术产生依赖后（而不是在进行设计的时候），进行失控管理不仅代价极高，而且有时无法做到。

最不容易的是美国还必须与对手合作，帮助他们做好控制并尽量减少发生事故的风险。二十一世纪的技术具有全球性，这不仅是指分布状况，而且也体现在后果方面。他人意外释放的病原体、计算机病毒、辐射以及推出的人工智能系统，同样也会危及我们。要化解共同面临的多种风险，我们必须执行一致的报告系统、共享的控制、共同的应急计划、规范和条约。鉴于采取这些重要措施存在困难，我们应认识到其中的最大挑战不是构建我们与技术的关系，而是构建我们彼此之间的关系。

这些观点虽针对的是国家安全领域，但相关反思和建议应超越特定领域，对新技术危险性控制方面的所有讨论产生影响。

理查德·丹泽是约翰霍普金斯大学应用物理实验室的高级研究员，曾在克林顿政府时期担任海军部长。

阅读报告全文