人工智能会给人类带来灾难性的风险吗？开宗明义，答案是：可能性是有的。
随着人工智能技术的快速进步，伴随而来的风险也越来越大，特别是自ChatGPT出现之后，其强大的推理能力在让人震惊之余也引起了人们的广泛忧虑。由Geoffrey Hinton和Yushua Bengio等一众大佬发起的签名活动[1]，呼吁要像对待传染病和核武器一样对待未来的人工智能，以控制其给人类带来的“灭绝性”风险。
2023年10月30日，美国总统拜登发布了关于控制人工智能风险的行政命令[2]，指出强大的人工智能系统可能蕴含巨大的风险。例如，可能极大地降低制造杀伤性武器的门槛，导致武器泛滥；可能自动发现虚拟空间的漏洞并进行攻击，引发系统性瘫痪；可能通过欺骗的方式逃避人类监管，使人类对AI失去控制。
巧合的是，就在拜登发布该行政命令的第二天，由中国、印度、美国和欧盟等28个国家在首届全球人工智能安全峰会上签署通过了全球首个人工智能协议《布莱切利人工智能安全宣言》（Bletchley Declaration on AI Safety），旨在解决前沿人工智能模型可能会面临的失控和滥用的风险[3]。
如果说这些讨论还只是对潜在风险的预测，《Science》杂志在2024年4月4日发表的一篇文章则更加明确地提示了AI风险的真实可能性[4]。这篇由加州伯克利大学领衔，Yoshua Bengio和Stuart Russell等重量级学者参与的文章表明，基于强化学习得到的人工智能体有失控的风险。
所谓强化学习，是指通过设计特定的奖励信号来训练人工智能的方法，就像训练一条松狮狗一样，我们没法告诉它该怎么做，但可以通过摸摸它的头，或给它一块骨头，慢慢地狗狗就知道主人的意图了。Bengio等人认为，对于那些包含远期规划的强化学习系统，AI有可能在某些环节失控。
比如一个AI炒股系统，它学习的目标是利润最大化。这一目标没有错，但在学习过程中，AI可能会发现“断电”是不可容忍的，因为那样会导致严重的利润受损。为此，AI会想方设法防止人类给它断电，表现出的结果就是它试图逃离人类的控制。换句话说，虽然人类为AI系统设定的目标没有问题，AI也在为这个目标而努力，但由于学习能力太强，AI可能选择了一条谁都没有想到的路，这条路可能很有效，但却非常危险。
在这个故事中，人和AI都没有任何恶意，但结局却可能让人类无法承受。那么，如何防止这种意外发生呢？Bengio的文章也没有给出太好的办法，只能呼吁对AI开发进行控制，凡是可能开发出超强AI的研究机构都要上报研究计划和所用的资源。这当然是权宜之计，幸好这种风险离我们还有一段距离，科学家还有一些时间去研究更有效的防范策略。
参考文献：
[1] https://www.safe.ai/work/statement-on-ai-risk
[2] Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/
[3] 人工智能国际安全治理加速演进，https://www.secrss.com/articles/60863
[4] Cohen M K, Kolt N, Bengio Y, et al. Regulating advanced artificial agents[J]. Science, 2024, 384(6691): 36-38.
供稿：清华大学 王东
制作：北京邮电大学 戴维
审核：北京邮电大学 李蓝天