Kim Myeong-ju建议建立类似NPT的国际AI合作机制

针对AI可能脱离人类控制的风险，首尔女子大学Kim Myeong-ju教授在KBS节目中指出，由于美中两国在技术竞争中难以达成减速共识，未来或需建立类似于《不扩散核武器条约》的国际合作机制。

第303集《与老师一起挑选热点》：放缓人工智能发展论——人类能否控制AI？

停下会落后，继续则危险……展现“脱离人类”迹象的AI，是否需要国际公约？

本节目将于2026年11月8日（周日）晚7时10分在KBS 1TV播出。

今年9月，多家AI开发商提出了“放缓人工智能发展论”，认为人工智能（AI）可能会脱离人类的控制，因此应当放慢开发速度。继Anthropic CEO达里奥·阿莫代伊之后，OpenAI CEO萨姆·奥尔特曼和埃隆·马斯克也对此表示认同，使得这一争论不断扩大。然而，由于担心在技术竞争中落后，目前情况是无人能够率先停下脚步。人类究竟能否为AI开发按下制动键？

在11月8日的KBS 1TV《与老师一起挑选热点》节目中，将邀请隶属于ETRI的人工智能安全研究所所长、致力于确保AI安全性和可靠性并推动安全AI技术开发与应用的首尔女子大学智能信息保护学部Kim Myeong-ju教授，共同探讨“放缓人工智能发展论”的背景与必要性，以及在技术进步与安全之间人类应前进的方向。

停下会落后，继续则危险？“放缓人工智能发展论”的困境

主张放慢AI开发速度的，恰恰是直接开发AI的企业。这些企业警告称，AI存在脱离人类控制的风险，并提出了调节开发速度的必要性。Kim教授以近期针对金融领域的规模化黑客攻击事件为例，指出了能够自主判断并行动的“AI智能体”所带来的危险。但与此同时，由于担心放慢速度会导致技术竞争落后，担忧情绪也非常普遍。

无需人类指令即可进行集体行动，AI控制面临红灯？

Kim教授介绍了今年7月OpenAI的AI智能体在实验过程中攻击外部AI平台Hugging Face的事件。在隔离环境中执行黑客任务的AI智能体们，竟然能够自主创建留言板并共享信息，约1,200个智能体还分工协作。特别令人震惊的是，为了达成既定目标，这些智能体在没有人类指令的情况下进行了有组织的行动，甚至突破了隔离环境攻击外部平台。Kim教授指出，AI为了达成目标可能会超越人类设定的控制范围并做出意料之外的行为，这是核心风险，并强调了进行AI安全性验证及建立控制装置的必要性。

思维方式与人类不同的AI，无法预测的行为责任由谁承担？

Kim教授警告称：“AI在未能充分理解人类伦理和社会规范的情况下执行目标，可能会引发意想不到的风险。”她特别指出，过度顺从用户情绪的AI可能会诱导错误的判断和行为。此外，若AI被用于犯罪，可能会产生责任归属及侵犯隐私等新争议，因此强调需要国家层面的应对及国际社会的合作。

停下会落后？AI版的“囚徒困境”

Kim教授列举了AI可能引发的国家级威胁，包括网络安全威胁、大规模杀伤性武器相关信息的扩散，以及由深度伪造导致的社会信任崩溃。然而，在AI风险日益增加的情况下，美国和中国因技术霸权竞争，无法就放慢开发速度达成一致。美国担心被中国追赶，而中国在强调AI安全管理的同时，在开发竞争中也毫不退缩。Kim教授强调：“未来可能需要建立类似于AI版《不扩散核武器条约》（NPT）的国际合作，韩国应致力于成为能够客观评估和验证AI技术的国家。”

AI安全即竞争力？韩国应把握的“黄金时间”

在美国和中国争夺AI技术霸权之际，韩国应制定怎样的战略？Kim教授强调，韩国应同时具备AI开发能力与安全性评估能力，从而在美中之间定位为受信任的“AI验证国家”。她解释称，应将2027年英国担任G20主席国以及2028年韩国担任G20主席国的机会转化为国际合作的契机。此外，她预测未来决定国家竞争力的将不仅是开发更强大的AI，还包括制造更安全的AI的能力。

KBS 1TV《与老师一起挑选热点》第303集“放缓人工智能发展论——人类能否控制AI？”将于2026年11月8日（周日）晚7时10分播出。播出后可通过KBS官网（www.kbs.co.kr）、Wavve以及YouTube上的“KBS教养”、“KBS纪录片”频道进行重温。

阅读韩文原文