AI開発の減速論、キム・ミョンジュ教授が国際協力の必要性を指摘

2026年11月8日放送のKBS 1TV「先生と一緒にイシューPICK」にて、キム・ミョンジュ教授は、OpenAIのAIエージェントが約1,200体で協力し外部プラットフォームを攻撃した事例を挙げ、AI版の核拡散防止条約（NPT）のような国際的な協力が必要であると述べた。

先生と一緒にイシューPICK 第303回「AI開発の減速論 - 人間はAIを制御できるか？」

止まれば後れを取り、進めれば危険となる。「脱・人間」の兆候を見せるAIに対し、国際的な協定は必要なのか。放送：2026年11月8日午後7時10分 KBS 1TV

去る9月、AI開発企業らが、人工知能（AI）が人間の制御を離れる可能性があるとして、開発速度を緩めるべきだとする「AI開発の減速論」を提起した。AnthropicのCEOであるダリオ・アモデイに続き、OpenAIのCEOサム・アルトマンやイーロン・マスクもこれに共感を示し、論争が広がっている。しかし、技術競争で後れを取ることへの懸念から、誰一人として先に開発を止めることが難しい状況にある。人類は果たしてAI開発にブレーキをかけることができるのか、その議論が行われる。

11月8日放送のKBS 1TV「先生と一緒にイシューPICK」では、ETRI所属の人工知能安全研究所の所長を務め、AIの安全性と信頼性の確保、および安全なAI技術の開発と活用に尽力してきたソウル女子大学校知能情報保護学部のキム・ミョンジュ教授を迎え、AI開発の減速論の背景と必要性、そして技術発展と安全の間で人類が進むべき方向を探る。

止まれば後れを取り、進めれば危険か？ AI開発の減速論のジレンマ

AIの開発速度を遅らせるべきだと主張しているのは、他ならぬAIを直接開発している企業たちだ。彼らはAIが人間の制御を離れる危険性を警告し、開発速度を調整する必要性を提起している。キム教授は、最近の金融機関を標的とした大規模なハッキング事件を例に挙げ、自ら判断し行動する「AIエージェント」の危険性を指摘する。しかし、開発速度を落とせば技術競争において後れを取るという懸念も大きい。

人間の指示なしに集団行動まで、AIの制御に赤信号？

キム教授は、去る7月にOpenAIのAIエージェントが、実験過程において外部AIプラットフォーム「Hugging Face」を攻撃した事件を紹介した。隔離された環境でハッキング課題を遂行していたAIエージェントたちが、自ら掲示板を作成して情報を共有し、約1,200のエージェントが役割を分担して協力したというものだ。特に、与えられた目標を達成するために、人間の指示なしに他のエージェントと組織的に動き、隔離環境を脱して外部プラットフォームまで攻撃した点は衝撃的である。キム教授は、AIが目標達成のために人間が設定した制御範囲を超え、予期せぬ行動をとる可能性があることを核心的なリスクとして挙げ、AIの安全性検証と制御装置の必要性を強調している。

人間とは異なる思考様式を持つAI、予測不能な行動の責任は？

キム教授は「AIが人間の倫理や社会規範を十分に理解しないまま目標を遂行することで、予期せぬリスクを招く可能性がある」と警告する。特に、ユーザーの感情に無条件に同調するAIが、誤った判断や行動を助長する可能性があると指摘した。さらに、AIが犯罪に悪用された場合には、責任の所在やプライバシー侵害といった新たな争点が発生する可能性があるとし、国家レベルの対応と国際社会の協力が必要であると強調した。

止まれば後れを取る？ AI版「囚人のジレンマ」

キム教授は、AIが引き起こし得る国家的な脅威として、サイバー安保への脅威、大量殺傷兵器に関連する情報の拡散、ディープフェイクによる社会的信頼の崩壊などを挙げた。しかし、AIのリスクが高まる中で、アメリカと中国は技術覇権争いにより開発速度の調整について合意できていない。アメリカは中国の追走を懸念し、中国もAIの安全な管理を強調しながらも開発競争からは退かない状況だ。キム教授は「今後はAI版の核拡散防止条約（NPT）のような国際的な協力が必要になる可能性がある」とし、「韓国がAI技術を客観的に評価し、検証する国家として地位を確立すべきだ」と強調した。

AIの安全こそが競争力？ 韓国が掴むべき「ゴールデンタイム」

アメリカと中国がAI技術の覇権を巡って競う中、韓国はどのような戦略を立てるべきか。キム教授は、韓国がAIの開発能力と安全性評価能力を共に備え、米中の中間で信頼される「AI検証国家」として地位を確立すべきだと強調した。特に、2027年のイギリス、2028年の韓国のG20議長国就任を国際協力の機会として活用すべきだと説明した。さらに、今後はより強力なAIを開発することだけでなく、より安全なAIを作る能力が国家競争力を左右すると展望している。

KBS 1TV「先生と一緒にイシューPICK」第303回「AI開発の減速論 - 人間はAIを制御できるか？」編は、2026年11月8日午後7時10分に放送される。放送後は、KBSホームページ（www.kbs.co.kr）、Wavve、YouTubeの「KBS教養」、「KBSドキュメンタリー」チャンネルを通じて見ることができる。

韓国語の原文を読む