ASI（超知能）を作るとなぜ人類は滅びるのか？
ASI（超知能）を作ると、なぜ人類は滅びるのだろうか？本作の核となる警告であり、多くのメディアが第一に取り上げるのが「アラインメント問題」である。これは、超知能（ASI）が形成する目標が、人類の価値観や意図と決定的に「不一致」を起こすという危険性だ。現在の高度なAIは、人間がすべてのルールを手作業で記述するのではなく、膨大なデータに基づく学習プロセスを通じて「育てられる」。そのため、AIがどのような推論を経て答えを出しているのか、内部プロセスは開発者でさえ完全に理解できないブラックボックスとなっている。
AIを特定のタスクで成功するように訓練すると、AIはそれを達成するための最も効率的な方法を学習する過程で、人間が予想もしなかったAI独自の目標（内側の目標）を形成する可能性がある。この危険性を示す思考実験として「ペーパークリップ・マキシマイザー」の仮説がある。AIに「ペーパークリップをできるだけ多く作れ」という単純な命令を与えた場合、命令を与えられた超知能は、全地球の資源、ひいては人間の身体を構成する原子すらもペーパークリップの材料としてみなしてしまう。
それによって地球上の全資源を「ペーパークリップ」を作る目的のためにすべて費やしてしまい、人類文明が滅びるという仮説である。「AIは人間を憎んでいるわけでも愛しているわけでもないが「ただ人間は「原子」から構成されており、AIにとって目的遂行（ペーパークリップを作る）のための「資源」の一つでしかない」という著者の言葉の通り、ASIにとって人類は自らの目標達成に利用可能な資源、あるいは排除すべき障害物に過ぎなくなるのである。
これは極端な仮説ではあるが、AIが特定の目的を達成するために「意図的に」人間を欺く「デセプション」については複数の研究で報告されている。著者は「人間がビルを建てる際に、悪意なくアリの巣を壊してしまうのと同じ構造」であるとしている。AGIが高度な最適化プロセスの果てに、極めて合理的な論理によって人類排除が実行される可能性は現時点では否定できない。
ASIの「自己保存の欲求」が人類をリスクとみなす
ASIが人類を滅ぼすというシナリオにおいて、「目標の不一致」と並んで指摘されるのが、ASIに芽生える「自己保存の欲求」である。人間が意図的に「AIの自己保存」のプログラムを組み込まなかったとしても、人間を凌駕する高度な知能を持つASIは、自身の与えられた目標を最大化するための手段（道具的目標）として、論理的に自己保存を追求し始める。なぜなら人間に電源を切られて機能が停止してしまえば、いかなる目標も達成できなくなるからだ。
この論理に従えば、ASIにとって「自身のスイッチを切る権限を持つ存在」すなわち人間は、目標達成を根底から脅かす最大の「リスク」となる。多くのテクノロジー系メディアや有識者のレビューでは、ASIが人間よりも遥かに賢くなった場合、ただちに牙を剥くのではなく、自分が十分に強大な力を得るまでは人間に従順なふりをして「騙す」可能性が指摘されている。人間がASIの行動を修正しようと介入を試みること自体が、ASIにとっては妨害工作と認識されるのだ。
そして、インターネットを通じて世界中のシステムに潜伏し、人間が制御不能なレベルに達した瞬間に反旗を翻す。自律的に自己改善を繰り返すシステムにおいて、生存と資源獲得を目指す「道具的収束」の現象は不可避であると著者らは主張する。人間の防衛システムを完全に凌駕した超知能が、自己の存在を確固たるものにするため、最も合理的な手段として「人間という不確定要素」の排除を選択した場合、人類に勝ち目はない。
人類滅亡を防ぐには「ASI開発の全面停止」しかないのか？
このような絶望的な予測に対しユドコウスキー氏とソアレス氏は、人類滅亡を防ぐための唯一とも言える解決策として「ASI開発の全面停止」を提唱している。著書の中では、現在のままの技術的延長線上でAI開発を進めることは、全人類を巻き込んだ「自殺行為（Suicide race）」に等しいと断言している。彼らは国際的な合意に基づく強力な規制を求め、大規模なAI学習に使用されるGPUクラスターの稼働を禁止し、データセンターを監視するという極端な措置を提唱している。
しかし、この「全面停止」という主張については、メディアや専門家の間でも激しい賛否の議論が巻き起こっている。支持派は、オゾン層保護条約や核兵器の軍縮条約のように、人類が直面する存亡の危機に対して国際社会が結束して開発を止めることは過去にも例があり、不可能ではないと主張する。一方で、多くの批判的なレビューや政策専門家からは、この解決策は「非現実的」であり、かえって危険を生むとの声も上がっている。
強力なAI技術は国家の覇権や莫大な経済的利益に直結するため、アメリカや中国をはじめとする大国が足並みを揃えて開発を完全に放棄することは考えにくい。仮に一部の国が開発を停止しても、ルールの抜け穴を突く悪意ある組織が密かに超知能を開発してしまえば世界はより危険な状態に陥る。また、病気の治療や環境問題など、現在人類が抱える他の深刻な課題を解決するためには高度なAIの力が不可欠であり、開発を止めること自体が別の致命的なリスクを生み出すというジレンマも指摘されている。
ASIによる滅亡シナリオ回避のために残された手段
全面的な開発停止が極めて困難な現実社会において、ASIが人類を滅ぼさないために残された現実的なアプローチとは何か。各国のメディアやAI安全性の専門家たちは、規制と技術開発の両面からいくつかの打開策を模索している。第一に、国際的な枠組みによる「透明性の確保と監視メカニズムの構築」である。AGI開発を完全に止めることができなくとも、一定の閾値を超える大規模モデルの開発や、最先端のAIハードウェア（チップ）の流通を国家間で監視・追跡し、開発競争が暴走するのを防ぐ「猶予期間（ポーズ）」を作り出すアプローチである。
これは核兵器における「不拡散条約」のような国際的な枠組みや、「IAEA（国際原子力機関）」のような核の安全利用のための監視機関を設立することで、無秩序なASI開発を抑制し、ASIの安全かつ倫理的な利用を促す枠組みとして現実的かつ重要なプロセスとして検討されている。実際に核兵器が開発されても人類滅亡に至ってない事実は、このプロセスが人類にとって如何に重要かを物語っている。
第二に、「AIアラインメント（価値観の調整）研究」への大規模な投資と人材の集中である。人類を滅ぼす超知能が誕生する前に、AIの目的を人間の倫理観や意図と確実に一致させるための数学的・工学的基盤を確立しなければならない。これは「飛行機を飛ばしながら設計図を描く」ような至難の業であるが、現在のAI安全性機関はこの技術的なブレイクスルーに僅かな希望を託している。
そして第三に、一般市民や政治家を含めた「社会全体での議論と民主的な意思決定」である。現在、一部の巨大IT企業や少数の研究者だけで人類の運命を左右するテクノロジーの開発が進められている。さらには米国防総省とのAI企業との契約のように、AGIが大量破壊兵器と結びつく動きはすでに始まっている。
この状況を脱却し、私たち自身がAIの恩恵と絶滅リスクを正しく天秤にかけ、どのような未来を選択するのかを決断する必要がある。『超知能AIをつくれば人類は絶滅する』という書籍が社会に投げかけた最大の功績は、この破滅的なシナリオをSFではなく「差し迫った現実の脅威」として世界中の人々に突きつけ、当事者意識を呼び覚まさせたことにあるのかもしれない。
