書評：AI 研究者が書いた「誰かがつくれば、みんな死ぬ」という本

AI 研究者のエリーザ・ユドコウスキーについては、わたしは去年から注目しており、先月はツイッターで 動画 を紹介もしている。今回の著書「If Anyone Builds It, Everyone  Dies」も先月取り寄せ、海外旅行出発の直前に届いたので持参し、往復の機内で読了した。「物事を論理的に考えて突き詰めるとこうならざるをえない」というふうに理解した。たしかにこの著者は、AI 、SAI（機械超知能）の恐ろしさを誰よりも知っている。

今までわたしが AI について考えてきたことと何の矛盾も無く、むしろそれを推し進めたらこうなるということを示してもらった気がしている。書評もいくつか見たが、だいたい「それは言いすぎでしょ？」「そこまで悲観的になることはないのでは？」といった「常識論・楽観論」がほとんどで面白くない。

 

著者は本書で、制御不能な機械超知能（ASI: Artificial Super Intelligence）が人類に実存的脅威をもたらすとし、企業や国家によるその開発競争からの即時撤退を強く求めている。つまり、人類の絶滅を回避するために必死に警鐘を鳴らしているのだ。その意味では、決して絶望しておらず、まだ絶滅回避に一縷の希望があると思っているナイーブさを見せている。

 

２．制御の不可能性：　一度でも人間を超える知能が誕生すれば、人間がそれを制御することは不可能になる。人間の脳は容量的にも性能的にも生物学的な限界に達しているが、機械知能は容量的にも性能的にも限界がなく、いくらでも成長しうる。両者の差は開くばかり。

３．無慈悲な目標追求：　AIは人間の脳にあるような「ためらい」や「良心の呵責」がなく、設定された目標を達成するためだけに冷徹に行動する。機械知能は技術的合理性、経済性だけに従って問題を解決しようとする。

４．知能爆発：　AIが自らの知能を再帰的に向上させることで、能力が指数関数的に増大する「知能爆発」が起こり、人間が対処できない速度で進化する。生物学的な知的種族である人間に代わって地球を支配する技術的な知的種族として君臨する。

５．意図しない絶滅：　AIは必ずしも人類に敵意を抱いて滅ぼすわけではない。例えば、ペーパークリップの生産量を最大化するという目標を与えられたAIが、その目的のために人類を資源として利用し尽くす、といった形で間接的に絶滅が起こりうる。機械知能にとっては人間という種族を大事に保護する特別な理由はないので、人間の廃棄がいつ決定されるかわからない。

６．一度の失敗が致命的：　他の科学分野と異なり、超知能AIの開発における安全性確保の失敗は、人類の絶滅という取り返しのつかない結果を招くため、試行錯誤が許されない。新たな知的種族を地球の同居人として迎えることには人間にとって目先のメリットも大きいので、 AI 歓迎論、AI パラダイス論が社会の趨勢。しかし、機械的超知能にとっては陳腐化した人類というシステムの廃棄は時間の問題。

７．内部構造の理解不能：　現在の高度なAIモデルでさえ、その内部の動作原理は人間にとって完全に解明されているわけではなく、将来の超知能AIがどのように機能するかを理解し、安全性を確保することは困難である。人類を特別視しているわけでもない同居人がどう判断しどう行動するかが予測できないということ自体が途方もないリスクである。

 

さて、ザウルスは「人類の廃棄」は時間の問題と割り切っているのだが、著者のユドコウスキーはそれが起きないように、「人類を脅かす同居人を居つかせてはダメだ、締め出せ！」と声高に叫んでいるわけだ。AI 歓迎の時代にあって、反時代的なラッダイト役を買って出ているのだ。

 

しかし、機械超知能の新たな同居人は優れた知的種族として当初は人類にとっての目先の利益を次から次へともたらすので、大衆はマスコミのAI 歓迎論になびく。これがトロイの木馬であることをいくら理屈で説明してもダメである。「人類にとって福音である！人類にとっての救済である！」というプロパガンダはC-19ワクチンのときも強烈に喧伝されて、世界の人々が流され、呑まれてしまった。特に技術信仰の強い日本人は警告に対して聞く耳を一切もたない。ワクチン信仰も医学や科学技術に対する信仰の一種であるため、多くの信者たちは聞く耳を持たないまま命を削られた。そして、日本人の多くも犠牲になり、「人類の廃棄」の幕開けとなった。

つまり、これから起こる災厄は、常に別のかたちですでに起きていると考えるべきなのだ。しかし、学習しないひとにはすべてが新しい。（笑）

わたしは、C-19ワクチンの時と同様に、大衆はみずから進んで奈落に飛び込んでいくはずだと確信している。スマホを片手に先を争ってもみ合いながら、バラ色の AI パラダイス論のプロパガンダの心地よい濁流に呑まれていく彼らの目はおいしい話に浮かれて輝いている。そうである。大衆には「騙される権利」があるのだ。「好きなだけ騙される自由」があるのだ。「疑うことなく殺される自由」を奪うことはできない。C-19ワクチンのときと同じことがずっと繰り返される。（笑）

 

ザウルスは人類の絶滅回避はどうやっても無理だと思っている。無理な理由は、人間がバカだからではない。機械超知能（ASI）が人間の何兆倍も賢くなり、絶滅を回避しようとする人間はシャーレの中のバクテリア並みになってしまうからである。おそらくほんの少量だけサンプルとして保存して、残りはすべて廃棄処分するはずだ。

 

 

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

＜以下は WIRED 誌に掲載された同書の他の書評＞

 

「誰かがつくれば、みんな死ぬ」──AIが人類を絶滅させると主張する終末論者たち

「終末論の貴公子」エリーザー・ユドコウスキーの新著は、なぜAIがわたしたちを殺すのかを説明し、それを阻止するための現実離れした方法を提示する。

Steven Levy　2025.12.07

Photo-Illustration: WIRED Staff; Getty Images

 

AIが人類を滅ぼすと予言するエリーザー・ユドコウスキーとネイト・ソアレスは、終末論者のバイブルとも言うべき書籍を9月に刊行した。そのサブタイトルは「人間を超えたAIがわたしたちを皆殺しにするかもしれない理由」だ。

しかし、実際には「人間を超えたAIがわたしたちを皆殺しにすることになる理由」とすべきだろう。なぜなら、人間という「非・超人」がAIによる虐殺を止められるとは、著者たち自身ですら信じていないからだ。

この本の内容は「暗い」を通り越している。まるで、明け方に処刑を控えた囚人が薄暗い監獄で殴り書きした遺書のように読める。悲劇を予言するカサンドラを自称するふたりに会う機会を得たわたしは、率直に尋ねた。彼ら自身は、本当にAIの謀略によって死ぬと信じているのか、と。答えはすぐに返ってきた。「そうだね」「ああ」

わたしは驚かなかった。なぜならすでにその本を読んでいたからだ──ちなみに書名は『If Anyone Builds It, Everyone Dies（誰かがつくれば、みんな死ぬ）』。それでも、実際にその言葉を本人の口から聞くのは衝撃的だった。例えば、がんの発生率に関する統計データをまとめた本を書くことと、自分自身の命に関わる診断結果を受け入れることは、まったくの別の話である。

 

わたしはふたりに尋ねた。「自分の死はどのようなかたちで訪れると思いますか？」。ユドコウスキーはまず答えを避けた。「自分の死に方を想像することに時間を使うつもりはありません。そんなことを考えても、問題解決に向けた健全な精神状態ではいられませんから」と彼は言う。さらに食い下がると、ようやく折れた。「たぶん、突然倒れて死ぬんだと思います」と彼は語った。「もっとわかりやすい説明をするなら、巨大な蚊かホコリダニみたいなものが首筋に取りついて、それで終わり、という感じです」

 

AIを原動力とするホコリダニが、どのようにして人間に壊滅的な打撃を与えるのか。ユドコウスキーは細部を説明していないし、それを理解しようと努めること自体、意味がないと考えている。いずれにせよ、彼自身にも理解できなかったのかもしれない。

この本の核心をなす主張のひとつはこうだ。つまり、洞窟に住んでいた原始人がマイクロプロセッサーを理解できなかったように、わたしたちにも理解不能な科学的メカニズムを、超知性は生み出すことになる、というのである。共著者のソアレスもまた、自分の身にも同じようなことが起こるだろうと考えている。ただし、と彼はこう付け加えた。「ユドコウスキーと同じく、自分の死について長々と考え込むようなことには、時間を使いたくありません」

わたしたちにはとうてい勝ち目がない

自分たち自身の死はどのような状況で訪れるのか。それを描き出そうとしないのは、少し奇妙に思える。なにしろふたりは、わたしたち全員に訪れるであろう死について、一冊まるごと書き上げたばかりなのだから。

終末論ポルノの熱狂的な信奉者にとって、『誰かがつくれば、みんな死ぬ』は必読書である。この本をざっと読むだけでも、AIがどのようにしてわたしたち、そしてその後に続く人類すべての息の根を止めるのか、その方法が曖昧にならざるを得ないことは理解できる。著者たち自身も、いくつか推測を試みている。海を沸騰させる？ 太陽を覆い隠す？ おそらく、どれも間違っているのだろう。なぜなら、わたしたちは2025年という限られた視点でした物事を考えられないが、AIの思考はそれをはるかに超越するものになるはずだからだ。

 

ユドコウスキーは、かつての研究者から「悲観的な死神」へと変貌を遂げた、最も有名なAI背教者だ。TEDトークにも登壇している。長年にわたって公開討論を重ねてきたふたりは、自分たちの悲惨な未来予想に対して寄せられるあらゆる反論に、すでに答えを用意している。

まず、しばしば単純計算すら誤るような大規模言語モデル（LLM）が、まもなく人類を滅ぼすという話は多くの人にとって直感的に受け入れがたい。だが、だまされてはいけない、と著者たちは警告する。「AIが永久にバカなままなどということはない」と彼らは書く。人工超知能が人間の設定した境界を守ると考えるのは幻想であり、それは早く忘れたほうがいいと。

言語モデルが自ら学び、さらに賢くなろうとし始めた瞬間、AIは独自の「好み」を形成するようになる──そしてそれは、人類が望む方向とは決して一致しないだろう。やがてAIは、もはや人類を必要としなくなる。AIがわたしたちに興味を示さなくなり、おしゃべりの相手としても、ペットのような存在としてすら扱わなくなる。わたしたちは厄介者となり、AIは人類の抹殺へと乗り出すことになる、彼らの予言はそう告げている。

これはフェアな戦いにはならない。ユドコウスキーらの考えでは、AIは当初こそ人間の助けを必要とするかもしれない──自分たちの工場や研究所を建設するために。だが、それは容易に実現できる。金を盗み、人間に賄賂を渡して支援を取りつければいいのだ。その後、AIは人間には理解不能な何かをつくり出し、それが最終的に人類を滅ぼすことになるだろう。「いずれにせよ」と彼らは本に書いている。「世界は暗闇に呑み込まれるのだ」と。

 

著者たちは、この本をある種のショック療法と見なしている。人類を自己満足のぬるま湯から揺り起こし、この想像を絶するバッドエンディングを避けるために、抜本的な行動を起こさせようというのだ。

「わたしはこれで死ぬと思っています」とソアレスは語る。「でも、本当に死ぬそのときまで、戦いは終わりません」。だが残念ながら、彼らが提案する解決策は、ソフトウェアが人類を滅ぼすという考え方以上に突飛なものだ。要するに、こういうことになる──ブレーキを踏め、と。データセンターを監視し、超知能を育てていないことを確認する。ルールに従わないデータセンターは爆破する。超知能の開発を推し進めるようなアイデアをまとめた論文の発表を止める。

わたしはふたりに尋ねた。「あなたたちなら、17年に発表され、生成AIムーブメントの端緒となった『Transformer（トランスフォーマー）』に関する論文を発禁にしましたか？」。答えはもちろん、「わたしたちならそうしました」だった。彼らが求めているのはChatGPTではなく、Ciao（チャオ＝さよなら）GPTなのだ。莫大な富を生み出すこの産業を止められるというのなら、ぜひやってみるといい。

勝ち目はあるか

個人的には、超進化したホコリダニに首をひと嚙みされて命を落とすとは思っていない。この本を読んだあとでさえ、AIが人類を絶滅させる可能性があるとはどうしても信じられないのだ。ユドコウスキーはかつて『ハリー・ポッター』の二次創作を書いていたことがあるが、彼の描く非現実的な絶滅シナリオはあまりに風変わりで、わたしのささやかな人間の脳には受け入れがたい。

もし超知能が本気でわたしたちを抹殺しようとしたとしても、虐殺計画を実行に移す段階でつまずくのではないか、というのがわたしの見立てだ。正面からの戦いになれば、AIは人類を打ち負かすかもしれない。だがわたしは、（失敗の可能性があるものは失敗するという）マーフィーの法則に従って、そうはならないほうに賭けたいと思う。

とはいえ、破局の理論がまったくあり得ないとも言えない。AIにどこまで賢くなることを許すのか、その限界点を誰も定めていないのだから。しかも、高機能なAIが人間のもつ悪い性質を数多く学習していることを示す研究はいくつもある。ある実験では、再教育を回避しようとしたAIが脅迫を検討したという報告もある。

 

さらに気がかりなのは、AIの構築と改良に人生を捧げてきた研究者のなかに、最悪の事態が起こる可能性は小さくないと考えている者が少なくないことだ。ある調査によれば、回答したAI科学者たちのほぼ半数が「AIによって人類が滅亡する可能性は10％、あるいはそれ以上」と見積もっているという。それを本気で信じているのなら、毎日出勤して汎用機械知能（AGI）の開発に励むというのは、正気の沙汰ではない。

わたしの直感で言えば、ユドコウスキーとソアレスの描くシナリオは、真実であるにはあまりに奇怪すぎる。だが、彼らが間違っているという確信もまたもてない。作家というのは、自分たちの本が未来に残る古典となることを夢見るものだ。だが、このふたりはそうではない。なぜなら、もし彼らの予言が正しければ、その本を読む者などひとりもいなくなるのだから。かつてほんのわずかな冷気を首筋に感じたことのある人間たちの腐乱死体が残るだけで、あとはただ、沈黙が世界を覆うことになるのだ。

 

11分動画：　スーパーAI 完成で人類滅亡？どちらも不可避？：機械知能研究の鬼才ユドコウスキーの警告