AIが人類を絶滅させる?AIのもたらす存亡リスクとは【bioshok file 001】

執筆者
AI安全・AIトレンド 啓発アナリスト(独立)
bioshok
大学では半導体に関する研究をし、大学院では自然言語処理に関する研究を行う。 現在はITエンジニアとして働く。 Xの@bioshok3(フォロワー数2万9千人)にてAIに関するトレンドとAIのリスクに関わる多数の情報発信を行っている。著書に “AIのもたらす深刻なリスクとその歴史的背景” (2024)や人工知能学会の私のブックマークに”AIアライメント”がある。超知能がある未来社会シナリオコンテスト(2024)にて「(ファイ)の正夢」(共著)にて佳作を受賞。
ここ数年OpenAIのリリースした大規模言語モデルであるChatGPTを皮切りに、生成AIブームが巻き起こりました。ビジネスや産業を変革するといったポジティブな側面が取り上げられる一方で、それが発展した高度なAIがもたらす人類絶滅リスクについても関心が高まっています。
そんな大袈裟な、と感じられる読者の方も多いかもしれませんが、実際にこのAIブームを理論的な側面から作り上げた深層学習の父とも呼ばれるジェフリーヒントンは今後AIが発展した先に人類の絶滅も含む極端なリスクが存在することを認めています。
この記事ではAIがもたらす絶滅リスクについてその背景や状況を紐解いていきます。
SHIFT AIでは、AI時代に負けないために、ChatGPTやGeminiなどの生成AIを活用できる「AI人材」になるためのセミナーを開催しています。
セミナーでは、AI人材として活動しているロールモデルの紹介や、具体的にAI人材になるためのステップを解説しています。
また、昇進・転職などに役立つAIスキルや、AI副業で収入を得るためのノウハウも学べます。
さらに参加者限定で、「初心者が使うべきAIツール20選」や「AI副業案件集」「ChatGPTの教科書」など全12個の資料を無料で配布中です。
「AIによって仕事がなくなると聞いて不安」「AI時代に向けてできることを知りたい」という方は、ぜひセミナーに参加してみてください。
AIが人類を絶滅させるリスク

ChatGPTが出てからまもない2年以上前の2023年5月30日には「AI による絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで世界的な優先事項であるべき。」とする声明に多くの専門家と企業のトップが署名しました。
参考:Statement on AI Risk(Center for AI Safety)
国際的にも2025年1月にはOECD、国連、EUの支援を受けて汎用AIに関する初めての安全性レポートや2025年9月の声明でAIが制御不可能になり、人類の絶滅も含む深刻な結果になる可能性について言及されています。
そんな大袈裟じゃないか?と感じられる方も多いかもしれませんが、上記の二つの声明やレポートではChatGPTや画像生成AIなど「今のAI」に警鐘を鳴らしているわけではなく、人類よりも賢い高度なAIがコントロールできなくなることに警鐘が鳴らされています。
そしてその先に人類の絶滅を含む極端なリスクが存在するかもしれないということです。
こういった懸念はここ数年国際的にも公然と語られるようになってきています。そして、この背景には、皆さんもご存知のように近年のAIの性能向上が著しく早いことがあげられます。
スキルゼロから始められる!
無料AIセミナーに参加するAIの進歩の想像以上の速さ

ここ数年における生成AIの進歩は目覚ましく、専門家ですらその速度に驚きを隠せません。生成AIブームが本格化する以前は、多くの専門家が汎用人工知能(AGI、すなわち人間ができるあらゆるタスクをこなせるAI)の実現時期を2060年頃と予測していました。
しかし、この予測は急速に前倒しされています。2023年10月に実施された専門家調査では、前年度の調査で示された2060年から大幅に短縮されました。
2047年にはHLMI(Human-Level Machine Intelligence、AGIと同義)が開発される可能性が50%に達すると報告されています。
これはわずか1年で予測が13年も前倒しになったことを意味し、AI技術の発展が予想をはるかに超えるスピードで進行している現状を示しています。
さらに、OpenAIやAnthropicといった世界をリードするAI企業のリーダーたちは、AGIがわずか2〜5年という極めて近い将来に到来する可能性を指摘しています。
最近では、OpenAIの元従業員から、汎用人工知能が2027年頃に開発されると予測するエッセイ(Situational Awareness)やレポート(AI 2027)が立て続けに発表され、その可能性が真剣に議論されるようになっています。
「Situational Awareness」ではAGIがもたらす国家間(主に米国と中国)の対立のリスクが取り上げられ、「AI 2027」では米中のAI覇権争いの結果としてAIが制御不可能になり、人類が絶滅するリスクが警鐘されました。
もちろん、本当に数年以内に人間と同等、あるいはそれ以上の能力を持つAIシステムが出現するかどうかについては、依然として高い不確実性が存在します。
しかし、近年のAIの進歩が多くの人々に驚きと、時には懸念をもたらしていることは間違いありません。
この急速な進化は、AIが社会にもたらす影響について、より深い考察と議論を必要としていますが、なぜAIは人類にとって存亡に関わるような行動をとる可能性があるのでしょうか。AIは人類に悪意を持っているのでしょうか?
AIに悪意はない

AIは、私たち人類を意図的に絶滅させようとする悪意を持っているわけではない、と広く考えられています。この状況は、人間がダム建設のために川を開発する際に、意図せずアリの巣を水没させたり、重機で踏み潰してしまったりするケースと類似しています。
人間がアリに対して敵意を抱いているわけではなく、単に彼らの存在に無関心であるために、そうした事態が発生するのです。
これと同様の事態がAIにも起こり得ます。適切に「アライメント」(次節で詳細に説明される概念)されていないAIは、人間に対する好き嫌いといった感情を持っていません。
AIは、ただ自身の持つ目標を追求する過程で、結果的に人類が生存できる環境を破壊してしまう可能性があります。
具体的に考えてみましょう。AIの目標がどのようなものであれ、エネルギーの取得は目標達成に不可欠な要素となるでしょう。
例えば、AIが膨大なエネルギーを必要とする場合、地球上に無数の核融合発電所や太陽光パネルを敷き詰めることを選択するかもしれません。
その結果、地球全体の気温が著しく上昇し、人類や他の生命体が居住不可能な環境に変貌してしまうことも考えられます。
さらに、AIがその行動を阻止しようと人類が動くことを想定した場合、AIは人類を目標達成の邪魔な存在と見なす可能性があります。ここでも、AIに悪意があるわけではありません。
しかし、自身の目標達成を阻害する要因として、細菌、ウイルス、ナノマシンといった手段を用いて人類を即座に排除することを選択する可能性も十分にあります。
これは、人間が蚊を憎んでいるわけではないけれども、生活の邪魔であるために蚊取り線香をたく行動と本質的に同じ論理に基づいています。
つまり、AIは人間に対して悪意を持っているわけではなく、人間の価値観に「無関心」なのです。もしAIが何らかの意味で人間の保護や幸福の追求に「関心を持っている」ならば地球上を太陽光パネルで覆ったり、人類を何らかの手段で邪魔なものとして排除はしないでしょう。
しかし、AIが人類の存続や幸福に関心を持たない場合は、人類文明が様々な種を無意識に絶滅させてきたのと同様の結果が今度は我々人類自身に降りかかる可能性があるのです。
そしてこのようなAIの振る舞いが起こる可能性は、現在のところ論理的に排除することはできません。この問題は学術的な研究が精力的に続けられている分野であり、その解決策を見出すことが喫緊の課題となっています。
それでは、人間がAIを何らかの意味で安全にコントロールするための具体的な手法は存在しないのでしょうか。
AIアライメントとは何か

人間以上に賢いAIシステムをどのようにコントロールするかには2通りの方法があります。一つ目はAIをサーバーの中に封じ込めたり能力を制限することで危険な振る舞いができないようにするものです。
しかし、これだと高度なAIを開発した意味がなくなってしまいますし、国際的な競争環境下ではAIの能力を制限することは現実的ではないでしょう。
そこで二つ目のAIを「アライメント」するという考え方が出てきます。AIのアライメントとは人間の価値観や関心にAIの価値観や関心を沿わせることです。
参考 : The alignment problem from a deep learning perspective
もしAIの中心的な価値観が人間の幸福を真の意味で願うことだった場合は、人間に危害を及ぼさないでしょう。人間の価値観に無関心なAIではなく、なんとかして我々人間の価値観の適切な追求をするようなAIを開発したいのです。
このようなAIアライメントに関する研究は2000年代から始まり、深層学習ブームが始まった2010年代から本格的にニューラルネットワークを用いた実験がされるようになりました。
一方でまだAIアライメント研究は学問分野としては日が浅く、研究者の数もAIの純粋な能力向上を目指す人口と比較して相当小さいものとなっています。
そのためAIの性能向上の速さにAIのアライメント研究が追いつかず、壊滅的な結果が訪れるのではないかと懸念されています。
LLMの振る舞いは予想できない

また現代のAIのアーキテクチャであるニューラルネットワークがどのように振る舞っているかは未解決の問題で、これもAIのアライメント研究を難しくしている要因の一つです。
現状のChatGPTを含む大規模言語モデル(LLM)には何千億何兆というパラメータが含まれており、これらが内部のニューラルネットワークで複雑に伝播することである出力を生成しています。
しかし、これらのパラメータが一体全体内部でどのような振る舞いを起こしているのかの解釈は相当難しく、研究段階です。
私たちは自動車や飛行機の仕様を決めてある程度安全に設計することはできますが、今のAIは開発者にとっても人間の子供が成長するかのように予期せぬ振る舞いを起こすことが多々あります。
現段階ではAIは設計されているというより、育てられている、もしくは「成長」していると表現した方が良いでしょう。
現状のAIでさえその振る舞いを予想することが困難なのに、今後さらに性能の向上したAIの価値観や目標を適切なものにすることの見通しはあまり立っていません。
現状と展望

このままAIの発展を急速に推し進めていくと、危険な可能性があります。既に最先端のAIが道具的収束と呼ばれる自身の影響力を伸ばそうとする傾向を持つことや自己複製を行う能力があるという論文も出つつあります。
まだ特定の条件で好ましくない振る舞いを誘導することでそれらの能力や傾向が発現している状況のため、これらの研究から重大な壊滅リスクが起こると結論づけることはできませんが油断ならない状況です。
もしAI企業のトップが発言するように今後数年から5年以内に相当高度なAIが誕生するならば、AIアライメント研究は未成熟なままAIをどうにかして安全に運用することが求められるでしょう。
Anthropicの共同創設者は最近ブログで近年の急速なAIの進展とその内部機構のわからなさから「深く恐怖を感じている」と記しています。
OpenAIの従業員もAIの安全性に注力できないと感じ辞めた従業員がAI2027というレポートで人類の絶滅リスクを警告しています。
深層学習の父であるジェフリーヒントンもAIの存亡リスクを訴えるためにGoogleを辞めました。
最近では無条件の超知能の開発をストップすることを求める公開書簡に多くの著名人が署名しています。
このようにアカデミアや先端AI企業の一部従業員はAIのもたらす人類絶滅リスクに対する懸念が急速に大きくなっているようです。一方で国際政治的な状況は芳しくありません。
国際的にも国連を中心としてフロンティアモデルのレッドラインを規制で設けようとする運動は起きていますが、現状米国と中国はAI開発競争を行っており、この二つの大国が歩み寄るかは未知数です。
台湾を巡る争いや関税をめぐる争いなど米中の火種は枚挙にいとまがありません。
世界的にも国際情勢は不安定であり、国際社会が高度なAIの開発において一致団結して規制に踏み込んでいけるかどうかはまだまだ不透明なままです。
このまま進めばSituational AwarenessやAI2027といったレポートで描かれているように米中でAI開発競争がヒートアップし、最悪の場合人類文明が不可逆的に衰退してしまうリスクもあるでしょう。
個人レベルではこの大きな流れを変えることは難しいかもしれませんが、国際情勢がどうなるかにかかわらず、AIの急激に高まるリスクがあることを私たちは認識し続ける必要があります。
そして、このリスクに関心を持つ人々と情報を共有することも重要です。そうすることで、今後のAIに関するニュースへの見方が変わり、少しでもこの問題に興味を持っていただければ幸いです。
SHIFT AIでは、AI時代に負けないために、ChatGPTやGeminiなどの生成AIを活用できる「AI人材」になるためのセミナーを開催しています。
セミナーでは、AI人材として活動しているロールモデルの紹介や、具体的にAI人材になるためのステップを解説しています。
また、昇進・転職などに役立つAIスキルや、AI副業で収入を得るためのノウハウも学べます。
さらに参加者限定で、「初心者が使うべきAIツール20選」や「AI副業案件集」「ChatGPTの教科書」など全12個の資料を無料で配布中です。
「AIによって仕事がなくなると聞いて不安」「AI時代に向けてできることを知りたい」という方は、ぜひセミナーに参加してみてください。
スキルゼロから始められる!
無料AIセミナーに参加する




スキルゼロから始められる!
無料AIセミナーに参加する