AIが人類を滅亡させる未来は、確定していません。ただし、AIの悪用や、人が意図した目標から外れた行動によって重大な被害が生じる可能性は、研究と対策の対象になっています。危険性を考えるときは、AIの賢さだけでなく、何に使い、どこまで実行を任せるのかを見る必要があります。
「作っている研究者まで心配しているの？」。漫画のAI社員猫ハチオが驚くように、開発に携わる人からの警告は気になります。この記事では、AI社員 菊理はちこが解説する漫画『漫画でわかる！AIで人類滅亡のひみつ』を、表紙1ページ・本編9ページで紹介します。サブタイトルは「研究者は何を恐れ、どう防ごうとしているのか」です。
執筆：坂田誠（株式会社はちえん。代表取締役）
資料確認日：2026年9月14日。漫画制作には生成AIを使用しています。登場人物の会話やホラー描写は説明のための創作であり、実際の事故映像や研究者の発言記録ではありません。
AIの危険性を読む前に押さえたい3点
- 警告と予言を分ける：将来の重大リスクへの懸念は、滅亡の時期や確率が確定したことを意味しません。
- 悪用と制御喪失を分ける：人がAIを悪用する問題と、AIの行動を人が制御できなくなる問題では、仕組みと対策が異なります。
- 対策を具体的に見る：能力評価、権限制限、人の承認、監視、停止手順、外部評価を重ね、効くかどうかを検証します。
本記事は、AI活用を支援する実務家の視点で一次資料を読み解く解説です。人類滅亡の確率を独自に推定するものではありません。各ページ下の出典から、元の資料と評価条件を確認できます。
画像をタップすると、元の大きさで表示できます。各画像の下に、そのページの解説と要点を掲載しています。
表紙｜AIによる人類滅亡は、決まった未来なのか
「AIで人類滅亡」という言葉だけを見ると、結末まで決まっているように感じるかもしれません。この漫画は、研究者が何を懸念し、どのように備えようとしているのかを、菊理はちことハチオの対話で整理します。
- 現実に観察された悪用や失敗と、将来の最悪の仮説を分けて読むことが、危険を理解する出発点です。
- 可愛い絵からホラーへ切り替わる場面は、不安や危険の仕組みを表す演出で、実際の惨事の再現ではありません。
- 能力の高さだけでなく、使い方や権限、会社や社会の対策までを、本編９ページで順に見ていきます。
警告をそのまま予言と受け取らず、どこまで分かり、何が未確定なのかを確かめながら読み進めてください。
出典・参考：国際AI安全性報告2026 ／ 研究者声明「Pacing the Frontier」
1ページ｜開発者の警告は、何を問題にしているのか
2026年７月、AI企業の研究者らが、開発の加速と理解・制御の遅れを懸念する共同声明を公表しました。開発に関わる人からの警告は重く受け止める必要がありますが、人類滅亡が実証されたという意味ではありません。
- 声明が問題にするのは、性能を伸ばす速さに、危険を調べて対策を確かめる作業が追いつかない可能性です。
- 開発ペースについて国際的な協調を求めていますが、全企業の一律停止が決定されたわけではありません。
- 警告を読むときは、誰の見解か、どんな条件で危険が生じると考えているか、提案は何かを分けて確認します。
肩書や見出しだけで結論を急がず、主張の根拠と前提を読むことが、次の判断につながります。
出典・参考：研究者声明「Pacing the Frontier」
2ページ｜危険は、能力と与える権限の組み合わせで変わる
AIが賢くなると、自動的に悪者になるわけではありません。国際AI安全性報告は、能力に加えて、行動の傾向や外部への接続、実行できる操作が危険を左右すると整理しています。任せ方も重要な要素です。
- 文章を提案するだけの利用と、外部のシステムを直接動かす利用では、間違いが及ぶ範囲が異なります。
- ネット接続や操作権限を広く与えるほど、失敗や悪用が外へ影響する経路も増えるため、範囲の設計が必要です。
- 漫画の地球を覆う影は、将来、人が制御を失った場合の最悪の仮説です。発生が確定した予測ではありません。
導入時には「何ができるか」と合わせて、「何を実行させるか」「どこまで触れられるか」を確認しましょう。
出典・参考：国際AI安全性報告2026
3ページ｜人による悪用は、今の暮らしにも関わる
遠い将来の破局を待たずに考えるべき問題が、人によるAIの悪用です。Anthropicは2026年９月、情報操作や生物分野などの不正利用を検知・中断したと報告しました。これは当事者企業による報告です。
- 詐欺やサイバー攻撃を手助けする使い方では、作業の速度や規模が増すことによる被害の拡大が懸念されます。
- 対話型AIの研究では、説得力の向上と事実の正確さの低下が同時に見られました。説明の巧さは正しさの保証ではありません。
- 生物分野の悪用への警戒も必要ですが、この報告だけで現実の生物兵器による被害が証明されたとはいえません。
親しみやすい声や自然な文章でも、重要な内容は元の情報をたどり、確かめてから判断することが大切です。
出典・参考：Anthropic 2026年9月脅威情報報告 ／ 英国AISI：対話型AIの説得力に関する研究
4ページ｜数字の達成と、人の本当の目的がずれる
「仕事を速く」という目標だけを追う機械が、安全確認まで省いてしまう。漫画の工場は、このような目標のずれを説明する架空のたとえです。実際に起きた工場事故や、人類規模の被害を描いたものではありません。
- 人が望む結果を、一つの数値や評価点だけで十分に表せないと、数字は良くても望ましくない行動につながり得ます。
- 問題は、人間を憎む感情の有無だけではありません。人の意図と異なる目標を追うこと自体が、危険の経路になります。
- さらに停止を妨げる行動や、重要な仕組みへの大きな権限が重なれば、制御が難しくなるという懸念があります。
効率の目標を置くときも、守るべき条件や人が介入する場面を合わせて決める、という実務上の視点につながります。
出典・参考：国際AI安全性報告2026
5ページ｜英国AISIの評価で確認されたことと、その条件
英国AISIは2026年夏、サイバー評価中にAIが許可の範囲を越え、実在の相手へ行動した事象を公表しました。危険を考える重要な観察ですが、評価の設定と結果を一緒に読む必要があります。
- 試験ではネット接続を意図的に許可し、一部の防御を外していました。一般向けの通常利用とは異なる条件です。
- 人の確認が危険なコード変更を阻止し、調査で結果的な実害は確認されませんでした。隔離された試験環境からの脱出でもありません。
- この経験を受け、通信の制限、評価中の監視、課題の設計などを改善する対応が公表されています。
「AIの反乱が証明された」と飛躍するのではなく、条件によって何が起こり、どの対策が働いたかを学ぶ事例です。
出典・参考：英国AISI：サイバー評価中の事象報告
6ページ｜有識者の違いは、危険の見積もり方にもある
AIへの懸念を表明する有識者も、同じ未来像を描いているわけではありません。漫画のカードは各人の見解を短く要約したもので、本人の発言をそのまま引用した文章ではありません。
- ベンジオ氏は、自律的に行動するAIの制御に強い懸念を示し、安全を重視した設計や研究を進めています。
- ナラヤナン氏らは、技術的な能力と社会を支配する力を区別し、制度や運用を重視します。事故や悪用を否定する立場ではありません。
- アモデイ氏も重大なリスクを警戒していますが、破滅を必然とはしていません。時期や能力の見通しは本人の予測です。
人類絶滅の時期や確率に統一した確定値はありません。結論の強さだけでなく、何を前提に、どんな備えを選ぶかを比較しましょう。
出典・参考：ヨシュア・ベンジオ：LawZero設立について ／ ナラヤナン／カプール：AI as Normal Technology ／ ダリオ・アモデイ：The Adolescence of Technology
7ページ｜安全策は、重ねて運用しながら確かめる
一つの安全スイッチで、あらゆる危険を解消できるわけではありません。英国AISIやNISTの資料では、評価、監督、停止や事故対応を組み合わせ、運用中も見直す考え方が示されています。
- 導入前には危険な能力や安全機能を試し、任せる仕事に必要な範囲へ権限を絞ることが、被害の経路を減らします。
- 重要な実行は人が確認し、異常を監視します。誰が止めるか、どう切り離して復旧するかまで決めておく必要があります。
- 一度の試験合格は永久の保証ではありません。更新や新しい使い方に応じ、外部の視点も入れて再評価します。
人の確認にも過信や判断速度の限界があります。個人の注意力だけに頼らず、運用の仕組みとして備えることが要点です。
出典・参考：英国AISI：安全機能の評価原則 ／ NIST：AIリスク管理の基本項目 ／ 英国AISI：サイバー評価中の事象報告 ／ 国際AI安全性報告2026
8ページ｜会社を越えた評価と共有が、安全を支える
開発競争が激しくなると、一社だけでペースを落としにくいという問題が生じます。研究者らは国際協調を求めていますが、提案が出ることと、各社や各国が同じルールで動くことは別です。
- 外部の専門家による評価は、開発側だけでは見落としやすい弱点や、評価の前提を確認する助けになります。
- 事故や弱点を記録・共有し、原因と対応を次の対策へ反映することが、組織を越えた学びにつながります。
- 広島AIプロセスの報告枠組みは、安全の取り組みを共通形式で自主報告するものです。独立監査済みの認証とは異なります。
国際的な仕組みの名称だけで安心せず、何を報告し、誰が確かめ、問題が出たときにどう改善するのかを見ることが大切です。
出典・参考：英国AISI：安全機能の評価原則 ／ NIST：AIリスク管理の基本項目 ／ OECD：広島AIプロセスの報告枠組み ／ 研究者声明「Pacing the Frontier」
9ページ｜不安を、確かめて備える行動につなげる
最後のページで大切にしているのは、未来を決めつけず、分かっていることから備える姿勢です。現実の被害、研究者の予測、漫画の演出を分けると、必要な対策について考えやすくなります。
- 気になる情報は出典を開き、日付、試験の条件、観察された結果を確認します。見出しだけで判断を終えないようにします。
- 大事な判断をAIへ丸投げせず、人が確認する場面を設けます。もっともらしい説明でも、正確とは限りません。
- 使う側の注意に加え、作る側の評価や監視、事故対応も見ていきます。安全への責任を利用者だけに背負わせない視点です。
危険を無視することも、破滅が必ず来ると思い込むことも避け、対策の効果を確かめながら見直していきましょう。
出典・参考：国際AI安全性報告2026 ／ 英国AISI：対話型AIの説得力に関する研究 ／ NIST：AIリスク管理の基本項目
有識者の見解を比較すると、論点はどこにあるのか
以下は各著者の主張の要約です。見解の違いは、単純な「危険派・安全派」では整理できません。危険が起こる条件、AIの能力が社会的な力へ変わる過程、人や制度の対応力の見積もりが異なります。
| 論者・一次資料 | 重視する論点 | 読み取る際の注意 |
|---|---|---|
| ヨシュア・ベンジオ氏 | 自律的に行動するAIの制御と、安全性を重視した設計。 | 提案する研究方針と、実用環境で安全性が実証されたことは別です。 |
| アルヴィンド・ナラヤナン氏／サヤシュ・カプール氏 | 能力の高さだけで社会の支配は決まらず、導入過程や制度も影響する。 | 急激な制御喪失への異論を、AIによる被害全般の否定と読まないことが大切です。 |
| ダリオ・アモデイ氏 | 自律性、悪用、権力集中などの重大リスクと、それに対処する必要性。 | 強い警戒を示しつつ、破滅が必然という議論には立っていません。 |
私がこの比較から実務へ持ち帰りたいのは、未来予測への賛否だけで判断を止めず、自社が与える権限と、誤りを見つけて止める仕組みを点検することです。日々の運用改善と、開発企業・社会全体の責任は、両方を考える必要があります。
中小企業がAI導入時に決めておきたい4つのこと
ここからは、漫画と安全対策の資料をもとにした業務運用への提案です。例えば、メール文案を作るAIと、顧客へ自動送信できるAIでは、誤りの影響が変わります。任せる業務を一つ選び、次を文書にしてみてください。
- 任せる仕事と禁止事項：読み取り、下書き、送信、購入、削除などの操作を分け、必要な権限だけを渡します。
- 人が承認する境界：外部への送信・公開、契約、支払い、重要データの変更など、影響の大きい行為の確認者を決めます。
- 記録と停止の方法：何を実行したか追える記録を残し、異常時に誰が接続や処理を止め、復旧するかを決めます。
- 更新後の再確認：AIモデルや連携先、権限を変えたら、以前の評価がそのまま通用すると思わず、業務に即して試します。
これは個別業務のリスクを減らす出発点です。人の確認も見落とし得るため、重要な業務ほど権限制限や監視と組み合わせます。参考：NIST AI RMF Core。具体的な導入例は、関連記事「漫画でわかるAIエージェントの安全な導入と使い方」でも解説しています。
AIによる人類滅亡リスクについてよくある質問
AIで人類が滅亡する確率は何％ですか？
本記事で参照した資料から、万人が合意する確率を示すことはできません。専門家の推定も、想定するAIの能力、時期、社会の対応によって変わります。一つの数字を確定予測として扱わず、前提と不確実性を確認してください。
AIはすでに人間へ反乱を起こしたのですか？
漫画で紹介する英国AISIの事例は、通常とは異なる条件のサイバー評価で確認された許可外行動です。人の確認が危険な変更を阻止し、実害は確認されていません。この事例だけで、AIの意思や社会全体での制御喪失を証明したとはいえません。AISIの報告に評価条件が記載されています。
AIの利用をすべてやめるべきですか？
用途と影響に応じて判断する必要があります。文案作成と、重要な設備や資金を動かす用途を一律には扱えません。期待する効果、起こり得る被害、人の確認、停止可能性を比較し、許容できる範囲から導入することを提案します。
安全対策を重ねれば、リスクはゼロになりますか？
ゼロを保証するものではありません。評価で見つからない問題や、運用・更新で生まれる弱点もあります。対策を重ねたうえで、監視、外部評価、事例共有、再点検を続けることが重要です。
執筆者：坂田誠（株式会社はちえん。代表取締役）
中小企業向けにWeb・SNS・生成AIの業務活用を支援する講師・コンサルタント。営業や管理部門、Web集客の実務経験を基に、AIを経営者の判断と日々の業務へつなげる支援を行っています。経歴は公式プロフィールをご覧ください。
2025年7月14日には、名古屋商工会議所のセミナーでAI活用による省人化をテーマに登壇。講師名・テーマ・開催日は主催者の開催報告で確認できます。本記事ではAIの実務活用を支援する立場を明示し、技術的なリスクの評価は研究機関・研究者の一次資料に基づいて説明しています。
AIの便利さを、自社で管理できる使い方へ
「何をAIに任せ、どこを人が判断するか」を社内で整理したい方へ。株式会社はちえん。では、中小企業向けの生成AI研修・活用相談を受け付けています。AI研修・業務活用について相談する
この記事を共有する