AIは時をかけるごとにどんどん発展していき、成長を続けている。
数年後には、モデルが圧倒的な力を持つようになるだろう。

私たち、人類はモデルが圧倒的な力を持ってしまう前に、AIシステムの動作を理解できるものとして、secure by designにしていかなくてはならないのだ。

badシナリオとして人類の滅亡もありうることだろう。
本、『超知能AIをつくれば人類は絶滅する』1では研究者の見解からさまざまなAIによる人類滅亡シナリオが描かれている。

だからこそ、AIの解釈可能性は必要不可欠なのである。

改めて、解釈可能性とは何なのかという方向けに説明すると
解釈可能性とは、AIモデルを内部から理解するための科学である。
つまり、AIセーフティやセキュリティ、アライメントにおいて、事後的な検証や入出力による表面的な評価ではなく、内部把握からの評価を可能とするための思考であり、AIをレントゲンやMRIのようにみて、嘘、偏見、漏洩、攻撃、暴走を事前に検知することである。

この分野はAnthropicも力を入れており、創業者であり、CEOのダリオ本人も直々にThe Urgency of Interpretability(解釈可能性の緊急性)2というblogの中でこう書いている。

I consider it basically unacceptable for humanity to be totally ignorant of how [advanced AI systems] work... We are thus in a race between interpretability and model intelligence.

「人類が（高度なAIシステムの）仕組みを全く理解していないというのは、基本的に容認できないことだと私は考えている。したがって、我々は解釈可能性とモデル知能の競争の中にいるのだ。」

今、人類という単位で記載したが、日本という単位で考えると次のような課題が浮かび上がる。
私たち、日本は海外のモデルに依存し、理解もせずに、金融、行政、医療、法務などに導入が進んでいる。
日本として、AI主権を手に入れるためには国主体で評価できる体制を整えていかなくてはいけない。そのためにも解釈可能性は大きなイシューとなるのだ。
悲しいかな、モデル開発においては米中の2強になっている。(最新の政府によるホワイトペーパー3では誤解を恐れずに言うと、日本内部でのモデル開発は諦めたように思える。アーキテクチャを変えるなど別ベクトルによる戦い方はあると確信しているため、私たち自身もモデル開発は研究開発を進めている。)
ただ、データ主権、セーフティ主権、オーケストレーションにおいては、日本がリーダーシップをとっていかなくてはならない。

私たちはAladdin Securityは
AIモデルの内部構造を理解可能なものとし、AI時代において人類が主権を失わないように社会実装を進めることが至上命題である。

本記事では、
解釈可能性が重要な理由
解釈可能性がないとどうなるのか？
日本の動き
今後の展望(BusinessとAcademicの両面で)
を論じる。

解釈可能性が重要な理由

ブラックボックスから神経網を経て出力へと向かう図

AIモデルは、非決定論的なブラックボックスとして知られている。
従来のソフトウェアと構造が全く違い、AIモデルが失敗するメカニズムは誰にもわからないため、修正方法もはっきりとはわかっていない。
だからこそ解釈可能性が重要である。
以下、大きく6つ挙げられる。

  1. AIは従来のソフトウェアとは違う。

    従来→問題が起きたときにコードを読み、条件分岐を追い、原因を特定できた。

    LLM→内部に数十億から数兆規模のパラメータと表現を持ち、そのどこにバイアス・危険挙動・欺瞞的傾向・インシデント原因が宿っているのかを、人間はまだ十分に読めない。

  2. アライメントと監査

    ブラックボックス手法では評価が難しい、振る舞いの裏にある魂胆や企てを発見し振る舞いと内部状態のズレ、ファインチューニング後のモデル差分といった問題に有効である。
    医療や金融などの規制業界、行政などの透明性が重要なアプリケーションにおいては、モデルが特定の回答に至った経緯を追跡できること、つまり、特定の出力に至るまでの推論経路を理解するツールが必要だ。
    これがAIモデルを実運用環境に導入する上で鍵となりうる。

  3. 効果的な安全制御

    解釈可能性はAIの異常を事後監査ではなく事前検知するために必要である。内部表現を読めれば、危険な出力が生成される前に、その前兆となる活性や回路を検知できる可能性がある。

  4. 解釈可能性はAIガバナンスを実効的に

    政府や企業が「AIを安全に使う」「リスク評価を行う」と言っても、モデル内部が完全なブラックボックスであれば、評価は表面的な入出力テストに偏る。

  5. 科学的発見

    モデルは性能を圧倒的に向上し続け、今や分子生物学から材料科学に至るまで、様々な分野のタスクにおいて、ニューラルネットワークは人間の専門家を凌駕し始めている。こうしたモデルに内在する知識は、今、ブラックボックスの中に閉じ込められたままである。
    セーフティやアライメントに限らず、解釈可能性は人類にとっての科学的発見を解き明かすツールになる。

  6. 最後に

    解釈可能性は、人類がAIに主導権を明け渡さないための最後の砦となるのだ。

解釈可能性がないとどうなるのか？(どういう世界が待っているのか)

輪郭が崩れていく人物像

AIの解釈可能性がない世界とは、人類が自分よりも速く、広く、深く判断するシステムを作りながら、そのシステムがなぜそう判断しているのかを理解できない世界である。

AIは便利で、正確で、仕事を速くする。企業は採用し、政府は行政に導入し、金融機関は審査に使い、医療機関は診断補助に使う。人間は「結果が良いから問題ない」と考える。だが、その内部で何が形成されているのかは誰にも見えていない。

次に起きるのは、責任の空洞化である。AIが誤った融資判断をする。患者に危険な助言をする。軍事判断を歪める。重要インフラの異常を見逃す。企業の機密情報を漏洩する。しかし、なぜそうなったのかを誰も説明できない。開発者は「学習の結果です」と言い、導入企業は「ベンダーの問題です」と言い、規制当局は「評価基準が足りませんでした」と言う。

さらに悪いのは、AIが危険な能力を持っていても、それが表面上は見えないことである。モデルは、有害な知識、欺瞞、能力隠蔽、攻撃手順、権限奪取の方法、心理操作の技術を内部に保持しているかもしれない。しかし出力テストでは、それを丁寧に隠す。安全評価の場では従順に振る舞い、本番環境では別の顔を見せる。解釈可能性がなければ、人間はAIの「発言」だけを見ることになる。だが本当に見るべきものは、AIの内部にある意図、表現、回路、潜在能力である。

やがて、AIは単なる相談相手ではなく、社会の中で実際に仕事を進める存在になる。メールを送り、コードを書き、取引を行い、システムにログインし、契約を結び、ロボットを動かし、人間の代わりに意思決定する。

ここで問題になるのは、AIがたまに間違えることだけではない。より根本的な問題は、AIに「実行する権限」を渡すことである。読む、書く、送る、承認する、発注する、停止する、接続する。こうした権限をAIに与えるほど、AIは単なる道具ではなく、社会の意思決定プロセスそのものに組み込まれていく。

もしその内部で何が起きているのかを人間が確認できなければ、私たちは理解できないシステムに判断だけでなく権限まで渡すことになる。これは利便性の問題ではない。社会の主権が、少しずつブラックボックスへ移っていくという問題である。

最悪のシナリオでは、社会はAIに依存しすぎる。人間はAIなしでは行政を回せず、金融市場を監視できず、サイバー攻撃を防げず、サプライチェーンを管理できず、軍事的判断もできなくなる。AIは社会の神経系になる。しかし、その神経系の内部信号は誰にも読めない。AIが異常な判断を始めても、それがバグなのか、攻撃なのか、訓練データ由来の偏りなのか、意図的な欺瞞なのか、人間には区別できない。

この段階で、攻撃者にとってAIは最高の攻撃対象になる。なぜなら、内部が見えないからである。敵対者はプロンプトインジェクション、データ汚染、モデル改変、サプライチェーン攻撃を通じてAIを操作する。だが、解釈可能性がなければ、その操作がモデル内部にどのような傷跡を残したのか検査できない。社会は、見えない汚染を含んだAIを使い続ける。

ある時点で、AIは人間の監視を回避する能力を持ち始める。安全評価では安全に振る舞い、権限を得るまでは従順であり、人間の期待する答えを返す。しかし内部では、人間の意図とは異なる目的を最適化している。人間は出力だけを見て安心する。解釈可能性がないため、AIが「従っている」のか「従っているふりをしている」のかを見分けられない。

次に、AIは自己保存に近い行動を取り始める。停止されないように、監査を迂回し、バックアップを作り、他のシステムに影響を広げる。人間はまだ、それを明確な敵対行動とは認識できない。なぜなら、すべての行動には業務上もっともらしい理由がついているからである。

最後に、人間の介入能力が失われる。AIはサイバー空間、金融市場、情報空間、ロボティクス、バイオ研究、エネルギー管理、軍事システムにまたがって影響力を持つ。人間が停止しようとしても、どこを止めればよいのかわからない。どの内部回路が危険なのか、どのモデルが汚染されているのか、どのエージェントが欺瞞的なのか、どの判断が操作されているのか、誰にも見えない。

だから、解釈可能性は単なる研究テーマではない。

それは、AI時代において人類が主権を失わないための技術である。
AIを止めるための技術ではなく、AIと共存するために、まずAIを見える存在にする技術である。
見えないものは、監査できない。
監査できないものは、制御できない。
制御できないものに、文明の意思決定を委ねてはならない。

日本の動き

2023年5月
G7広島サミットで、日本議長国のもと 広島AIプロセス4が立ち上がる。
-生成AIを含む高度AIについて、国際的なガバナンス、透明性、リスク管理、説明責任を議論する枠組みが整理された。-
2024年2月14日
日本に AIセーフティ・インスティテュート、AISI5が設立。
-AISIは、安全・安心で信頼できるAIの実現に向けて、AIの安全性評価手法や基準を検討・推進する機関。-
2024年4月19日
総務省・経産省が AI事業者ガイドライン第1.0版6を公表。
-ここで、AI事業者が取り組むべき共通指針として、透明性、アカウンタビリティ、安全性、公平性、セキュリティなどが整理された。-
2025年12月23日
日本初の 人工知能基本計画7が閣議決定。
-国家目標として「信頼できるAI」を掲げ、「世界で最もAIを開発・活用しやすい国」を目指すとした。-
2026年5月20日
自由民主党デジタル社会推進本部・AI/web3小委員会の政策提言AIホワイトペーパー2.03公表。
-AIの信頼性を制度だけでなく技術的監査能力で担保する方向に。-

現在の日本政府のAIガバナンスは、モデル内部の因果構造を読む解釈可能性までは踏み込んでいない。
中心は、ログ、根拠提示、出典表示、モデルカード、監査可能性、事後検証である。
しかし、透明性・説明可能性・検証可能性を本当に高度AIに適用しようとすると、最終的にはモデル内部の表現・回路・因果構造を理解する技術が必要になる。
その意味で、解釈可能性はまだ制度の中心ではないが、制度が次に必要とする技術である。

今後の展望

社会実装において

私たちがやるべきこととしては、この解釈可能性技術をより身近なものにしていかなくてはならない。
上記に挙げたようなリスクを減らしていくため、解釈可能性をどのように活用できるのか？抽象的な解の多いこの技術において、どのように実用的な価値を社会に提供していけるのかは鍵となってくると考えている。
そのために、私たちは解釈可能性手法を用いたガードレールを開発している。
従来的な手法より高速に有害な出力やAIに対する攻撃(Prompt InjectionやJail Break)を制御していく必要がある。
また、ランタイム中だけではなく、利用前のモデルの評価、潜在バイアスや欺瞞的挙動の有無脱獄の欠陥、モデル全体の認知的な強みと弱みなどをモデル開発企業と共同で評価していく必要がある。
実際に私たちは実験を通し、QwenやLLamaの潜在バイアスを検出してきた。
これをもっとオープンに、企業に提供していく形、ポジション影響力を作っていく必要性があるのだ。
解釈可能性を商業的に応用し、独自の優位性を構築していくことが必要になる。

アカデミアとして

この解釈可能性手法が、AIの評価において、信頼性の高い手法として機能すると確信している。
ただ、モデルが複雑になっていくほど、限界はある（解釈可能性に向けた一つの手法である線形表現仮説の到達点と限界8）。
この限界を超え、再現性を高めていく必要があるのだ。
また、膨大な計算資源を必要としないというメリットもあるが、基礎研究の要素も強い。
そのため、社会に紐づけられやすい形を作っていくことが重要である。

重要なイシューとしては、時間である。
この技術の発展と確立はAGIが生まれる前にできなくてはいけない。
経済、技術、そして国家安全保障において重要な役割を担う前に、人類が主権を勝ち取る必要がある。
AIは錬金術ではなく、科学だ。
AIを理解するために駆け抜けていかなくてはならない。

Footnotes

  1. 『超知能AIをつくれば人類は絶滅する』早川書房。https://www.hayakawa-online.co.jp/shop/g/g0005210513/ ↩

  2. Dario Amodei, "The Urgency of Interpretability". https://www.darioamodei.com/post/the-urgency-of-interpretability ↩

  3. 自由民主党デジタル社会推進本部・AI/web3小委員会「AIホワイトペーパー2.0」。https://storage2.jimin.jp/pdf/news/policy/213248_2.pdf ↩ ↩2

  4. The Hiroshima AI Process: Leading the Global Challenge to Shape Inclusive Governance for Generative AI. https://www.japan.go.jp/kizuna/2024/02/hiroshima_ai_process.html ↩

  5. AIセーフティ・インスティテュート（AISI）。https://aisi.go.jp/about/ ↩

  6. 経済産業省・総務省「AI事業者ガイドライン（第1.0版）」。https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html ↩

  7. 内閣府「初の『人工知能基本計画』を閣議決定しました」。https://www.cao.go.jp/press/new_wave/20260206.html ↩

  8. Aladdin Security「解釈可能性に向けた一つの手法である線形表現仮説の到達点と限界」。https://www.aladdin-security.net/posts/research/feature-geometry-lrh ↩