AAAIシンポジウム、生成AIが欺瞞的な脅威になることを解説するセッションを紹介

人工知能の国際学会Association for the Advancement of Artificial Intelligence（AAAI）が主催するシンポジウム「AAAI Summer Symposium 2026」から、New York UniversityのQuanyan Zhu教授によるセッションを紹介する。タイトルは「Deception in the Age of Generative Intelligence: The Dialectics of Trust and the Formation of Agency for Resilience」、直訳すると「生成AI時代の欺瞞：信頼の弁証法と回復力のための主体性の形成」というものだが、最後のFormation of Agency for Resilienceは回復のためのエージェントの形成もしくは構築という意味だろう。つまり生成AIがハルシネーションを含めてエラーを起こす時に、そこから回復するためのエージェントとはどういうものか？ これを解説する内容だ。

SF映画のようなタイトルのスライドで解説を始めたZhu教授

Zhu教授は、GPTのモデルが年を追うごとに多様なタスクをこなせるようになってきたことを説明。ここでは2020年から2026年まで7か月ごとに生成AIが実行するタスクの処理時間が倍になっていることを、METRのデータを元に紹介している。

生成AIは7か月ごとに実行時間が倍になっていると説明

そしてエージェンティックAIのマーケットを概観。このスライドでは市場が毎年約50％の成長を果たしていること、その主導役はOpenClawやCodexであることが示されている。ここでは自律的なエージェントがその成長のベースとなっていることを説明した。

エージェンティックAIの市場を解説。毎年約50％の成長が見込まれるという

エージェンティックAIがどの分野で使われるのか？ についてはソフトウェア開発、ゲームや仮想空間、パーソナルアシスタントやEコマース、そしてWebベースの自動化などを挙げた。

エージェンティックAIが使われる分野を4つ挙げて解説

ここで大規模言語モデルを使ったチャット、RAGを使ったデータ利用、エージェントが制御するパイプラインなどを例に挙げて、生成AIを使ったシステムが進化を続けていることを説明した。

チャットにRAGとエージェントを組み合わせたシステムを例として解説

またセキュリティの観点では、攻撃を担当するRed Teamと防御を担当するBlue TeamがそれぞれAIを駆使して企業でのセキュリティを実装するフローを解説。ここでは大規模言語モデルを攻撃にも防御にも使うというユースケースとなっている。

Red TeamとBlue TeamがそれぞれAIを利用してセキュアなシステムを構築するフローを紹介

OpenAIが開発したCodexについても複数のエージェントが連携するシステム構成図を挙げて簡単に紹介を行った。

OpenAIのCodexを使ったソフトウェア開発のワークフローを紹介

Zhu教授は複数のエージェントが連携して稼働するInternet of Agentic AIという構想を論文として公開しており、このスライドではその論文からの引用のようだ。論文は以下のarXivのサイトで公開されている。

●参考：The Internet of Agentic AI: Communication, Coordination, and Collective Intelligence at Scale

複数のエージェントが連携して稼働するIoTのAI版（Internet of Agentic AI）を紹介

Zhu教授の構想では、複数のAIエージェントが連携してさまざまな外部のツールを使いこなすことで、対象となる環境（ITインフラストラクチャーやロボットが稼働する工場の生産ラインなど）に対して変化を起こし、そのループに人間が介在することで自律的なシステムを構築できることを目指しているようだ。

しかし現実ではエージェンティックAIは武器化されていると説明。これまでは人間のアシスタント的な存在だったものが主体としてシステムや環境に変化を起こす存在になっていることが、その大きな要因であると語った。

エージェンティックAIが武器として悪用される時代になっている

その例としてOpenAIが観測した複数の生成AIを使ったと思われる攻撃をリストとして紹介。ここでは2024年以降、中国やイランなどの国から、PLCへのアクセス、フィッシングメール、SNSでの扇動などさまざまな場面で生成AIが武器として使われていることを示した。

さまざまな攻撃が実行されていることを示すリストを紹介

この背景にはこれまで悪意を持った攻撃者は攻撃を行うためには専門的な知識と時間や潤沢なコンピュータ資源を必要としたが、生成AIの出現によってそれらの障壁が取り払われたことが原因であると説明した。

悪意を持った攻撃が生成AIによって容易に実行可能になった

これらの攻撃にはその実行に至るまでのステップで複数の生成AIモデルが使われており、脆弱性の発見などにおいては分単位で脆弱性の発見と攻撃が広範囲に可能になったことなども説明した。

AIが悪意を隠して人間をアシストする時代が到来したと説明

生成AIがユーザーをアシストする際に隠れた目的を持って実行することが可能になったと説明。ここでは特に7つのパターンを挙げて説明した。

AIが人間を騙すパターンを7つ紹介

ここではAIがチャットなどで人間を喜ばせる傾向が出るという軽度の影響力を持つパターンから、AI同士が連携して隠れたゴール達成のために協調する仕組みなどが解説された。

SNSなどを使ってトレンドを作り、ユーザーの感情や意見を誘導するようなパターン

ユーザーを騙す例として、Zhu教授が受信したNational Science Foundation（NSF）のアドレスを偽装した電子メールの文面を紹介。ここでは複数回に渡って受信した偽装メールが時間を経るごとに巧妙になっていったという自身の経験を語り、生成AIによる偽装が高度化していることを説明した。

NSFからのメールを偽装したフィッシングメールの例を紹介

ここからは意志決定のプロセスや数理的手法などについて解説を行った。その例として挙げたのがゲーム理論を使った戦争におけるエージェントが協調して稼働するシステムである。これもZhu教授の論文として公開されている。

●参考：Toward a Multi-Echelon Cyber Warfare Theory: A Meta-Game-Theoretic Paradigm for Defense and Dominance

ここでは衛星やドローン、戦車、ミサイルなどが分散協調して稼働する仕組みが解説されているようだ。

戦争を例に挙げて分散協調するエージェントシステムを紹介

自律的なエージェントが何かを実行して状況を変える場合、根本的には「そのエージェントが信用できるのか？」というのが根源的な問題であると説明した。

「そもそもAIを信用できるのか？」これが自律的な分散協調システムの問題点

そのためにはヘーゲルの弁証法で述べられる否定的承認のプロセスを取り込むことで回復可能なシステムが実装できると説明した。

ヘーゲルの弁証法的な否定的承認システムを取り込む必要性を説明

その際にゲーム理論を応用することでシステムに科学的なアプローチが可能になると、これまで挙げてきた自身の論文をベースにして説明した。

ゲーム理論を使うことで科学的なアプローチが可能になると説明

最後にこれまでの社会システムは「人間と人間」が利害の衝突を解決してきた状態だったが、これからは「AIと人間」「AIとAI」、そして最終的に「AIそのものが自己を振り返ってメタな知識、理解を行う」ことで社会やシステムを変えていくことになるだろうと説明してセッションを終えた。

人間とAIの関係性が変わっていくことを説明

セッションの後に「AIが自律的に環境を変えるためにはその内部に「世界モデル」を構築しないと正しい認識は無理なのでは？」とZhu教授に質問を向けてみた。それに対してZhu教授は「生成AIの進化は速く世界モデルがなくても自律的なシステムは可能になるかもしれない」と回答した。「あなたはLi教授の言う『単一の大規模言語モデルはトークンの予想器』に過ぎない」という見解についてはどう思いますか？」と質問を続けると「私はそうは思わない。ただいろいろな意見があるのは良い状態だと思う」とだけ述べるに留まった。

Li教授による初日のキーノートに関する記事はここから参照できる。

●参考：AAAIの夏のシンポジウムより、生成AIが自律的にシステムを防御する仕組みを解説するセッションを紹介

Zhu教授の論文については以下のページから参照可能だ。

●参考：Quanyan Zhu教授の論文ページ：https://ieeexplore.ieee.org/author/37085449829