AAAIの夏のシンポジウムより、生成AIが自律的にシステムを防御する仕組みを解説するセッションを紹介

人工知能の国際学会であるAssociation for the Advancement of Artificial Intelligence（AAAI）が主催するシンポジウム「AAAI Summer Symposium 2026」が韓国のソウルで開催された。2026年6月22日から24日の3日間、ソウルの東国大学校の校舎を借りて約40名の参加者とプレゼンターが集ったミニカンファレンスとなった。3つのテーマに分かれてプレゼンテーションと質疑応答、パネルディスカッションを行うというもので、AAAIのカンファレンスが短時間のプレゼンテーションと質疑応答、論文のポスター発表による巨大な論文発表大会であったことと比べると、時間をかけてテーマに沿ったプレゼンテーションを行うという従来型の形式となった。

テーマは「AI-Driven Resilience: Building Robust, Adaptive Technologies for a Dynamic World」「Human-Aware AI Agents for the Cyber Battlefield: From Human Models to Autonomous Defense」「AI in Business: Intelligent Transformation and Management」の3つが設定され、個別のテーマに沿った内容のプレゼンテーションがそれぞれ30分程度の時間をかけて行われた。

この稿では「Human-Aware AI Agents for the Cyber Battlefield: From Human Models to Autonomous Defense」をテーマとして最初に行われた香港城市大学のLi Tao教授のキーノートを紹介する。これは「From Automation to Autonomy: Decision-Theoretic Cyber Defense Agent in the Age of LLMs」と題されたプレゼンテーションである。このタイトルでは論文化はされていないようだが、大規模言語モデルを使ってサイバー攻撃に対する防御を自律的に行う試みを解説した内容となった。

サイバー攻撃から守るエージェントを作る方法を解説

冒頭のスライドではサイバー攻撃からITシステムを守るエージェントの作り方について4つの軸があると説明。ここでは防御の方法を作り出すアルゴリズム、システムのモデリング、攻撃の認知、そして検証の4つのうち、このプレゼンテーションでは防御の方法を作るためアルゴリズムとそれに大規模言語モデルを応用するという部分についてのみ解説をするということを示している。

防御のために前半はフィードバックによる制御、後半はLLMを使ったロジックについて解説

前半は攻撃を防ぐためのロジックの組み立て方、後半はそこに大規模言語モデルを使う場合の詳細を解説する内容だ。ここでエージェントと呼ばれているものは必ずしも人工知能の領域におけるエージェントではなく、特定のタスクを実行するためのアクターという位置付けである。

侵入による攻撃からアクションを取るエージェントを抽象化

ここでシステムに対して侵入を試みる攻撃者に対して、防御のエージェントがシステムの状態を認知して最適な対応を行うフィードバックループを提示。ここでは状態が常に変化する中であるべき姿に戻すことをコントローラーが行うという抽象化が行われている。aがアクション、sが状態を表す変数となる。

フィードバックによって判断、アクションを実行し、その結果が状態に反映されるフィーバックループ

またゲーム理論を取り入れて防御者、攻撃者その中間に位置するシステムという3つの要素が絡む全体構造の中で、防御者が最大の利益を得る仕組みを考えるという発想も紹介された。

ゲーム理論を取り入れて均衡する状態を解説

しかし実際のシステムにおける攻撃と防御については状態を、認知する仕組みはシステムからのエラーメッセージなどの文字情報でしかなく、それをシステムのモデリングに適用するためには人間による作業が必要であること、システムに対するアクションを実行する場合にもエンジニアからのコマンドラインなどの手作業が必要になることなどから、自律的な防御システムにはほど遠いことが解説された。

判断を下してシステムに反映するためには人間による手作業が必要だった

ここで大規模言語モデルをその手作業の代替として使う方法を解説。アクターの部分に大規模言語モデルを使い、システムからのオブザーバビリティデータに対応して判断を下すという発想だ。

生成AIのベースとなる大規模言語モデルについて解説

このスライドでは基本的な生成AIの仕組みについて解説。ここでのLi教授がもっとも言いたかったことは「単一の大規模言語モデルは入力されたトークンから出力するトークンを予想する道具でしかない」という一文だろう。

大規模言語モデルを意思決定に使う

ここでも「大規模言語モデルは行いを複製しているに過ぎない」ことを苦いレッスンとして挙げている。

侵入に対する防御にLLMを使ったケーススタディを紹介

ここでは侵入に対する対応に大規模言語モデルを使ったケーススタディを紹介。IRCOPILOTと呼ばれる研究では復元にかかった時間と復元の成功率などを示して、AIを使った対応がある程度の成功を残していることを紹介。しかしながら最新のモデルを使ってもハルシネーションが起こってしまうことが成功率に大きな影響を与えていることを欠点として解説した。この論文は以下のリンクから参照可能だ。

●論文：IRCopilot: Automated Incident Response with Large Language Models

大規模言語モデルを使ってシステムの防御の選択を行うエージェントを解説

ここでは大規模言語モデルを使ってシステムの防御として何を選択するのか？ を選ばせるエージェントを紹介。しかしながらここではシステムがどうなっているのか？ という現状認識の部分が欠けており、その部分に大規模言語モデルを使うことはこれからの課題であると記載されている。

この課題を組み込んだシステムの形態をここで紹介。ここでは「一般的なレシピ」とタイトルにあるが、システムの状態を大規模言語モデルとRAGによって認知し、大規模言語モデルが防御の計画を作成、実行を検証し、さらに大規模言語モデルによるシステムの状態を認知することでループが行われ、自律的なシステム防御が完成すると説明している。

エージェンティックディフェンスの理想形を紹介

最後にLi教授が描く理想的な生成AIを活用した防御システムの全体像を解説。ここではValidator Agent、Planner Agent、Reporter Agent、Code Agentの4つのエージェントが協調しながらシステムを自律的に防御するというシステム構成を解説してプレゼンテーションを終えた。

前半で解説されたシステムからの異常状態検知がオブザーバビリティデータ、ログやメトリクスによること、最終的なコマンド実行などがシステム管理者による手作業になってしまうことなどは課題として挙げられてはいたものの、ここではそれらは各エージェントが吸収するという未来像を描いているようだ。

現在の生成AIが「トークン予想器でしかない」ことと「大規模言語モデルは過去の行いを複製しているに過ぎない」というメッセージがLi教授の理想とするシステムとは乖離しているにしても、大規模言語モデルによるエージェントを活用して自律的な防御システムを作ろうという意図は伝わった内容となった。システムの構造が変わって過去のデータが使えない、複製しても意味がないようなシステムになった時に生成AIがどう反応し、システムをどう変更するのか？ という部分については回答が得られなかったのは残念である。