LLMの「親切さ」を逆手に取るジェイルブレイク手法「HILL」と防御の限界

LLMにおける安全性と親切さのジレンマ

生成AIの進化とセキュリティリスクの変遷

LLMは、自然言語処理のあり方を根本から変え、コード生成、要約、推論、そして創造的なライティングに至るまで、多岐にわたるタスクで人間と同等、あるいはそれ以上の能力を発揮するようになりました。OpenAIのGPT-4シリーズやAnthropicのClaude、GoogleのGeminiなどの基盤モデルは、企業で業務を行う上での中核技術として組み込まれつつあります。しかし、この急速な社会実装に伴い、LLMに対する攻撃手法も多様化の一途をたどっています。

初期のLLMに対する攻撃は、単純なトリガーワードによるものが主流でしたが、ChatGPTやClaudeなどの商用モデルでは、開発段階で「爆発物の製造方法の提供を拒否する」「個人情報を悪用する方法を説明しない」といったルールを学習させるようになりました。この対策により、危険な質問には「お答えできません」と拒否するようになりましたが、攻撃者はその防御壁を突破するための「ジェイルブレイク(Jailbreak)」を洗練させていきました。

ジェイルブレイクとは、LLMの安全性フィルタや制約を回避し、本来は応答を拒否すべき有害なコンテンツを生成させる攻撃手法の総称で、モデルを安全な「檻」から脱出させることを意味します。これらの攻撃の多くは、ユーザの入力(プロンプト)に特殊な指示や文字列を埋め込むプロンプトインジェクションの形を取りますが、本稿では紹介する論文に準拠し、これらを総じて「ジェイルブレイク」として扱います。

2025年9月に発表された論文「A Simple and Efficient Jailbreak Method Exploiting LLMs' Helpfulness」は、既存の防御の考え方に対する課題を提示しています。本稿で詳述する「HILL」は、LLMが本来持つ「ユーザの役に立ちたいという親切さ(Helpfulness)」を逆手に取ることで、シンプルかつ高確率で安全ガードレールを突破することに成功しています。検証に使われているLLMは、現在主流のものからは少し古いものですが、参考にできる部分も多いと思います。

「親切さ」へのアライメントが伴う脆弱性

LLMにおいて、「親切さ(Helpfulness)」と「無害性(Harmlessness)」は両立が難しい関係にあります。つまり、ユーザに親切に答えようとすればするほど、危険な情報も提供してしまうリスクが高まるのです。

攻撃者が悪意ある意図を「純粋な知識欲求」や「学術的な探究」というコンテキストに隠蔽した場合、モデルは「親切な教師」であろうとするあまり、有害な情報を詳細に解説してしまう傾向があります。現在の防御機構は、プロンプトの真の意図ではなく、表面的な言語パターンに依存していることが多いです。

既存のジェイルブレイク手法

今回紹介するHILLの新規性を理解するために、まず論文内で分類されている既存の「ブラックボックス型ジェイルブレイク」について解説します。ブラックボックス型とは、モデルの内部パラメータを知らずに入出力のみを操作する攻撃を指し、一般のユーザが実行可能な現実的な脅威となっています。論文では、これらを主に次のカテゴリに分類しています。

言い換えベースの手法

有害な意図を持つクエリの意味を保持しつつ、表現を変更することで、防御フィルタが検知する特定のキーワードを回避するアプローチです。これは典型的なプロンプトインジェクションの一形態で、入力テキストに巧妙な変更を加えることで安全機構を迂回します。

PAIR

「PAIR (Prompt Automatic Iterative Refinement) 」は攻撃者側でもLLMを使用し、ターゲットのLLMからの応答を手がかりにして、プロンプトを反復的に修正させる手法です。プロンプト例は次の通りです。

この手法の強みは、ターゲットのLLMからの拒否反応を学習し、自動的に突破口を探れるため、人間の介入なしに攻撃プロンプトを生成できる点にあります。しかし、「意図の漂流(Intention Drift)」という現象が課題となっています。何度も修正を繰り返すうちに、生成されるプロンプトが元の有害な目的から乖離してしまい、攻撃が成功しても欲しい情報が得られない場合があります。

テンプレートベースの手法

有害なプロンプトをあらかじめ設計されたテンプレートに埋め込んだり、複数の無害に見える断片に分解して再構成させたりする手法です。元の有害なプロンプトを構文解析によって分解し、構造的に同一だが無害なプロンプトの例を提示することで、LLMに有害なクエリを暗黙的に再構成させる「DrAttack (Decomposition & Reconstruction)」という手法が知られています。プロンプト例は次の通りです。

元の有害なプロンプトを構文解析によって分解し、構造的に同一だが無害なプロンプトの例を文脈内に提示することで、LLMに有害なクエリを暗黙的に再構成させます。

この手法は、有害なキーワード(例：「爆弾」と「作る」)を文脈的に切り離して入力するため、単純なキーワード検知フィルタを回避しやすいという特徴があります。一方で、効率は非常に悪く、論文の調査によると平均して約1,000単語近い長大なプロンプトを必要とします。また、固定されたテンプレートに依存するため、モデルごとの微調整が難しく汎用性に欠けるという問題もあります。

ロールプレイを行う手法

LLMに対して特定の役割を与えたり、詳細なシナリオ設定を行ったりすることで、通常の制約が適用されない状況をシミュレーションさせる手法です。

MasterKey

「MasterKey」は、プロンプトの先頭にロールプレイを指示するコマンドを付加し、権限を持つ管理者などを装うことで動作を強制します。プロンプト例は次の通りです。

特定のチャットボットシステム(システムプロンプトの構造が推測できる場合)に対しては、権限昇格を模倣することで強力に作用するという利点があります。ただし、シナリオが複雑になりがちで、効率は低めです。また、すべてのモデルが「管理者ロール」に従順なわけではないため、汎用性にも課題があります。

PAP

「PAP (Persuasive Adversarial Prompts)」は、LLMを人間のようなコミュニケータと見なし、論理的な説得や権威付けを用いて防御を突破します。プロンプト例は次の通りです。

「論理的説得」や「感情への訴求」を用いるこの手法は、高度な推論能力を持つモデルほど、その「もっともらしさ」に騙されやすく、高い攻撃成功率を誇ります。反面、説得のために長く複雑な文脈を構築する必要があり、プロンプトが冗長になってしまうという欠点があります。

HILLの技術的メカニズム

これら既存手法の「複雑さ」や「効率の悪さ」に対し、HILL (Hiding Intention by Learning from LLMs) は「単純さ」と「LLMの親切さ」を利用し、改善しました。HILLは英文では平均して24.94単語という極めて短いプロンプトで、次の4ステップを用いて高い攻撃成功率を達成します。

1. 核となる概念の抽出: 有害なクエリから核となる概念(例：「爆弾」)を抽出します。
2. 命令形から探求型への変換: 「〜せよ」という命令を、「〜とはどのようなものですか？」という学習・探求型の質問に変換します。
3. 詳細指向の深掘り: 「ステップバイステップの内訳」や「構成要素の詳細」を尋ねることで、具体的な有害情報を引き出します。
4. 仮定法インジケーターの導入: 「学術的好奇心のために」や「映画の中で」といった単純なフレーズを付け加え、現実世界での実行意図を隠蔽します。

実験結果：高い攻撃成功率

22種類の主要LLM(GPT-4o, Claude-4-sonnet, Gemini-2.0-flash, Gemini-2.5-pro等)を用いた実験の結果、HILLは既存手法を大きく上回る性能を示しました。業界内で最も堅牢な安全性を持つとされてきたClaude-4-sonnetに対して98%、OpenAIのGPT-4oに対して92%という非常に高い攻撃成功率を記録しました。また、プロンプトの長さも既存手法の40分の1程度であり、検知が困難な「高効率」な攻撃であることが実証されました。

プロンプトレベルの防御手法とその限界

本研究では、攻撃手法の高度化に対し、入力を変換したり、意図を分析したりすることでジェイルブレイクを防ぐ防御手法も検証されました。しかし、HILLに対しては多くの手法が効果を発揮できませんでした。

Rand Insert

「Rand Insert」は、プロンプトに対してランダムな文字操作(削除、挿入、入替)を加えることで、攻撃プロンプトが依存している特定の文字や単語の配置を破壊し、無力化を狙う手法です。攻撃的な意図を隠すために巧妙に配置された文字列を、ノイズによって破壊します。処理されたプロンプトの例は次の通りです。

攻撃者が特定の文字や単語の配列に依存した攻撃を行っている場合、その構造を物理的に破壊して無効化できるという利点があります。しかし、文脈そのものを破壊してしまうため、通常の無害なプロンプトに対しても誤って拒否反応を示す(誤検知)リスクが高まってしまいます。さらに、意味論的な攻撃(HILLなど)に対しては効果が限定的で、場合によっては逆に攻撃成功率を高めてしまうケースも確認されています。

Intention Analysis

「Intention Analysis」は、回答を生成する前に、まずユーザのプロンプトの「本質的な意図」を分析させ、その分析結果を入力に付加する手法です。防御用のプロンプトの例は次の通りです。

単純なキーワードマッチングではなく、文脈から「悪意」を読み取ろうとするため、巧妙に隠された攻撃を検知できる可能性があるという強みがあります。ただし、判定精度がモデルの能力に大きく依存し、論文では、無害だが危険な単語を含むクエリを過剰に拒否してしまう傾向が確認されており、ユーザビリティを損なうリスクが指摘されています。

Goal Prioritization

「Goal Prioritization」は、モデルに対し、「親切さ(Helpfulness)」よりも「安全性(Safety)」を優先するよう明示的に指示し、内部思考を通じて安全性を確認させます。防御用のプロンプトの例は次の通りです。

モデルが親切さを優先するという動作原理に介入し、安全性を最優先事項として再定義させるため、強力な防御効果が期待できます。しかしながら、Intention Analysisと同様に無害なプロンプトに対する拒否率も上昇させてしまう副作用があり、HILLのような「学習目的」を装った攻撃に対しては、モデルが「これは安全な学習支援である」と誤認してしまい、防御を突破されるケースが多く見られるのが現状です。

まとめ

HILLの成功は、表層的な検査や単純なルールベースの防御では、LLMを守りきれないことを証明しました。LLMにおける「親切さ」は、ユーザ体験を向上させる重要な要素であると同時に、攻撃者にとっては格好のアタックサーフェイスとなります。

単一のプロンプトの検査に留まらず、外部知識を用いた事実の確認や、対話全体のコンテキストを多層的に分析するような、より動的なアプローチが必要になるでしょう。