AIセキュリティ（AI Security）とは、AIモデルやAIを組み込んだアプリケーションを狙った攻撃から、入力・モデル・出力・接続先の外部システムを守るための考え方と技術の総称です。生成AIやAIエージェントが実際の業務システムに接続されるようになったことで、従来のシステム開発では想定してこなかった種類の攻撃が現実の脅威になっています。
通常のサイバーセキュリティとの違い
従来のサイバーセキュリティは、ソフトウェアの脆弱性やネットワークの穴を突く攻撃を前提にしてきました。AIセキュリティが新たに扱うのは、「AIモデル自身の判断を、自然な言葉で操作されてしまう」という種類の攻撃です。攻撃者は不正なコードを書く必要すらなく、モデルへの指示文だけで意図しない動作を引き出せる場合があります。
| 項目 | 従来のシステムセキュリティ | AIセキュリティ |
|---|---|---|
| 主な攻撃経路 | コードの脆弱性、認証の不備 | 自然言語による指示、入力データ |
| 判断の主体 | あらかじめ書かれたロジック | 確率的に出力を生成するモデル |
| 典型的な被害 | 不正アクセス、データ改ざん | 情報漏洩、不正なツール実行、誤情報の生成 |
| 防御の焦点 | 入力値検証、パッチ適用 | 入力・出力の検査、権限設計、人による確認 |
AIシステムの攻撃面
AIアプリケーションは、システムプロンプト、社内データやRAGで参照する資料、AIモデル本体、外部ツールやAPI、そして最終的な出力という複数の要素で構成されています。攻撃者はこのどこか一つでも操作できれば、意図しない動作を引き起こせます。
- システムプロンプト脅威指示の上書き
隠しておきたい指示や制約を、巧妙な言い回しで書き換えられる
- 社内データ・RAG脅威間接プロンプトインジェクション
検索対象の文書やWebページに埋め込まれた指示文をAIが実行してしまう
- AIモデル本体脅威モデル・重みの窃取
大量の問い合わせから応答を再学習し、モデルの挙動を模倣される
- 外部ツール・API脅威不正なツール実行
エージェントが権限を持つメール送信や決済APIなどを、騙されて実行してしまう
- 出力脅威機密情報の漏洩
学習データや会話履歴に含まれる機密情報が、応答文の中に混ざって出てしまう
各地点は独立していない。上流（システムプロンプトやRAG資料）で混入した不正な指示は、下流（外部ツールの実行や出力）まで伝わっていく。
代表的な5つの脅威
利用者からの入力や、AIが参照する外部文書・Webページに、AIへの指示を紛れ込ませる攻撃です。 直接入力欄に書き込む「直接プロンプトインジェクション」と、AIが後から読み込む資料に仕込んでおく 「間接プロンプトインジェクション」があり、後者は利用者自身も気づきにくいのが特徴です。
学習データ、RAGで接続している社内文書、それ以前の会話履歴に含まれる個人情報や営業秘密が、 別の利用者への応答の中に混ざって出力されてしまう問題です。アクセス権限の設計が甘いRAG構成では、 本来閲覧権限のない文書の内容までAIが回答してしまうことがあります。
モデルの学習データや、RAGが参照するナレッジベースに、意図的に誤った情報や悪意あるコンテンツを 混入させる攻撃です。学習時点で仕込まれると、後から見つけて取り除くのが難しくなります。
工夫した質問を繰り返すことで、非公開のシステムプロンプトの内容や、モデルの内部的な挙動を 推測・復元されてしまう攻撃です。競合による模倣や、隠していた制約・機密ルールの露見につながります。
メール送信、ファイル操作、決済、社内システムの更新など、実際に行動できる権限をエージェントに 与えている場合、プロンプトインジェクションと組み合わさることで、攻撃者が意図した操作を エージェント経由で実行させられる恐れがあります。権限が大きいほど被害も大きくなります。
代表的な防御策
単一の対策で完全に防げる脅威はほとんどないため、入力から出力まで複数の層で防御を重ねる「多層防御」が基本方針になります。
- 入力検査既知の攻撃パターンや、指示の上書きを試みる文言を検出・フィルタリングする
- アクセス制御RAGやツール呼び出しを、利用者本人が本来アクセスできる範囲に限定する
- 出力検査機密情報や禁止事項が応答に含まれていないか、返す前に確認する
- 最小権限AIエージェントに与えるツール権限を、業務上必要な範囲だけに絞る
- 人による承認送金や外部送信など、影響が大きい操作は自動実行させず人の確認を挟む
- ログと監視AIへの入力・出力・ツール呼び出しを記録し、異常な挙動を後から追跡できるようにする
AI安全性・AIガバナンス・AIプライバシーとの違い
「AIセキュリティ」は、隣接するいくつかの用語と混同されがちです。焦点の違いを整理すると、対策の担当範囲を分けやすくなります。
| 項目 | 主な問い | 代表的な取り組み |
|---|---|---|
| AIセキュリティ | 外部からの攻撃をどう防ぐか | 入力検査、アクセス制御、監視 |
| AI安全性 | AIの判断や出力が害を及ぼさないか | 有害出力の抑制、誤情報対策、レッドチーミング |
| AIガバナンス | 組織としてAIをどう管理・説明するか | 利用方針の策定、責任体制、監査 |
| AIプライバシー | 個人データをどう扱うか | 同意取得、データ最小化、匿名化 |
これらは独立しているわけではなく、実務では重なり合います。たとえば「機密情報の漏洩」はセキュリティの問題であると同時に、プライバシーとガバナンスの問題でもあります。
企業導入時のチェックリスト
生成AIやAIエージェントを業務に導入する際、最低限確認しておきたい項目です。
- AIに渡すデータの範囲は、業務上必要な最小限に絞られているか
- RAGやツール連携のアクセス権限は、利用者ごとの権限と一致しているか
- 外部への送信・決済・削除など、取り返しのつかない操作に人の承認を挟んでいるか
- 入力・出力・ツール呼び出しのログを、後から追跡できる形で保存しているか
- プロンプトインジェクションを想定した検証（レッドチーミング）を行ったか
- インシデント発生時の報告・対応フローが決まっているか
よくある質問
AIセキュリティとAI安全性（AI Safety）は同じものですか？
違います。AIセキュリティは「外部からの攻撃からシステムを守る」観点、AI安全性は「AI自体の判断や出力が意図せず害を及ぼさないようにする」観点です。プロンプトインジェクションはセキュリティの問題、AIが誤った医療助言をしてしまうのは安全性の問題、というように整理できます。
プロンプトインジェクションは入力を検査すれば防げますか？
入力検査は有効な対策の一つですが、それだけでは防ぎきれません。攻撃者は検索結果や添付ファイルなど、直接の入力欄以外の経路（間接プロンプトインジェクション）から指示を混入させることもあるため、出力検査やアクセス制御と組み合わせる多層防御が必要です。
情報源
- OWASP Top 10 for Large Language Model Applications（OWASP Foundation）
- AI Risk Management Framework (AI RMF)（NIST）
- AI事業者ガイドライン（総務省・経済産業省）
