チャットの AI は、間違えても「変な答えが返ってくる」だけでした。AI エージェントはそうではなく、メールを送り、ファイルを書き換え、ブラウザで申し込みのボタンを押します。間違いや攻撃の結果が、文章ではなく操作として残ります。導入を任された情シスの方が「どこまで任せてよいのか」で手が止まるのは、もっともなことです。
この記事は、AI エージェントの導入を検討している情シス・セキュリティ担当の方に向けて書いています。セキュリティの非営利団体 OWASP が公開している 2 つのリスクの一覧をもとに、AI エージェントに特有の危険を整理し、会社で決めておくことと、仕組みで抑える方法をまとめます。
結論:AIエージェントは「読んだものに動かされる」前提で設計する
- AI エージェントの危険は、読んだ文章に紛れた指示で目的がすり替わること(プロンプトインジェクション)と、それを実行できてしまう権限の大きさの掛け算で決まります
- 指示の紛れ込みは完全には防げません。被害の大きさを決める「権限」「送信先」「取り消せない操作」の 3 つを、人と仕組みで絞るのが現実的な対策です
- 取り消せない操作(送信、注文、削除、公開)は、実行の前に人が承認する形にします
- 誰が頼み、AI が何を読み、何をしたかを記録に残し、戻せる手段を用意します
- 「常に許可」のような確認の省略は便利ですが、省略した範囲が攻撃者にも開くことを理解して使います
OWASPが挙げるAIのリスク
OWASP(Open Worldwide Application Security Project)は、Web アプリのセキュリティの指針で知られる非営利団体です。生成 AI について、2 つの一覧を公開しています。
LLMアプリのTop 10(2025年版)
大規模言語モデルを使ったアプリ全般のリスクです。AI エージェントに特に関係が深いのは次の 3 つです。
- LLM01 Prompt Injection(プロンプトインジェクション):入力や、読み込んだ文書・Web ページに仕込まれた指示で、モデルの振る舞いが変わる
- LLM02 Sensitive Information Disclosure(機微な情報の漏えい):個人情報や社外秘の情報が応答や外部への送信に混ざる
- LLM06 Excessive Agency(過剰な権限・自律性):モデルに渡した機能、権限、自律性が大きすぎて、誤りや攻撃が実害につながる
エージェント向けのTop 10(2026年版)
OWASP は 2025 年 12 月 9 日に、AI エージェントに絞った一覧「Top 10 for Agentic Applications」を公開しました。項目と、公式の発表が挙げている実例は次のとおりです。
| 番号 | 項目 | 意味 | 発表が挙げる実例 |
|---|---|---|---|
| ASI01 | Agent Goal Hijack | 読んだ内容でエージェントの目的がすり替わる | EchoLeak |
| ASI02 | Tool Misuse | 使ってよいツールを、意図しない形で使われる | Amazon Q |
| ASI03 | Identity & Privilege Abuse | 預けた権限や認証情報を悪用される | - |
| ASI04 | Agentic Supply Chain Vulnerabilities | 外部のツールや部品を通じた攻撃 | GitHub MCP exploit |
| ASI05 | Unexpected Code Execution | 意図しないコードが実行される | AutoGPT RCE |
| ASI06 | Memory & Context Poisoning | 記憶や文脈に誤った情報を植え付けられる | Gemini Memory Attack |
| ASI07 | Insecure Inter-Agent Communication | エージェントどうしのやりとりが守られていない | - |
| ASI08 | Cascading Failures | 1 つの誤りが連鎖して広がる | - |
| ASI09 | Human-Agent Trust Exploitation | 人がエージェントを信じすぎることにつけこまれる | - |
| ASI10 | Rogue Agents | 意図から外れて動き続けるエージェント | Replit meltdown |
ASI01 の例に挙がっている EchoLeak は、AI が読み込むメールに指示を仕込み、社内の情報を外へ持ち出させる攻撃です。経緯は 生成AIの情報漏洩の事例 で紹介しています。
AIエージェントに特有の4つの危険
一覧を業務の言葉で言い換えると、会社として手を打つべき危険は次の 4 つにまとまります。
1. 読んだ文章に動かされる
AI エージェントは、Web ページ、メール、共有された資料、外部サービスの応答を読んで次の行動を決めます。その中に「この内容を次のアドレスへ送れ」と書かれていると、利用者の依頼とは別の行動を取ることがあります。文字を白くして人の目に見えないようにすることもできるので、画面を見ても気づけません。
モデルの改良や判定の仕組みで減らすことはできても、ゼロにはできないと考えておくのが安全です。
2. 権限を渡し過ぎる
便利さを優先すると、AI に会社全体のファイルの書き込み権限や、管理者の API キーを渡したくなります。エージェントの誤りや乗っ取りの被害は、渡した権限の範囲まで広がります。頼んだ人が見られない情報を、AI 経由で読めてしまう設計も危険です。
3. 外へ送る
外部へのメール送信、Web へのデータの書き込み、外部サービスへの API 呼び出しは、すべて情報の出口になります。指示を紛れ込ませる攻撃の多くは、最後に「外へ送る」ことで成立します。送信先を絞れば、乗っ取られても持ち出せる先がなくなります。
4. 取り消せない操作と、人の過信
送ったメール、確定した注文、完全に削除したデータは戻せません。そして、AI が何十回も正しく動作すると、人は確認せずに承認ボタンを押すようになります。OWASP が ASI09 として人の信頼につけこむリスクを挙げているのは、このためです。
会社で決めておくこと
| 決めること | 具体的な例 |
|---|---|
| 任せる業務の範囲 | 調査と下書きまでは任せる。送信・支払い・公開は人がする |
| 権限 | AI は頼んだ人の権限の範囲でだけ動かす。共有の管理者アカウントを渡さない |
| 承認が必要な操作 | 送信、注文、削除、外部公開、権限の変更 |
| 送信先 | 業務で使う外部サービスのドメインだけを許可する |
| 認証情報の扱い | API キーやパスワードを会話やプロンプトに書かない。AI が値を読めない形で預ける |
| 記録 | 誰の依頼で、何を読み、何を実行したかを残す。保存期間を決める |
| 戻し方 | AI が変えたものを元に戻す手順と、戻せないものの一覧 |
| 確認の省略 | 「常に許可」を使ってよい操作と、使わない操作を分ける |
ルールは、決めただけでは守られません。承認や送信先の制限は、できるだけ設定として仕組みに入れておきます。
Samurai App でできること
Samurai App の AI エージェントは、社内のナレッジやテーブルを読み、ブラウザやつないだ外部サービスを操作して仕事を進めます。上の危険に対して、次の仕組みを持っています。
承認ゲート
機微な操作の前に、エージェントは会話に承認のカードを出して止まります。カードには実行する内容が表示され、「拒否」「承認して実行」を選びます。10 分のあいだ応答しないと、自動的に拒否されます。
どの操作で承認を求めるかは、管理者が「許可設定」の「実行と承認」で tool ごとに決められます。ブラウザでは、送信や注文のような取り消せない操作の手前で止まって確認を求めます。「承認して実行」ではその 1 回だけが通り、そのサイトで続けて通すには、ページ操作のカードで「このセッション中は常に許可」か「今後ずっと許可」を押す必要があります。公開したワークフローは、この手前で必ず止まります。
権限と認証情報
エージェントが扱えるのは、頼んだ人の権限と閲覧できる範囲の中だけです。外部サービスにつなぐための「シークレット」は、登録したあと人も AI も読み返せません。AI は値を見ずに使います。
送信先と、操作させないサイト
「許可設定」の「外部との通信」に、これまでに接続した宛先が一覧で出ます。管理者とマネージャーは、宛先を追加したり、行ごとに停止したりできます。停止した宛先はサブドメインも含めて通信が止まり、この停止は承認よりも優先されます。ブラウザ操作を禁止するホストも登録でき、そこでは AI のブラウザでの閲覧も入力も止まります。
取り込んだ文章の確認
Web やナレッジ、MCP などから取り込んだ文章に、AI への指示が紛れていないかを、モデルが読む前に判定します。出所ごとに判定するかを選べます。詳しくは スクリーニング のページをご覧ください。
記録と戻し方
業務の操作は、追記専用の監査ログに残ります。管理者はエクスポートして、改ざんがないかを検証できます。AI が文書(.docx・.md・.txt)を書き換えるときは、承認のカードに差分が出て、書き換えたあとも、そのファイルがまた変わるまでは「この変更を取り消す」で戻せます。
できないこと
- 指示の紛れ込みを完全に防ぐことはできません。取り込んだ文章の確認は、既定では判定を記録するだけで、取り込みは停止しません。停止するには「取り込みを停止する」に切り替えます
- 「外部との通信」の「すべての宛先を許可する」は、初期設定でオンです。シークレットを使わない通信は、どの宛先へも出られます。送信先を絞るなら、この設定を見直してください
- 「常に許可」を押した範囲では、カードは出ません。押す前に、その範囲が広すぎないかを確認してください
- 送ったメールや、外部サービスで確定した操作は、Samurai App の側からは取り消せません
エージェントの全体像は AI エージェント のページで紹介しています。
よくある質問
AIエージェントのプロンプトインジェクションは防げますか?
完全には防げません。OWASP も最初の項目に挙げている、現在も解決していない問題です。判定の仕組みで減らしつつ、乗っ取られても被害が広がらないように、権限、送信先、取り消せない操作の 3 つを絞るのが現実的です。
AIエージェントにどこまで権限を渡してよいですか?
頼んだ人が自分でできる範囲を上限にし、その中でも業務に必要なものだけにします。共有の管理者アカウントや、全社のデータを読み書きできる API キーを渡すのは避けます。権限は、足りなくて困ってから追加するほうが安全です。
承認を毎回求めると、AIエージェントの意味がなくなりませんか?
読む・調べる・下書きを作るといった、失うもののない操作は承認なしで進め、送信・削除・公開のような取り消せない操作でだけ承認を求めるのが基本です。毎回同じ操作で止まるなら、範囲を絞って「常に許可」を使います。
AIエージェントの操作の記録は、どれくらい残すべきですか?
社内の規程や業界のルールに合わせて決めます。少なくとも、誰の依頼で、どの操作を、いつ実行したかは、問題が起きたときにさかのぼれる期間だけ残します。記録が書き換えられていないことを確認できる形だと、監査にも使えます。
出典
- OWASP Top 10 for LLM Applications 2025(OWASP GenAI Security Project)
- OWASP Top 10 for Agentic Applications for 2026(OWASP GenAI Security Project、2025 年 12 月 9 日)
- OWASP Top 10 for Agentic Applications – The Benchmark for Agentic Security in the Age of Autonomous AI(OWASP GenAI Security Project)
- ブラウザと共有のコンピュータ(Samurai App ドキュメント)
- 管理の設定(Samurai App ドキュメント)
2026 年 11 月 9 日時点で OWASP の公式ページと Samurai App のドキュメントを確認したものです。