スクリーニング

プロンプトインジェクション対策の文章スクリーニング

Web ページやファイル、つないだサービスから取り込んだ文章に、AI への指示が紛れ込んでいないかを、モデルの文脈に入る前に判定します。既定は判定を記録するだけで、管理者とマネージャーが「取り込みを停止する」に切り替えられます。

Samurai App を開く資料請求

この機能で見える化できること
  • どう進めたか
Problems

AI が読む文章に、誰かの指示が混ざっている#

  • ページに隠された指示

    AI に読ませた Web ページに、利用者の知らない指示が書かれていることがあります。画面の見た目では気づけません。

  • 出所が一つではない

    AI が読む文章は Web だけではありません。ナレッジやファイル、データベース、コマンドの出力も文脈に入ります。

  • 読んだ文章で操作が変わる不安

    取り込んだ文章のとおりに、AI が外部への送信やファイルの変更を進めてしまわないかが心配です。

Scan

モデルが読む前に、取り込んだ文章を判定する#

外から取り込んだ文章を、判断専用のモデルで判定してから AI の文脈に渡します。判定の結果は本文の指紋(sha256)をキーに保存し、同じ本文は判定し直しません。

  • モードは「記録するだけ」と「取り込みを停止する」の 2 つ。既定は「記録するだけ」
  • 判定に使うモデルは、設定画面のモデル一覧で確認できる
  • 利用者が自分で会話に添付したファイルは判定しない
Sources

文章の出所ごとに、判定するかを決める#

設定の「外部との通信」タブにある「取り込んだ文章の確認」で、出所ごとにスイッチを切り替えます。OFF にした出所は、判定も記録もしません。

  • 出所は 6 種類。Web(ブラウザ操作を含む)、ナレッジ・ファイル・データベース、MCP、会話・記憶、スキル、コマンドの出力
  • 変更できるのは管理者とマネージャー。現在の設定は全員が確認できる
Approval

慎重な操作は、人が承認するまで実行しない#

判定とは別に、慎重な操作の前には会話に承認のカードが出て、人が押すまで進みません。返事をしないままなら、却下として扱います。

  • 承認が必要な操作は、管理者が設定の「実行と承認」で tool ごとに決められる
  • ファイルの編集は、カードに変更の差分が出る
会話に出た承認のカード。自動実行の作成内容が表示され、「拒否」「承認して実行」「このセッション中は常に許可」「今後ずっと許可」のボタンが並び、10 分応答しないと自動で拒否されると書かれている
FAQ

よくある質問#

スクリーニングでプロンプトインジェクションを完全に防げますか?

完全に防げるとは言えません。スクリーニングは取り込んだ文章を判定する仕組みで、既定では判定を記録するだけです。慎重な操作には、別に人の承認を挟みます。

既定の設定で、取り込みは停止されますか?

停止されません。既定は「記録するだけ」です。停止したい場合は、管理者かマネージャーが「取り込みを停止する」に切り替えます。

どの文章が判定の対象になりますか?

Web(ブラウザ操作を含む)、ナレッジ・ファイル・データベース、MCP、会話・記憶、スキル、コマンドの出力の 6 つの出所のうち、ON にしたものが対象です。利用者が自分で会話に添付したファイルは判定しません。

検出率や誤検知率はどのくらいですか?

実際の利用データでの検出率と誤検知率は、まだ測定していません。そのため数字は公表していません。

日々の仕事が集まり、つながり、会社の力になる。

資料請求Samurai App を開く