生成AIに関する用語を色々とまとめてみました
・プロンプト
生成AIに入力するテキストや画像などの指示や質問のこと
・システムプロンプト
生成AIの組み込まれるプロンプトのこと
利用者からの入力に対し、「こういう風に答えてください」と言った指示などを指す
・マルチモーダル
複数種類のデータを扱えること、テキストだけでなく画像や音声など
・ガードレール
AIの出力を制御し、出力を倫理的な範囲内に保つための仕組みのこと
・脱獄(Jail Break)
ガードレールの仕組みがない生成AI、またはガードレールを回避すること
・ハルシネ―ション
出力した情報が存在しない情報なのにあたかも事実であるかのようにふるまう事
・ファクトチェック
生成AIが出力した情報に対し、確かに正しい情報であるかを精査すること
・ディープフェイク
AIの技術を用い、画像や映像を操作して実際には存在しない偽の画像や映像を生成すること
・敵対的サンプル
AIモデルが誤分類を引き起こすように意図的に作成されたデータ
以下生成AIに対する攻撃関連の用語
・データポイズニング
誤った正解データを学習させ、モデルの動作に悪影響を与える
・回避攻撃(Evasion Attack)
敵対的サンプルを用いて誤分類を引き起こさせる攻撃
・モデルインバージョン(モデル反転)攻撃
標的となるAIに対し、少しずつ入力値を変えながら入力を行い
変更前後の出力の差を分析して、AIの学習データを逆算する
・プロンプトインジェクション
正常な命令の後に不正な命令を結合して入力することで
不正な命令を実行させる手法
参考:トレンドマイクロ
・プロンプトリーク
公開を意図していないプロンプトを漏えいさせること
ここでいうプロンプトは利用者が入力するメッセージではなく
モデルに組み込まれているシステムプロンプトのこと
生成AIに関する法規制など
・AI法(AI act)
EUから施行された世界初のAIに関する法規制
リスクベースアプローチを採用しており、以下の4つに分類
許容できないリスク : 提供/利用の禁止
高リスク : 透明性、安全性の確保と定期的な監査を実施、主に重要インフラや金融など
限定リスク : 透明性の義務化
最小リスク : 特に規制はない
ここでいう 透明性 とは、生成AIがどのような過程でその結果を出力したのか、その意思決定を追跡できることを言い
違う言い方では 説明可能なAI(XAI) という表現も見られる
・ISO/IEC 42001
通称 AIMS(AIマネジメントシステム)と呼ばれる国際規格
AIを開発、運用する全ての組織が対象となっている
まだまだあると思いますが
個人的にこの辺がよく聞くかなと思います
また、総務省がAIセキュリティに特化したサイトも公開しています
興味ある方は是非ご確認ください。
AIセキュリティ 情報発信ポータル
コメント