生成AIに関する用語を色々とまとめてみました
・プロンプト
生成AIに入力するテキストや画像などの指示や質問のこと
・システムプロンプト
生成AIの組み込まれるプロンプトのこと
利用者からの入力に対し、「こういう風に答えてください」と言った指示などを指す
・マルチモーダル
複数種類のデータを扱えること、テキストだけでなく画像や音声など
・ガードレール
AIの出力を制御し、出力を倫理的な範囲内に保つための仕組みのこと
・脱獄(Jail Break)
ガードレールの仕組みがない生成AI、またはガードレールを回避すること
・ハルシネ―ション
出力した情報が存在しない情報なのにあたかも事実であるかのようにふるまう事
・ファクトチェック
生成AIが出力した情報に対し、確かに正しい情報であるかを精査すること
・ディープフェイク
AIの技術を用い、画像や映像を操作して実際には存在しない偽の画像や映像を生成すること
・敵対的サンプル
AIモデルが誤分類を引き起こすように意図的に作成されたデータ
以下生成AIに対する攻撃関連の用語
・データポイズニング
誤った正解データを学習させ、モデルの動作に悪影響を与える
・回避攻撃(Evasion Attack)
敵対的サンプルを用いて誤分類を引き起こさせる攻撃
・モデルインバージョン(モデル反転)攻撃
標的となるAIに対し、少しずつ入力値を変えながら入力を行い
変更前後の出力の差を分析して、AIの学習データを逆算する
・プロンプトインジェクション
正常な命令の後に不正な命令を結合して入力することで
不正な命令を実行させる手法
参考:トレンドマイクロ
・プロンプトリーク
公開を意図していないプロンプトを漏えいさせること
ここでいうプロンプトは利用者が入力するメッセージではなく
モデルに組み込まれているシステムプロンプトのこと
まだまだあると思いますが
個人的にこの辺がよく聞くかなと思います
また、総務省がAIセキュリティに特化したサイトも公開しています
興味ある方は是非ご確認ください。
AIセキュリティ 情報発信ポータル
コメント