採用支援モデルの評価で、特定グループの誤判定率が高い。
モデルをそのまま本番利用せず、影響を確認して改善する。
責任あるAIの取り組みとして適切なものはどれか。
責任あるAIでは、全体指標だけでなくグループ別の影響を分析し、データ・モデル・運用プロセスを改善する。
詳細解説
公平性の測定、原因分析、改善、影響の大きい判断での人間の確認を組み合わせる。
公平性の測定、原因分析、改善、影響の大きい判断での人間の確認を組み合わせる。
問題の条件では、グループ別の性能を分析し、データとモデルを見直して人間のレビューを組み込むが担う対象と、ほかの選択肢が担う対象を分けて考える。
平均値だけでは特定グループへの不均衡な影響を見逃す可能性がある。
平均値だけでは特定グループへの不均衡な影響を見逃す可能性がある。
問題の条件では、全体平均の正解率だけを確認し、グループ別の差を見ないが担う対象と、ほかの選択肢が担う対象を分けて考える。
透明性と利用者の救済手段を損ない、責任ある利用に反する。
透明性と利用者の救済手段を損ない、責任ある利用に反する。
問題の条件では、モデルの出力を説明せず、異議申立てを禁止するが担う対象と、ほかの選択肢が担う対象を分けて考える。
高影響領域ではリスクに応じた停止・レビュー・改善が必要である。
高影響領域ではリスクに応じた停止・レビュー・改善が必要である。
問題の条件では、誤判定があっても自動判断を止めないが担う対象と、ほかの選択肢が担う対象を分けて考える。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 4のResponsible AIと公平性に関する説明を確認する。期待される結果
公平性をグループ別に評価し、人間のレビューや改善サイクルを組み込む理由を説明できる。理解のポイント
- 公平性
- グループ別評価
- 人間のレビュー
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントの対象サービス・機能の説明と、AIF-C01の対応Taskを確認する。
- サービスの提供範囲と、利用者が設計・設定する範囲を混同しない。
基礎のおさらい
バイアス
データ収集、ラベル、特徴量、モデル、運用方法の各段階で偏りが生じる可能性がある。
影響評価
正解率だけでなく、誤判定率、利用者への影響、異議申立てなどを継続的に確認する。