3.3標準
顧客チャットの品質を定期的に確認する。
全ログを人手評価できない。
方法として適切なものを2つ選べ。
× 不正解
本番評価は代表性と高リスクを考慮してサンプリングし、匿名化・基準・アクセス・保持を管理する。
詳細解説
正しい代表性と高リスク条件を考慮してサンプルを抽出し、個人情報を最小化する
限られた評価でも本番状況と安全性を反映できる。
限られた評価でも本番状況と安全性を反映できる。
問題の要件では、代表性と高リスク条件を考慮してサンプルを抽出し、個人情報を最小化するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい人手評価の基準・匿名化・保存・評価者アクセスを管理する
評価作業自体のプライバシーと再現性を守れる。
評価作業自体のプライバシーと再現性を守れる。
問題の要件では、人手評価の基準・匿名化・保存・評価者アクセスを管理するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り都合の良い成功回答だけをサンプルにする
品質を過大評価する。
品質を過大評価する。
問題の要件では、都合の良い成功回答だけをサンプルにするが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り評価者へ無加工の個人情報ログを全て渡す
評価に不要な情報が漏れる。
評価に不要な情報が漏れる。
問題の要件では、評価者へ無加工の個人情報ログを全て渡すが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.3の本番評価、サンプリング、プライバシーを確認する。期待される結果
大量の本番出力を安全に抽出して評価する方法を説明できる。理解のポイント
- サンプリング
- 高リスク
- 匿名化
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
本番サンプリング
運用中の入力・出力から、代表性とリスクを考慮して評価対象を抽出すること。
評価者アクセス
人手評価者が必要最小限の匿名化データだけを閲覧できるよう制限すること。
問題IDAWS-AIF-303
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告