3.3標準
顧客サポート要約の品質を測る。
言語、地域、製品、入力長による性能差を見つける。
評価として適切なものを2つ選べ。
× 不正解
スライス分析は属性や条件別に品質・安全性を測り、サンプル数・不確実性・ラベル品質も確認して差を解釈する。
詳細解説
正しい全体指標だけでなく、重要な属性・条件ごとに性能を分けて測る
平均値に隠れた品質差や不利益を発見できる。
平均値に隠れた品質差や不利益を発見できる。
問題の要件では、全体指標だけでなく、重要な属性・条件ごとに性能を分けて測るが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい各スライスのサンプル数、信頼区間、ラベル品質を確認する
少数データの偶然の差や測定誤差を解釈しやすくなる。
少数データの偶然の差や測定誤差を解釈しやすくなる。
問題の要件では、各スライスのサンプル数、信頼区間、ラベル品質を確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り全体平均が高ければスライス差を無視する
一部利用者への大きな問題を見逃す。
一部利用者への大きな問題を見逃す。
問題の要件では、全体平均が高ければスライス差を無視するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り差が出たスライスを評価から削除する
公平性や品質の問題を隠すことになる。
公平性や品質の問題を隠すことになる。
問題の要件では、差が出たスライスを評価から削除するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.3・4.1のグループ別評価とバイアスを確認する。期待される結果
全体平均に隠れる条件別の品質差を調査できる。理解のポイント
- スライス
- 信頼区間
- 平均の限界
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
スライス分析
利用者属性、言語、期間、入力条件などの部分集合ごとに性能を測る方法。
信頼区間
推定値の不確実性を範囲で示し、サンプル数による偶然の差を解釈する情報。
問題IDAWS-AIF-167
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告