3.2標準
モデルの信頼度が高い予測を自動処理する。
信頼度と実際の正しさを一致させる。
評価として適切なものを2つ選べ。
× 不正解
信頼度は帯ごとの実際の正解率・誤り・グループ差で校正を確認し、独立データで自動処理と人手確認の閾値を決める。
詳細解説
正しい信頼度帯ごとの正解率、誤り、拒否、グループ差を比較する
スコアの意味を検証できる。
スコアの意味を検証できる。
問題の要件では、信頼度帯ごとの正解率、誤り、拒否、グループ差を比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい校正データをモデル選択から分離し、しきい値と人手確認条件を決める
信頼度を運用判断へ安全に使える。
信頼度を運用判断へ安全に使える。
問題の要件では、校正データをモデル選択から分離し、しきい値と人手確認条件を決めるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り信頼度が0.9なら必ず90%正しいと仮定する
校正されているか未確認である。
校正されているか未確認である。
問題の要件では、信頼度が0.9なら必ず90%正しいと仮定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り信頼度を表示すれば評価や人手確認は不要になる
スコア自体の検証が必要である。
スコア自体の検証が必要である。
問題の要件では、信頼度を表示すれば評価や人手確認は不要になるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.2・3.4の信頼度、評価、人的レビューを確認する。期待される結果
モデルスコアを実際の正しさと比較し、処理の境界へ利用できる。理解のポイント
- 信頼度
- 校正
- 閾値
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
信頼度校正
予測スコアと実際の正解確率が一致するよう評価・調整すること。
人手確認閾値
信頼度や影響に応じて自動処理から人へ切り替える境界。
問題IDAWS-AIF-399
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告