3.3標準
分類モデルが信頼度0.8を返す。
部署や入力種別によって実際の正解率が異なる。
評価として適切なものを2つ選べ。
× 不正解
信頼度は区間別の予測と実績を比較して校正を確認し、閾値ごとの性能と業務コストを評価する。
詳細解説
正しい信頼度の区間ごとに予測と実際の正解率を比較する
数字が確率として解釈できる程度を確認できる。
数字が確率として解釈できる程度を確認できる。
問題の要件では、信頼度の区間ごとに予測と実際の正解率を比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい閾値を変えたときの適合率・再現率と業務コストを比較する
同じモデルでも判断基準による影響を説明できる。
同じモデルでも判断基準による影響を説明できる。
問題の要件では、閾値を変えたときの適合率・再現率と業務コストを比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りモデルが出した信頼度をそのまま正解確率と表示する
校正されていないスコアは確率を意味しない。
校正されていないスコアは確率を意味しない。
問題の要件では、モデルが出した信頼度をそのまま正解確率と表示するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り全体の平均だけで校正済みと判断する
サブグループや入力分布の差を隠す。
サブグループや入力分布の差を隠す。
問題の要件では、全体の平均だけで校正済みと判断するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.3の評価指標、信頼度、分類しきい値を確認する。期待される結果
内部スコアと校正された確率を区別し、閾値の影響を評価できる。理解のポイント
- 校正
- 適合率
- 再現率
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
信頼度の校正
予測信頼度と、同じ信頼度帯での実際の正解率が一致する程度。
閾値
モデルのスコアを採用・拒否などの判定へ変換する境界。
問題IDAWS-AIF-212
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告