3.4標準
社内要約アプリを本番運用する。
品質低下、遅延、費用増加を早く検知する。
監視項目として適切なものを2つ選べ。
× 不正解
生成AIの監視では、性能・エラー・トークン・費用に加え、代表評価セットによる品質・安全性の退行を追跡する。ログは機密性にも配慮する。
詳細解説
正しい評価用サンプルを定期実行し、品質・安全性の指標を追跡する
モデルやプロンプトの変更後に、出力品質の退行を検出できる。
誤り障害時のログを削除し、利用者へ何も知らせない
原因分析と安全な案内ができなくなる。
誤りプロンプトや出力の機密情報を無制限にログへ保存する
ログ自体が漏えい源になり、最小化・マスキング・アクセス制御が必要である。
正しいレイテンシ、エラー率、入力・出力トークンを記録する
利用者体験、可用性、コストの変化を把握できる。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
AWS公式AIF-C01ガイドDomain 3.4の監視・ログ・評価とAmazon CloudWatchの説明を確認する。
参考にした公式資料
確認できる内容
運用指標と品質指標を分けずに、機密性を考慮して監視する方法を説明できる。
理解のポイント
- 運用指標
- 品質退行
- ログ保護
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
可観測性
ログ、メトリクス、トレースなどからシステムの状態と原因を把握する能力。
品質退行
変更後に、正確性・安全性・一貫性などの性能が以前より悪化すること。
問題IDAWS-AIF-108
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告