請求書番号の形式を抽出する。
同じ入力から毎回ほぼ同じ形式の結果を得たい。
温度(temperature)の設定として一般に適切な方向はどれか。
温度は生成候補のランダム性に関係し、定型抽出では低め、創作では要件に応じて高めを検討する。値だけで正確性が保証されるわけではない。
詳細解説
定型的な抽出では、低い温度で候補選択のばらつきを抑える方向が考えられる。
定型的な抽出では、低い温度で候補選択のばらつきを抑える方向が考えられる。
問題の要件では、低めに設定し、出力のランダム性を抑えるが解決する範囲と、別の工程が担う範囲を分けて判断する。
創造性は増えるが、定型抽出では出力のばらつきや形式逸脱を招きやすい。
創造性は増えるが、定型抽出では出力のばらつきや形式逸脱を招きやすい。
問題の要件では、最大に設定し、創造的な候補を増やすが解決する範囲と、別の工程が担う範囲を分けて判断する。
温度はモデル推論時の出力分布に関するパラメータで、認証強度とは異なる。
温度はモデル推論時の出力分布に関するパラメータで、認証強度とは異なる。
問題の要件では、温度はIAMの認証強度を設定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
温度は推論時の設定であり、モデルパラメータや訓練データを更新しない。
温度は推論時の設定であり、モデルパラメータや訓練データを更新しない。
問題の要件では、温度を変えるとモデルの訓練データが更新されるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
対象モデルのAmazon Bedrock推論パラメータ仕様を確認し、代表入力で再現性を測定する。期待される結果
温度が推論時のランダム性に関する設定で、訓練や認証とは別だと説明できる。理解のポイント
- 推論時設定
- ランダム性
- 定型抽出
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
温度
生成時の確率分布から候補を選ぶ際のランダム性に影響する推論パラメータ。
再現性
同じ入力や設定で近い出力を得られる程度。モデルやサービス条件にも左右される。