Amazon Bedrock Prompt Managementで、要約プロンプトの版1と版2を作成した。モデルと推論パラメータは同じで、指示文だけを変更している。
Compareで設定の差分は確認できた。本番の参照先を版2へ切り替える前に、通常の文書と長文・曖昧な入力で、要約の必須項目や出力形式が維持されるか確かめたい。
次に行う比較として最も適切なものはどれか。
Compareの設定差分と、各版を実行して行う出力評価は役割が異なる。同じ代表入力と判定基準で通常・境界ケースを確認し、版と評価記録を対応付けて採用を判断する。テスト変数の値はプロンプト保存時に保存されないため、評価用の入力は別に管理する。
詳細解説
入力の難しさと結果の選び方が異なり、プロンプト変更の影響を比較しにくい。
異なる難しさの入力や、各版で都合の良い成功例だけを使うと、公平な比較ができない。共通のケースと判定基準を用い、失敗も含めて記録することで採用判断の根拠を残す。
同じ条件で生成した出力を共通の基準で評価すれば、設定差分だけでは分からない品質への影響を調べられる。
Compareによる定義の差分を出発点にし、同じ文書を各版で実行して、必須項目・形式などの要件へ照合する。評価入力は一時的なコンソール値だけに頼らず保存し、結果と版を結び付ける。
指示文の変更も回答へ影響するため、設定差分の確認だけでは出力要件を満たすか分からない。
差分が一箇所でも、指示の優先順位や要約対象が変わる可能性がある。JSONで変更箇所を把握したことは、その変更が通常・境界入力で問題を起こさないと確認したことにはならない。
同じモデルでも指示文の違いで出力は変わり得るため、モデルが同じことは評価を省く根拠にならない。
モデルの識別子をそろえることは比較条件の一部である。モデルへ渡す指示も出力へ影響するため、同じモデルを使ったという事実だけでは、要約要件や形式を満たす保証にならない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
AIF-C01 Task3.2.5、Prompt ManagementのCompare versionsとTest a promptを読み、設定差分の確認・Test variablesによる実行・評価入力の保存を別の工程として整理する。
参考にした公式資料
確認できる内容
JSON差分だけで品質を断定せず、同じ入力と基準で両版を評価する理由と、一時的なテスト変数を別に記録する必要性を説明できる。
理解のポイント
- 設定差分と出力評価
- 共通の入力と基準
- 一時的なテスト値
確認時の注意
- 確認環境: 現行AIF-C01 Task3.2とAmazon Bedrock公式資料による参照確認。架空の構成を比較し、AWSアカウント作成・API呼び出し・モデル推論は行わない。
- CompareのJSON表示と、テスト変数を与えるRun promptを区別する。資料で仕様を確認し、この演習ではモデル推論を実行しない。
- Test variablesがプロンプト保存時に保存されないという注意を確認する。全ての評価や承認をPrompt Managementが自動化すると解釈しない。
基礎のおさらい
設定の比較だけでは品質は決まらない
Compareでは各版を定義するJSONを並べて設定の違いを確認できる。出力の違いはテスト変数へ値を与えて各版を実行し、別に評価する。
同じ入力と判定基準を用いる
指示文の変更を調べる今回はモデルと推論設定をそろえ、通常入力と失敗しやすい入力を両版へ渡す。必須項目の欠落や形式違反などを共通の基準で判定し、一つの成功例だけを根拠にしない。
テスト入力を評価記録として残す
コンソールのTest variablesの値は一時的で、プロンプトを保存しても保存されない。入力・版識別子・出力・判定基準を評価側で管理し、版を作っただけで評価セットまで保管されたと考えない。