社内規程は毎月更新される。回答は常に最新版を参照し、更新のたびにモデルを再学習したくない。
規程本文を検索して回答の根拠にしたい。
最初に検討すべき構成はどれか。
頻繁に更新される外部知識には、文書を検索して推論コンテキストへ追加するRAGが適している。微調整は知識の毎月更新そのものを目的にする方法ではない。
詳細解説
頻繁に更新される知識を外部データとして検索することで、モデルの再学習なしに最新情報を参照できる。
頻繁に更新される知識を外部データとして検索することで、モデルの再学習なしに最新情報を参照できる。
問題の要件では、規程を検索して取得し、回答時のコンテキストへ渡す検索拡張生成が解決する範囲と、別の工程が担う範囲を分けて判断する。
更新頻度に対してコストと時間が過大で、通常は必要ない。
更新頻度に対してコストと時間が過大で、通常は必要ない。
問題の要件では、更新のたびに基盤モデル全体をゼロから事前学習するが解決する範囲と、別の工程が担う範囲を分けて判断する。
温度は生成のランダム性を変えるだけで、モデルへ新しい知識を学習させない。
温度は生成のランダム性を変えるだけで、モデルへ新しい知識を学習させない。
問題の要件では、モデルの温度を0にして規程を記憶させるが解決する範囲と、別の工程が担う範囲を分けて判断する。
長さ上限、更新、アクセス制御、機密性の管理が難しく、検索方式より柔軟性が低い。
長さ上限、更新、アクセス制御、機密性の管理が難しく、検索方式より柔軟性が低い。
問題の要件では、規程をプロンプトへ永久にハードコードするが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
Amazon Bedrock Knowledge Bases公式ドキュメントでデータ取り込み、検索、生成の流れを確認する。期待される結果
更新頻度の高い知識にはRAG、振る舞いや形式の適応には微調整という使い分けを説明できる。理解のポイント
- 更新頻度
- RAG
- 微調整との違い
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
RAG
外部データを検索してモデルのコンテキストへ追加し、知識の更新と根拠提示を支援する方式。
微調整
特定の形式やタスクへの振る舞いを追加学習で適応する方式。