シミュレーター内のロボットが現在位置や周囲の状態を観測し、移動という行動を選ぶ。行動の結果として次の状態と報酬を受け取る。
目的は、ある1回の即時報酬だけでなく、経路全体の期待累積報酬を高める行動方針を学ぶことである。正解の移動をすべて列挙した教師データを前提にしない。
この強化学習の説明として適切なものを2つ選べ。
状態・行動・環境からの報酬を区別し、方策を行動選択の戦略として説明する。目的は期待累積報酬であり、即時報酬だけの最大化や教師ラベルの暗記とは分ける。
詳細解説
今の行動が将来の状態や報酬に影響するため、目先の最大値と期待累積報酬の最大化は同じとは限らない。
方策は行動の選び方を表す。目先の報酬と将来の結果を合わせて考え、長期の目的に沿う戦略を学ぶ。
強化学習では、行動がその後の状態や報酬へ影響する相互作用を扱う。正解ラベルの組を読むだけの学習とは役割が異なる。
方策と正解ラベル一覧は同じものではない。本問の学習目標を与える報酬を、教師あり学習の正解ラベルと置き換えない。
探索で未知の結果を調べることと、既知の良い行動を利用することの両方を考える。経験した行動の利用だけで常に十分とは限らない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
AWSの強化学習の説明と、本問の状態・行動・環境・報酬・方策を対応付ける。即時報酬だけが高い経路と累積報酬を考えた経路を概念的に比較し、探索と利用の違いを確認する。
参考にした公式資料
確認できる内容
方策を行動の選び方として説明し、報酬・正解ラベル・方策を混同しない。即時報酬だけの改善を、長期目的を達成した証拠とは扱わない。
理解のポイント
- 状態と行動
- 報酬
- 方策
- 探索と利用
確認時の注意
- 確認環境: AWS公式AIF-C01 Task1.1と各AI/ML概念の一次資料を照合する。実モデルの訓練・本番操作は行わない。
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
相互作用の役割を分ける
エージェントが行動し、環境の状態と報酬が変わる。学習には実環境だけでなくシミュレーターも使えるため、ロボットという語だけで実機を動かす前提にはしない。
即時報酬と長期の目的を分ける
短期的な損失があっても、その先の結果を含めて良い方策になる場合がある。報酬の設計が目的とずれると、数値が改善しても求めた動作にならない。
探索と利用を区別する
未知の行動の結果を調べる探索と、既知の良い行動を選ぶ利用にはトレードオフがある。強化学習のエージェントという語だけで、LLMのツール利用やすべてのagentic AIが同じ学習方式だとは解釈しない。