分散ジョブの失敗原因を追跡する

監視ではメトリクス、ログ、トレース、監査記録を分け、しきい値・相関ID・復旧手順を設計する。

実行IDを相関IDとして各ログへ出し、CloudWatch Logs Insightsで検索する

相関IDは分散処理のログを結び付ける識別子である。

各ログを別々に目視する

分散ログは相関情報が必要である。

CloudTrailのイベント本文だけでETL行を特定する

CloudTrailはAPI操作を記録する。

失敗した入力ファイルを削除する

原データは調査・再処理のため保持する。