3.1標準
日次DAGで3日分の集計が欠損した。
既存の当日スケジュールを壊さず、対象日だけを安全に再実行したい。
最も適切な自動化方法はどれか。
× 不正解
MWAA/Airflowのbackfillや対象日パラメータで欠損日だけを再処理し、既存集計を上書き・置換できる設計にする。
詳細解説
正しいAirflowのbackfillや対象日パラメータで範囲を限定する
論理日付を指定して対象タスクだけを再実行し、実行履歴を残せる。
論理日付を指定して対象タスクだけを再実行し、実行履歴を残せる。
誤りDAG全体を最初から無条件で実行する
既存日付を二重計上し、下流データを重複更新する可能性がある。
既存日付を二重計上し、下流データを重複更新する可能性がある。
誤りS3 Lifecycleで欠損日のファイルを復元する
Lifecycleは保存クラス移行・削除で、ETL再計算を実行しない。
Lifecycleは保存クラス移行・削除で、ETL再計算を実行しない。
誤りCloudTrailの過去イベントを再生する
API監査イベントはETL入力データやDAGタスク結果を再生成しない。
API監査イベントはETL入力データやDAGタスク結果を再生成しない。
実際に確かめる
一時的な検証環境で実行できる例です。
Apache Airflow backfill、logical date、catchupの公式説明を確認する。期待される結果
全期間の無条件再実行と、対象日限定のbackfillの違いを説明できる。理解のポイント
- Backfill
- 論理日付
- catchup
- 冪等性
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 3・Task 3.1と各サービスの公式ドキュメントを確認する。
基礎のおさらい
時間の意味
実行時刻と処理対象日を分け、遅延到着データの再計算を可能にする。
重複防止
日付を自然キーにした置換やMERGEで再実行を安全にする。
問題IDAWS-DEA-190
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告