複数のETL工程を順番に実行する

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

Step FunctionsのTaskを順番に定義する

Step Functionsは状態機械でタスク依存と再試行を管理する。

各ジョブを独立したcronで起動する

cronは時刻起動で依存関係を表現しない。

すべてを1つのLambdaへ詰め込む

Lambdaは関数単位で実行される。

S3 Lifecycleで順番を制御する

S3 Lifecycleは保存ライフサイクル機能である。