S3到着を待ってAirflowタスクを開始する

待機、並列、依存関係、実行方式、イベント連携、再試行の違いを整理する。

AirflowのS3KeySensorまたは対応するDeferrable Sensor

S3センサーは外部条件の成立を待つAirflowタスクである。

毎秒Lambdaを起動してS3をポーリングする

Lambdaポーリングは外部条件を定期確認する方式である。

S3のObject Lockで到着を通知する

Object Lockはオブジェクト保護を行う。

Redshift COPYを無条件に起動する

COPYはS3ファイルが存在するときにデータをロードする。