定期的な集計SQLを自動実行する

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

Redshiftのscheduled queryを使い、SQLを冪等にする

Scheduled queryはRedshift SQLを時刻起動する機能である。

SQLを利用者の端末から手動実行する

手動実行は定期自動化ではない。

S3のオブジェクト名変更でSQLを起動する

S3オブジェクト操作は保存領域の操作である。

TTLの削除イベントをSQL起動条件にする

TTLは期限後の項目削除である。