集計済みAthenaテーブルを定期更新する

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

CTAS/INSERT INTOをステージング場所へ実行し、成功後に公開する

Athena CTASはクエリ結果から新しいテーブルとファイルを作成する。

生データを毎回削除してから作成する

原データ保持は再現性と監査に重要である。

S3 LifecycleだけでParquetへ変換する

S3 Lifecycleはオブジェクトの移行・削除機能である。

CloudTrailのログを集計テーブルとして読む

CloudTrailはAPI操作の監査ログである。