追加列を保ったままテーブル形式を進化させる

変換、結合、重複、時刻、形式、出力データモデルの違いを整理する。

Apache Icebergテーブル

Apache Icebergはスキーマ進化・スナップショット・テーブル管理を提供する。

毎回CSVを1つのファイルへ上書きする

単一CSV上書きは大規模テーブルのトランザクション管理を持たない。

S3のACLだけを変更する

S3 ACLはオブジェクトへのアクセスを制御する。

CloudTrail Lakeへデータを書き込む

CloudTrail Lakeは監査イベントの保存・クエリを行う。