遅延到着データの重複を防ぐ

データ品質では、完全性、正確性、一貫性、適時性、妥当性をルールと測定値で定義する。

event_idで冪等化し、ウォーターマーク後の再計算窓を設ける

遅延到着処理は一意IDと再計算窓を組み合わせる。

受信日だけで日次集計を確定する

受信時刻とイベント時刻は異なる。

遅いイベントをすべて破棄する

遅延許容は業務要件で決める。

S3 Lifecycleで再送ファイルを削除する

Lifecycleはオブジェクト保持を管理する。