再試行で集計結果を二重登録しない

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

処理日とパーティションをキーにした置換・MERGEを実装する

冪等な処理は同じ要求を複数回適用しても結果が変わらない。

毎回INSERTで追記する

追記だけでは冪等性を満たさない。

成功レスポンスを常にキャッシュする

レスポンスキャッシュはデータ書き込みの冪等性を代替しない。

失敗時はエラーを無視する

失敗は明示的に記録・再処理する必要がある。