失敗したデータ処理を運用者へ通知する

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

EventBridgeでStep FunctionsのFAILEDイベントをフィルターし、SNS等へ送る

EventBridgeはサービスイベントを条件付きで配信する。

毎朝担当者が履歴画面を確認する

手動確認は自動通知ではない。

S3 LifecycleのExpirationで通知する

ExpirationはS3オブジェクト削除を行う。

すべてのログをメール本文へコピーする

通知には相関IDと要約を含め、詳細はログへ分離する。