大量ファイルを並列処理する

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

Step FunctionsのMap状態を使う

Mapは入力配列を反復処理する状態である。

1つのLambdaで全ファイルを順番に読む

Lambdaには実行時間と一時領域の制約がある。

CloudTrailのイベントを結合して処理する

CloudTrailはAPI操作の履歴を記録する。

S3 Glacierへ移してから処理する

Glacierは長期保存向けのストレージクラスである。