断続的なSpark処理をサーバーレスで実行する

データ処理の自動化では、依存関係、再試行、冪等性、スケジュール、失敗通知を分けて考える。

EMR ServerlessへSparkジョブを送信し、Step Functions等で状態を監視する

EMR Serverlessはクラスター管理を簡素化したSpark実行基盤である。

常時稼働の大規模EMRクラスターを固定する

常時稼働クラスターは固定容量を維持する。

Lambdaで巨大なSpark処理を実行する

Lambdaは大規模分散Sparkの実行基盤ではない。

S3 Selectだけで複数表を結合する

S3 SelectはS3オブジェクト内のデータ選択機能である。