Sparkストリーミングをチェックポイントから再開する

コード、型、並列性、再現性、テスト、配布方式の違いを整理する。

checkpointLocationを永続S3へ設定し、出力モードと冪等性を設計する

Spark checkpointはストリームの進捗と状態を保存する。

チェックポイントをローカル一時ディスクへ保存する

ローカルチェックポイントは障害に耐えにくい。

S3のライフサイクルでオフセットを削除する

S3ライフサイクルはオブジェクトを移行・削除する。

IAMポリシーだけでSparkの状態を復元する

IAMはアクセス権を定義する。