Spark変換を不変データとして組み立てる

コード、型、並列性、再現性、テスト、配布方式の違いを整理する。

Datasetのmap・filterなどの変換を連鎖し、可変共有状態を避ける

Sparkの変換は遅延評価される不変データ処理として扱う。

全タスクが共有する可変カウンターを更新する

共有可変状態は分散処理の再試行で壊れやすい。

S3ファイル名へ計算結果を直接追記する

共有ファイルへの追記は並列処理の整合性問題を生む。

IAMロールの更新でDatasetを不変にする

IAMロールは実行権限を付与する。