大規模分散データ処理を選ぶ

ストレージ形式、計算負荷、データアクセス、接続方式、ストリーム処理を要件へ対応付ける。

Amazon EMRでSparkクラスターを実行する

EMRはHadoopやSparkなどのビッグデータフレームワークをマネージドクラスターで実行する。

Amazon Route 53でSparkジョブを実行する

Route 53はDNSサービスで、分散データ処理を実行しない。

S3 LifecycleでSparkの計算ノードを作成する

Lifecycleはオブジェクトの移行・削除で、計算クラスターを作成しない。

IAMポリシーだけでS3データを変換する

IAMは権限を定義し、データ変換処理を実行しない。

Amazon EMR

HadoopやSparkなどのビッグデータフレームワークを実行するサービス。

Apache Spark

分散データ処理のオープンソースフレームワーク。