大規模な分散変換をSparkで実行する｜AWS認定 Associate DEA-C01 試験オリジナル練習問題

1.2標準

数TBのS3データを結合・集約し、日次でParquetへ変換する。

単一Lambdaの実行時間やメモリに依存せず、分散処理で完了させる。

最も適切な処理基盤はどれか。

ヒント1: ヒント

TB級データを複数ノードで分割し、Sparkの結合・集約を実行する基盤を考える。

ヒント2: 用語の確認

取り込み方式、データ形式、変換位置、再処理、運用責任の違いを整理する。

詳細解説

正しいAmazon EMRでApache Sparkジョブを実行する

複数ノードでデータを分散処理し、大規模な結合・集約を実行できる。

誤り1つのLambda関数で全ファイルを順番に処理する

実行時間、メモリ、一時ストレージの制約によりTB級の処理には適さない。

誤りCloudTrailのイベントセレクターで集約する

CloudTrailは監査イベント収集の設定であり、任意のS3データを分散集約しない。

誤りIAMロールだけでSparkを実行する

IAMロールは権限を付与するだけで、分散計算エンジンを提供しない。

一時的な検証環境で実行できる例です。

Amazon EMR、Apache Spark、分散処理、S3入力の公式説明を確認する。

分散ETLと単一関数の実行制約、権限と計算基盤の役割を区別できる。

基礎のおさらい

入力をパーティションへ分割し、複数ノードで結合・集約を並列実行する。

EMRクラスタの起動時間、ノード種類、スポット利用、失敗時の再実行を含めてコストを設計する。

問題IDAWS-DEA-030

確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認

最終技術確認2026-08-20