1.4標準
数TBの取引データと数MBの店舗マスタを結合する。
マスタの全シャッフルを避け、ネットワーク転送とステージ時間を減らす。
最も適切な方法はどれか。
× 不正解
小さいマスタが十分メモリに収まる場合はbroadcast joinでシャッフルを減らせる。マスタサイズとエグゼキュータメモリを確認する。
詳細解説
誤り両方のデータを1パーティションへ集める
並列性を失い、TB級データの処理時間とメモリ使用量が増える。
誤りS3ライフサイクルで結合を最適化する
S3保存規則はSparkの結合戦略を変更しない。
誤りCloudTrailのログをマスタとしてbroadcastする
監査ログは店舗マスタではなく、結合要件に合わない。
正しい小さいマスタをbroadcast joinする
小さい側を各エグゼキュータへ配布し、大きい側のシャッフル結合を減らせる。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Apache Spark broadcast join、broadcast threshold、shuffleの公式説明を確認する。
確認できる内容
データスキュー対策と小さい側のブロードキャスト、S3保存設定の違いを説明できる。
理解のポイント
- Spark
- broadcast join
- shuffle
- メモリ
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 1・Task 1.4と各サービスの公式ドキュメントを確認する。
基礎のおさらい
結合戦略
データサイズ、キー分布、エグゼキュータメモリに応じてbroadcast・shuffle・sort mergeを選ぶ。
失敗条件
小さい側が想定より大きくなるとメモリ不足になるため、サイズ監視と上限を設ける。
問題IDAWS-DEA-096
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告