1.4標準
数TBの取引データと数MBの店舗マスタを結合する。
マスタの全シャッフルを避け、ネットワーク転送とステージ時間を減らす。
最も適切な方法はどれか。
× 不正解
小さいマスタが十分メモリに収まる場合はbroadcast joinでシャッフルを減らせる。マスタサイズとエグゼキュータメモリを確認する。
詳細解説
正しい小さいマスタをbroadcast joinする
小さい側を各エグゼキュータへ配布し、大きい側のシャッフル結合を減らせる。
小さい側を各エグゼキュータへ配布し、大きい側のシャッフル結合を減らせる。
誤り両方のデータを1パーティションへ集める
並列性を失い、TB級データの処理時間とメモリ使用量が増える。
並列性を失い、TB級データの処理時間とメモリ使用量が増える。
誤りS3ライフサイクルで結合を最適化する
S3保存規則はSparkの結合戦略を変更しない。
S3保存規則はSparkの結合戦略を変更しない。
誤りCloudTrailのログをマスタとしてbroadcastする
監査ログは店舗マスタではなく、結合要件に合わない。
監査ログは店舗マスタではなく、結合要件に合わない。
実際に確かめる
一時的な検証環境で実行できる例です。
Apache Spark broadcast join、broadcast threshold、shuffleの公式説明を確認する。期待される結果
データスキュー対策と小さい側のブロードキャスト、S3保存設定の違いを説明できる。理解のポイント
- Spark
- broadcast join
- shuffle
- メモリ
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 1・Task 1.4と各サービスの公式ドキュメントを確認する。
基礎のおさらい
結合戦略
データサイズ、キー分布、エグゼキュータメモリに応じてbroadcast・shuffle・sort mergeを選ぶ。
失敗条件
小さい側が想定より大きくなるとメモリ不足になるため、サイズ監視と上限を設ける。
問題IDAWS-DEA-096
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告