1.2標準
S3の変換後データを日付で検索する。
Athenaが不要なファイルを読まないよう、year・month・dayのパーティションへ出力する。
最も適切な処理はどれか。
× 不正解
Glue ETLで日付列をパーティションへ変換してS3へ出力すると、Athenaのパーティションプルーニングが働きやすい。
詳細解説
正しいGlue ETLでパーティション列を作成してS3へ出力する
変換時に日付列をパーティションキーとして出力し、クエリのプルーニングに利用できる。
変換時に日付列をパーティションキーとして出力し、クエリのプルーニングに利用できる。
誤りすべてのファイルを1つのS3キーへ連結する
日付によるプルーニングができず、ファイルサイズと同時書き込みにも問題がある。
日付によるプルーニングができず、ファイルサイズと同時書き込みにも問題がある。
誤りS3のバージョニングで日付パーティションを作る
バージョンは同じキーの履歴であり、日付別プレフィックスを作成しない。
バージョンは同じキーの履歴であり、日付別プレフィックスを作成しない。
誤りCloudWatch Logs InsightsでS3ファイルを物理移動する
ログクエリはS3データのETL配置を行わない。
ログクエリはS3データのETL配置を行わない。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS GlueのS3パーティション出力とAthenaのパーティションプルーニングを確認する。期待される結果
S3のバージョン管理と分析用パーティションの違いを説明できる。理解のポイント
- S3パーティション
- Glue ETL
- Athena
- プルーニング
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 1・Task 1.2と各サービスの公式ドキュメントを確認する。
基礎のおさらい
パーティション設計
検索条件の選択性とデータ到着順を考え、細かすぎる小ファイルを避ける。
メタデータ更新
パーティションをGlue Data Catalogへ登録・更新し、クエリが新しいデータを認識できるようにする。
問題IDAWS-DEA-034
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告