2.4標準
Icebergテーブルを日付だけでパーティションしていたが、地域別のクエリが増えた。
既存データを全面再書き込みせず、将来の書き込みから新しい分割を適用したい。
最も適切な設計はどれか。
× 不正解
Icebergのpartition evolutionを使い、新規書き込みから地域などの変換を適用する。スナップショット、統計、コンパクションを確認する。
詳細解説
正しいIcebergのpartition evolutionで新しい変換を追加する
メタデータで新旧パーティション仕様を管理し、既存ファイルを即時再配置せず新規データへ適用できる。
メタデータで新旧パーティション仕様を管理し、既存ファイルを即時再配置せず新規データへ適用できる。
誤り既存データをすべて手動で別プレフィックスへ移動する
テーブルメタデータとの不整合や大量再処理が発生しやすい。
テーブルメタデータとの不整合や大量再処理が発生しやすい。
誤りクエリのWHERE句だけを変更する
物理パーティション仕様が変わらず、不要スキャンを解消できない。
物理パーティション仕様が変わらず、不要スキャンを解消できない。
誤りDynamoDB GSIをS3データへ作成する
DynamoDBのインデックス機能はIcebergファイルのパーティションを変更しない。
DynamoDBのインデックス機能はIcebergファイルのパーティションを変更しない。
実際に確かめる
一時的な検証環境で実行できる例です。
Apache Iceberg partition evolution、partition spec、snapshotの公式説明を確認する。期待される結果
物理ファイルの手動移動と、メタデータ管理されたパーティション進化を区別できる。理解のポイント
- Partition evolution
- Partition spec
- Snapshot
- コンパクション
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 2・Task 2.4と各サービスの公式ドキュメントを確認する。
基礎のおさらい
段階的変更
新旧パーティション仕様を読み取れるエンジンと、古いファイルの再配置方針を確認する。
性能評価
パーティション数・小ファイル・クエリプルーニングを測定し、必要ならコンパクションする。
問題IDAWS-DEA-180
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告