2.4標準
日次でS3へ追加されるデータに、将来新しい列が増える。
既存日付パーティションを壊さず、クエリ側で欠損列を扱いたい。
最も適切な設計はどれか。
× 不正解
新列を後方互換に追加し、Crawlerや明示的なCatalog更新の範囲を管理する。既存パーティションの読み取り結果を検証する。
詳細解説
正しい互換性のあるスキーマ進化とパーティション登録を管理する
列追加をnullableとして扱い、Catalogとデータ形式の更新を段階的に行える。
列追加をnullableとして扱い、Catalogとデータ形式の更新を段階的に行える。
誤り全パーティションを毎回別テーブルへコピーする
重複データと管理負荷が増え、履歴を保ちにくい。
重複データと管理負荷が増え、履歴を保ちにくい。
誤り新列を既存列の意味で上書きする
列の意味が変わり、下流クエリの型・意味を壊す。
列の意味が変わり、下流クエリの型・意味を壊す。
誤りDynamoDB TTLでGlue Catalogを更新する
TTLはDynamoDB項目の削除で、Catalogスキーマを変更しない。
TTLはDynamoDB項目の削除で、Catalogスキーマを変更しない。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS Glue Data Catalog schema evolution、partitions、Athena schemaの公式説明を確認する。期待される結果
パーティション追加と論理スキーマ変更の影響を区別できる。理解のポイント
- Schema evolution
- Partition
- nullable
- Data Catalog
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 2・Task 2.4と各サービスの公式ドキュメントを確認する。
基礎のおさらい
後方互換
列追加は古いレコードにNULLを許容し、型変更は別列・別版で段階移行する。
運用
新旧パーティションを同じクエリで読み、列数・型・欠損率を検査する。
問題IDAWS-DEA-174
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告