2.4基礎
S3の原データからGlueジョブで集計表を作っている。
障害調査で、集計値の出所と途中の変換を追跡できるようにしたい。
最も適切な設計はどれか。
× 不正解
Glue Data Catalog、ジョブメタデータ、データ品質結果を組み合わせ、データセットの出所と影響範囲を記録する。
詳細解説
正しいGlue Data Catalogとジョブ・メタデータを整備し、データリネージを記録する
データセット、スキーマ、ジョブ、入出力関係を記録して影響範囲を追跡できる。
データセット、スキーマ、ジョブ、入出力関係を記録して影響範囲を追跡できる。
誤りすべてのデータを同じS3プレフィックスへ置く
配置を単純化しても、変換関係や利用先の履歴は自動的に記録されない。
配置を単純化しても、変換関係や利用先の履歴は自動的に記録されない。
誤りCloudTrailのログだけで列レベルの変換を推測する
API操作は記録できるが、ジョブ内の業務変換と列対応を完全には表さない。
API操作は記録できるが、ジョブ内の業務変換と列対応を完全には表さない。
誤りTTLで古いリネージを削除する
TTLはDynamoDB項目の期限削除で、カタログの系譜を管理しない。
TTLはDynamoDB項目の期限削除で、カタログの系譜を管理しない。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS Glue Data Catalog、data lineage、AWS Lake Formationの公式説明を確認する。期待される結果
API監査ログだけではなく、データセットと変換の関係を管理する必要性を説明できる。理解のポイント
- データリネージ
- Data Catalog
- 影響分析
- メタデータ
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 2・Task 2.4と各サービスの公式ドキュメントを確認する。
基礎のおさらい
系譜の粒度
テーブル単位だけでなく、可能なら列・ジョブ・バージョン・実行時刻を記録する。
運用
スキーマ変更時に下流ジョブとレポートへの影響を検索できる状態を維持する。
問題IDAWS-DEA-169
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告