1.2標準
同じデバイスから複数の測定値が届き、イベントIDの重複も発生する。
デバイスごとに受信時刻が最新の1件を残して集計する。
最も適切な変換はどれか。
× 不正解
Sparkのウィンドウ関数でデバイスIDごとに受信時刻を順位付けし、最新行だけを残すと重複イベントを正規化できる。
詳細解説
正しいデバイスIDで分割し、ROW_NUMBER相当のウィンドウで最新1件を選ぶ
キーごとに時刻順を付け、最新レコードだけを残すことができる。
キーごとに時刻順を付け、最新レコードだけを残すことができる。
誤りS3のオブジェクト名を辞書順に並べる
ファイル名の順序がイベント時刻や重複を表す保証はない。
ファイル名の順序がイベント時刻や重複を表す保証はない。
誤りIAMロールで古いデータを拒否する
IAMはアクセス権を扱い、レコードの時刻比較を行わない。
IAMはアクセス権を扱い、レコードの時刻比較を行わない。
誤りCloudWatch Logsの保持期間を1日にする
ログ保持の変更は分析用データの重複排除を行わない。
ログ保持の変更は分析用データの重複排除を行わない。
実際に確かめる
一時的な検証環境で実行できる例です。
Apache Sparkのwindow、row_number、partitionBy、orderByの公式説明を確認する。期待される結果
ファイル順序や保存期間ではなく、データ列のキーと時刻で重複を判定できる。理解のポイント
- Spark window
- row_number
- 重複排除
- 最新レコード
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 1・Task 1.2と各サービスの公式ドキュメントを確認する。
基礎のおさらい
キー内の順位
重複排除ではグループキー、優先順位、同時刻のタイブレークを定義する。
再現性
同じ入力を再実行して同じ結果になるよう、順序列とNULL・同時刻の扱いを決める。
問題IDAWS-DEA-051
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告