3.2標準
イベントストリームをバッチ処理し、顧客ごとの最新状態を作る。
同時刻イベントでも再実行結果を安定させたい。
最も適切な分析方法はどれか。
× 不正解
Windowとrow_numberで最新状態を作り、遅延データ・同時刻・再処理を考慮して決定的な順序を定義する。
詳細解説
正しいpartitionByキーとorderBy時刻・イベントIDでrow_numberを使う
キーごとに順位を付け、1位を選ぶことで決定的に最新行を取得できる。
キーごとに順位を付け、1位を選ぶことで決定的に最新行を取得できる。
誤りdropDuplicatesだけで最新を保証する
保持される行の選択順が要件の最新時刻と一致するとは限らない。
保持される行の選択順が要件の最新時刻と一致するとは限らない。
誤りS3 Lifecycleで古いイベントを削除する
履歴を失い、再計算や監査ができなくなる。
履歴を失い、再計算や監査ができなくなる。
誤りCloudTrailで最新イベントを決める
監査イベントは業務イベントの順位を決めない。
監査イベントは業務イベントの順位を決めない。
実際に確かめる
一時的な検証環境で実行できる例です。
Apache Spark Window、row_number、partitionBy、orderByの公式説明を確認する。期待される結果
重複削除と最新順位選択の違いを説明できる。理解のポイント
- Window
- row_number
- 遅延データ
- 決定性
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01 Domain 3・Task 3.2と各サービスの公式ドキュメントを確認する。
基礎のおさらい
イベント時刻
処理時刻ではなくイベント時刻を使う場合、遅延到着とウォーターマークを設計する。
再現性
一意IDを順序へ含め、分散実行順による結果の揺れを防ぐ。
問題IDAWS-DEA-204
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告