分析担当者がS3上のパーティションデータを対話的に探索し、SparkのDataFrame処理と可視化を試したい。
探索のためだけにEMRクラスターを作成・停止する運用は避け、ノートブック形式で実行したい。
最も適切なサービスと設定はどれか。
Amazon Athena for Apache SparkはSpark対応ワークグループとノートブックを提供し、サーバーレスでデータ探索を実行できる。SQLワークグループやGlue CrawlerだけではSparkノートブックにならない。
詳細解説
SQLエンジンのワークグループはSparkノートブックの実行環境ではない。
Crawlerはスキーマをカタログへ登録するが、Sparkの対話的な分析や可視化を実行しない。
Spark対応ワークグループのノートブックでセルを対話的に実行でき、クラスターのプロビジョニングや管理を利用者が行わずに済む。
探索のたびにクラスターの構築、パッチ、終了を運用する必要があり、要件の低運用負荷に合わない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Amazon Athena for Apache Sparkのノートブック、Sparkワークグループ、セッションの公式説明を確認する。
参考にした公式資料
確認できる内容
SQLクエリエンジン、Glue Crawler、クラスター管理型Sparkと、Athena Sparkノートブックの違いを説明できる。
理解のポイント
- Athena for Apache Spark
- Sparkワークグループ
- ノートブック
- サーバーレス
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01の該当Skillと各サービスの現行ドキュメントを確認する。
基礎のおさらい
Sparkワークグループ
AthenaでApache Sparkのセッションと計算資源を実行するためのワークグループ。
ノートブックセッション
コードセルを順に実行し、結果を対話的に確認する計算セッション。
サーバーレス分析
クラスターの作成やパッチ適用を利用者が管理せず、必要時に計算を実行する方式。