S3データのスキーマを自動検出する

ブロック・オブジェクト・計算・DB・ネットワーク・ETLの性能特性を対応付ける。

AWS Glue CrawlerでデータをスキャンしData Catalogへ登録する

Crawlerはデータを検査し、テーブル・スキーマ・パーティションをカタログへ登録する。

S3バケット名だけからすべての列型を推測する

バケット名はオブジェクト内容やスキーマを表さない。

Route 53のDNSクエリでParquetの列を検出する

DNSクエリはデータレイクのスキーマ検出ではない。

IAMロール名へテーブル定義を保存する

IAMロール名はデータカタログではない。

AWS Glue Crawler

データソースをスキャンしてテーブル定義を推測する機能。

Data Catalog

データの場所・スキーマ・パーティションを保存するカタログ。