大規模データを効率的にプロファイルする

データ品質では、完全性、正確性、一貫性、適時性、妥当性をルールと測定値で定義する。

代表性を定義したサンプリングでプロファイルし、重要列は全件検査する

サンプリングは全件の代わりではなく探索・監視の手段である。

先頭100行だけで全体品質を断定する

非代表的なサンプルは品質推定を歪める。

全件を毎回ローカルへダウンロードする

大規模データはクラウド上で分散検査する。

S3 Lifecycleで無作為にファイルを削除する

Lifecycleは保存管理機能である。