大規模分析で小ファイルを抑える

分析では、データ量、更新頻度、クエリ形状、処理時間、可視化要件、コストを比較する。

定期的なコンパクションでファイルをまとめ、スナップショットを整理する

コンパクションは小ファイルを大きなファイルへまとめる。

小ファイルをすべて別S3プレフィックスへ移す

物理ファイル移動だけではテーブル管理を更新しない。

AthenaでSELECT *を繰り返す

SELECT *は不要列を読む可能性がある。

DynamoDB TTLでParquetファイルを統合する

DynamoDB TTLは期限削除機能である。