依存ライブラリを含む大規模ETLをコンテナで実行する

処理方式、インターフェース、実行環境、データ特性を分けて整理する。

コンテナイメージ

コード、ランタイム、依存ライブラリを再現可能な単位へまとめた実行パッケージ。

オーケストレーション

複数のコンテナを配置し、リソース、再起動、スケールを管理する仕組み。

リソース要求

CPUやメモリの必要量を実行単位ごとに指定し、処理性能とコストを調整する考え方。