Kinesisのホットシャードを避ける

取り込み方式、データの到着順、再処理、配信先、運用負荷の違いを整理する。

すべてのレコードで固定値のpartition keyを使う

固定partition keyは分散性が低く、ホットシャードを作る可能性がある。

レコードの到着時刻だけを全送信元で同じ値にする

同一のパーティション値は同じシャードへ集まりやすい。

センサーIDなど、十分なカーディナリティを持つpartition keyを使う

高カーディナリティのpartition keyはレコードを複数シャードへ分散しやすい。

スロットリング発生後に同じpartition keyのまま再送する

再試行は失敗を回復するが、partition keyの偏りそのものは解消しない。