1.1標準
外部の注文APIは1回の応答に上限があり、nextCursorを使って次のページを返す。
毎時の取り込みで、レート制限に従いながら中断後は最後に成功したカーソルから再開し、取得データをS3へ保存する。
最も適切な取り込み設計はどれか。
× 不正解
ページングAPIは継続トークンを処理し、成功した位置をチェックポイントとして保持する。レート制限にはバックオフを使い、再実行可能な原データをS3へ保存する。
詳細解説
誤りGlue CrawlerにAPIのURLを渡して応答データを取り込む
Crawlerはストレージ上のデータのスキーマを検出する機能で、認証付きAPIのページング取得を実行しない。
正しいGlueまたはLambdaのAPIクライアントでページングし、カーソルをチェックポイントとして保存する
nextCursorを順に処理し、最後に成功した位置と再試行状態を保存できるため、中断後の重複取得を抑えられる。
誤り毎時APIの先頭ページだけを取得し、前回のカーソルは破棄する
後続ページを取りこぼし、再実行時の位置も分からないため、全件取り込みと再開要件を満たさない。
誤りAPIのレート制限を無視して大量の並列リクエストを送る
429などの拒否を増やし、欠損や重複を招く。呼び出し間隔とバックオフの制御が必要である。
429などの拒否を増やし、欠損や重複を招く。呼び出し間隔とバックオフの制御が必要である。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
AWS GlueまたはLambdaのAPI取り込み実装、Secrets Manager、指数バックオフ、S3チェックポイントの公式資料を確認する。
参考にした公式資料
確認できる内容
データAPIのページング・レート制限・再開位置を、Crawlerや無制御並列処理と区別できる。
理解のポイント
- ページング
- 継続トークン
- チェックポイント
- レート制限
確認時の注意
- 確認環境: AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
- AWS公式DEA-C01の該当Skillと各サービスの現行ドキュメントを確認する。
基礎のおさらい
ページング
大量の応答を複数ページへ分け、次のページを示すトークンで順に取得する方式。
チェックポイント
処理済み位置を保存し、失敗後にその位置から再開するための状態。
指数バックオフ
一時的な拒否や障害の再試行間隔を段階的に延ばす制御。
問題IDAWS-DEA-314
確認環境AWS公式DEA-C01試験ガイドと各サービスの公式ドキュメントの確認
最終技術確認2026-08-31
誤り・権利侵害を報告