- 2022年4月8日
Lambdaを使用したDynamoDBのパラレルクエリ活用法
DynamoDB内に入っている大量のデータに対するクエリ処理を、パラレルクエリを活用することで、高速化を図ることが出来るかを検証しました。
DynamoDB内に入っている大量のデータに対するクエリ処理を、パラレルクエリを活用することで、高速化を図ることが出来るかを検証しました。
LambdaによるETL処理を冪等にするための対策をいつくか紹介する。 またLambdaで冪等性を考慮する必要性について簡単に説明。
Lambdaからathenaでパーティション読み込みクエリを実行する際に、権限不足エラーが発生した場合のトラブルシューティング。 権限の例や複数のパーティション読み込み(MSCK REPAIR TABLE,ALTER TABLE)について記載。