AWS GlueからS3のParquetに対してUpsertを行う GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテーブルの... 2021.07.25 AWSGlue
AWS Glue Jobが`Command Failed with Exit Code 10.`で失敗する 扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処理している可能... 2021.05.02 AWSGlue
AWS AWS AWS