わなび

資格

AWS Certified Data Engineer – Associate(DEA-C01)に合格しました

先日、AWS Certified Data Engineer - Associate(AWS 認定 データエンジニア アソシエイト)(DEA-C01)に合格しましたので、感想や対策について記載致します。 試験感想 アソシエイトレベルだと思っ...
AWS

Kinesisエージェントのアップデートについて

Kinesisエージェントのアップデートについて、および、脆弱性にも関連するLog4jの利用について記載します。Kinesisエージェント自体に関する記事はKinesis AgentとFirehoseを利用してEC2からS3にログを転送する...
AWS

max_wal_sendersの調整に関するRDSイベントについて

RDS for PostgreSQLを利用時にThe parameter max_wal_senders was set to a value incompatible with replication. It has been adjus...
Python

Pythonでgzipファイルを解凍する

Pythonでgzipファイルを解凍する方法について記載します。gzip圧縮されたログファイル等を扱う際に利用できるかもしれません。 はじめに gzipファイルを扱う際は共通してgzipを利用しています。標準ライブラリです。また、今回はPy...
AWS

RDSのリストア・マルチAZ化時にはパフォーマンス低下に注意する

構成変更や障害対応で、RDSをスナップショットからリストアしたり、マルチAZ化したりすることもあるかもしれません。その際、パフォーマンスが低下することがあります。本記事では、その点について記載致します。 まとめ RDSをスナップショットから...
AWS

FargateからgsutilがCaught exception reading instance dataで実行できない事象について

Fargateタスクからgsutilコマンドを実行し、S3にアクセスする際、Caught exception reading instance dataというエラーが出て、認証に失敗する事象についてです。 結論 gsutilコマンドの仕様で...
AWS

GlueからS3のParquetに対してUpsertを行う

GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテーブルの...
PostgreSQL

読み取り専用のレプリカ側でロック待ちが発生する事象について

PostgreSQLでレプリケーションを行っている際、読み取り専用トランザクションにも関わらず、レプリカ側でロック待ちが発生(still waiting for AccessShareLock)してしまう事象についてです。状況次第では、レプ...
AWS

Glue Jobが`Command Failed with Exit Code 10.`で失敗する

扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処理している可能...
資格

AWS 認定 データベース – 専門知識(DBS-C01)に合格しました

先日、AWS 認定 データベース – 専門知識(AWS Certified Database - Specialty)(DBS-C01)に合格しましたので、感想や試験対策について記載致します。 試験感想 思っていたよりも深い部分まで問われる...
スポンサーリンク