AWS Kinesisエージェントのアップデートについて Kinesisエージェントのアップデートについて、および、脆弱性にも関連するLog4jの利用について記載します。Kinesisエージェント自体に関する記事はKinesis AgentとFirehoseを利用してEC2からS3にログを転送す... 2021.12.31 AWSKinesis
AWS max_wal_sendersの調整に関するRDSイベントについて RDS for PostgreSQLを利用時にThe parameter max_wal_senders was set to a value incompatible with replication. It has been adju... 2021.11.27 AWSRDS
Python Pythonでgzipファイルを解凍する Pythonでgzipファイルを解凍する方法について記載します。gzip圧縮されたログファイル等を扱う際に利用できるかもしれません。 はじめに gzipファイルを扱う際は共通してgzipを利用しています。標準ライブラリです。ま... 2021.10.31 Python
AWS RDSのリストア・マルチAZ化時にはパフォーマンス低下に注意する 構成変更や障害対応で、RDSをスナップショットからリストアしたり、マルチAZ化したりすることもあるかもしれません。その際、パフォーマンスが低下することがあります。本記事では、その点について記載致します。 まとめ RDSをスナッ... 2021.09.25 AWSRDS
AWS FargateからgsutilがCaught exception reading instance dataで実行できない事象について Fargateタスクからgsutilコマンドを実行し、S3にアクセスする際、Caught exception reading instance dataというエラーが出て、認証に失敗する事象についてです。 結論 gsutilコ... 2021.08.28 AWSFargate
AWS GlueからS3のParquetに対してUpsertを行う GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテ... 2021.07.25 AWSGlue
PostgreSQL 読み取り専用のレプリカ側でロック待ちが発生する事象について PostgreSQLでレプリケーションを行っている際、読み取り専用トランザクションにも関わらず、レプリカ側でロック待ちが発生(still waiting for AccessShareLock)してしまう事象についてです。状況次第では、レ... 2021.06.20 PostgreSQLデータベース
AWS Glue Jobが`Command Failed with Exit Code 10.`で失敗する 扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処... 2021.05.02 AWSGlue
資格 AWS 認定 データベース – 専門知識(DBS-C01)に合格しました 先日、AWS 認定 データベース – 専門知識(AWS Certified Database - Specialty)(DBS-C01)に合格しましたので、感想や試験対策について記載致します。 試験感想 思っていたよりも深い部... 2021.04.03 資格
AWS Aurora PostgreSQLでキャッシュをクリアする方法について データベース開発作業の一環として、パフォーマンスのテストを実施することもあるかと存じます。ただし、複数回のパフォーマンステストを実施する際には、実施前にキャッシュをクリアし、その影響を抑える必要があります。ここでは、Aurora Post... 2021.03.07 AWSPostgreSQLRDS