AWS

max_wal_sendersの調整に関するRDSイベントについて

RDS for PostgreSQLを利用時にThe parameter max_wal_senders was set to a value incompatible with replication. It has been adju...
Python

Pythonでgzipファイルを解凍する

Pythonでgzipファイルを解凍する方法について記載します。gzip圧縮されたログファイル等を扱う際に利用できるかもしれません。 はじめに gzipファイルを扱う際は共通してgzipを利用しています。標準ライブラリです。ま...
AWS

RDSのリストア・マルチAZ化時にはパフォーマンス低下に注意する

構成変更や障害対応で、RDSをスナップショットからリストアしたり、マルチAZ化したりすることもあるかもしれません。その際、パフォーマンスが低下することがあります。本記事では、その点について記載致します。 まとめ RDSをスナッ...
AWS

FargateからgsutilがCaught exception reading instance dataで実行できない事象について

Fargateタスクからgsutilコマンドを実行し、S3にアクセスする際、Caught exception reading instance dataというエラーが出て、認証に失敗する事象についてです。 結論 gsutilコ...
AWS

GlueからS3のParquetに対してUpsertを行う

GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテ...
PostgreSQL

読み取り専用のレプリカ側でロック待ちが発生する事象について

PostgreSQLでレプリケーションを行っている際、読み取り専用トランザクションにも関わらず、レプリカ側でロック待ちが発生(still waiting for AccessShareLock)してしまう事象についてです。状況次第では、レ...
AWS

Glue Jobが`Command Failed with Exit Code 10.`で失敗する

扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処...
資格

AWS 認定 データベース – 専門知識(DBS-C01)に合格しました

先日、AWS 認定 データベース – 専門知識(AWS Certified Database - Specialty)(DBS-C01)に合格しましたので、感想や試験対策について記載致します。 試験感想 思っていたよりも深い部...
AWS

Aurora PostgreSQLでキャッシュをクリアする方法について

データベース開発作業の一環として、パフォーマンスのテストを実施することもあるかと存じます。ただし、複数回のパフォーマンステストを実施する際には、実施前にキャッシュをクリアし、その影響を抑える必要があります。ここでは、Aurora Post...
AWS

MaximumUsedTransactionIDsについて

RDS for PostgreSQLやAurora PostgreSQLでCloudWatchメトリクスとして用意されているMaximumUsedTransactionIDsについて記載致します。 MaximumUsedTransa...
スポンサーリンク
タイトルとURLをコピーしました