MySQL innodb_flush_log_at_trx_commitとinnodb_doublewriteについて
MySQLのInnoDBの書き込み速度向上について、innodb_flush_log_at_trx_commitやinnodb_doublewriteの設定を変更する方法が紹介されていることも多いです。紹介とともに設定変更による危険性につい...
MySQL 
資格 AWS Certified Data Engineer – Associate(DEA-C01)に合格しました
先日、AWS Certified Data Engineer - Associate(AWS 認定 データエンジニア アソシエイト)(DEA-C01)に合格しましたので、感想や対策について記載致します。 試験感想 アソシエイトレベルだと思っ...
AWS Kinesisエージェントのアップデートについて
Kinesisエージェントのアップデートについて、および、脆弱性にも関連するLog4jの利用について記載します。Kinesisエージェント自体に関する記事はKinesis AgentとFirehoseを利用してEC2からS3にログを転送する...
AWS max_wal_sendersの調整に関するRDSイベントについて
RDS for PostgreSQLを利用時にThe parameter max_wal_senders was set to a value incompatible with replication. It has been adjus...
Python Pythonでgzipファイルを解凍する
Pythonでgzipファイルを解凍する方法について記載します。gzip圧縮されたログファイル等を扱う際に利用できるかもしれません。 はじめに gzipファイルを扱う際は共通してgzipを利用しています。標準ライブラリです。また、今回はPy...
AWS RDSのリストア・マルチAZ化時にはパフォーマンス低下に注意する
構成変更や障害対応で、RDSをスナップショットからリストアしたり、マルチAZ化したりすることもあるかもしれません。その際、パフォーマンスが低下することがあります。本記事では、その点について記載致します。 まとめ RDSをスナップショットから...
AWS FargateからgsutilがCaught exception reading instance dataで実行できない事象について
Fargateタスクからgsutilコマンドを実行し、S3にアクセスする際、Caught exception reading instance dataというエラーが出て、認証に失敗する事象についてです。 結論 gsutilコマンドの仕様で...
AWS GlueからS3のParquetに対してUpsertを行う
GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテーブルの...
PostgreSQL 読み取り専用のレプリカ側でロック待ちが発生する事象について
PostgreSQLでレプリケーションを行っている際、読み取り専用トランザクションにも関わらず、レプリカ側でロック待ちが発生(still waiting for AccessShareLock)してしまう事象についてです。状況次第では、レプ...
AWS Glue Jobが`Command Failed with Exit Code 10.`で失敗する
扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処理している可能...