資格 AWS Certified Data Engineer – Associate(DEA-C01)に合格しました 先日、AWS Certified Data Engineer - Associate(AWS 認定 データエンジニア アソシエイト)(DEA-C01)に合格しましたので、感想や対策について記載致します。 試験感想 アソシエイトレベルだと思っ... 2024.04.28 資格
AWS Kinesisエージェントのアップデートについて Kinesisエージェントのアップデートについて、および、脆弱性にも関連するLog4jの利用について記載します。Kinesisエージェント自体に関する記事はKinesis AgentとFirehoseを利用してEC2からS3にログを転送する... 2021.12.31 AWSKinesis
AWS max_wal_sendersの調整に関するRDSイベントについて RDS for PostgreSQLを利用時にThe parameter max_wal_senders was set to a value incompatible with replication. It has been adjus... 2021.11.27 AWSRDS
Python Pythonでgzipファイルを解凍する Pythonでgzipファイルを解凍する方法について記載します。gzip圧縮されたログファイル等を扱う際に利用できるかもしれません。 はじめに gzipファイルを扱う際は共通してgzipを利用しています。標準ライブラリです。また、今回はPy... 2021.10.31 Python
AWS RDSのリストア・マルチAZ化時にはパフォーマンス低下に注意する 構成変更や障害対応で、RDSをスナップショットからリストアしたり、マルチAZ化したりすることもあるかもしれません。その際、パフォーマンスが低下することがあります。本記事では、その点について記載致します。 まとめ RDSをスナップショットから... 2021.09.25 AWSRDS
AWS FargateからgsutilがCaught exception reading instance dataで実行できない事象について Fargateタスクからgsutilコマンドを実行し、S3にアクセスする際、Caught exception reading instance dataというエラーが出て、認証に失敗する事象についてです。 結論 gsutilコマンドの仕様で... 2021.08.28 AWSFargate
AWS GlueからS3のParquetに対してUpsertを行う GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテーブルの... 2021.07.25 AWSGlue
PostgreSQL 読み取り専用のレプリカ側でロック待ちが発生する事象について PostgreSQLでレプリケーションを行っている際、読み取り専用トランザクションにも関わらず、レプリカ側でロック待ちが発生(still waiting for AccessShareLock)してしまう事象についてです。状況次第では、レプ... 2021.06.20 PostgreSQLデータベース
AWS Glue Jobが`Command Failed with Exit Code 10.`で失敗する 扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処理している可能... 2021.05.02 AWSGlue
資格 AWS 認定 データベース – 専門知識(DBS-C01)に合格しました 先日、AWS 認定 データベース – 専門知識(AWS Certified Database - Specialty)(DBS-C01)に合格しましたので、感想や試験対策について記載致します。 試験感想 思っていたよりも深い部分まで問われる... 2021.04.03 資格