AWS

GlueからS3のParquetに対してUpsertを行う

GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテ...
PostgreSQL

読み取り専用のレプリカ側でロック待ちが発生する事象について

PostgreSQLでレプリケーションを行っている際、読み取り専用トランザクションにも関わらず、レプリカ側でロック待ちが発生(still waiting for AccessShareLock)してしまう事象についてです。状況次第では、レ...
AWS

Glue Jobが`Command Failed with Exit Code 10.`で失敗する

扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処...
資格

AWS 認定 データベース – 専門知識(DBS-C01)に合格しました

先日、AWS 認定 データベース – 専門知識(AWS Certified Database - Specialty)(DBS-C01)に合格しましたので、感想や試験対策について記載致します。 試験感想 思っていたよりも深い部...
AWS

Aurora PostgreSQLでキャッシュをクリアする方法について

データベース開発作業の一環として、パフォーマンスのテストを実施することもあるかと存じます。ただし、複数回のパフォーマンステストを実施する際には、実施前にキャッシュをクリアし、その影響を抑える必要があります。ここでは、Aurora Post...
AWS

MaximumUsedTransactionIDsについて

RDS for PostgreSQLやAurora PostgreSQLでCloudWatchメトリクスとして用意されているMaximumUsedTransactionIDsについて記載致します。 MaximumUsedTransa...
AWS

RDS for Oracle作成後に行う基本的な設定について

RDS for Oracleを作成後、対象インスタンスの内部で共通して実施することの多い、基本的な設定を記載致します。パラメータグループやオプショングループ等のAWSコンソール上で設定可能な項目につきましては、記載対象外となっておりますの...
PostgreSQL

work_memと一時ファイルの容量の関係性について

PostgreSQLでのチューニングのアプローチとして、log_temp_filesを0に設定し、ログに記録された一時ファイルの容量を元にwork_memを調整するといったものがあるかと存じます。これで一時ファイルの作成が抑制され、パフォ...
AWS

Aurora PostgreSQLの統計情報についてのTips

Aurora PostgreSQLは、クラスタにリードレプリカを追加することにより、容易に読み取り処理をスケールアウトすることができます。また、プライマリインスタンスに障害が発生した場合でも、リードレプリカがあればフェイルオーバーが実施さ...
Oracle

OracleとPostgreSQLのデッドロックの比較

本記事では、OracleとPostgreSQLのデッドロックを簡単に比較した内容について記載していきます。それぞれ、業務システムで良く使われている有償/無償のRDBMSの筆頭で、移行も盛んに行われていますが、デッドロック時の挙動に若干の違...
スポンサーリンク
タイトルとURLをコピーしました