AWS

AWS

GlueからS3のParquetに対してUpsertを行う

GlueからS3のParquetファイルに対してUpsert(データが存在すればInsert、存在しなければUpdate)処理を行う方法について記載します。 ParquetファイルをGlueテーブルとしている場合、実質的にGlueテ...
AWS

Glue Jobが`Command Failed with Exit Code 10.`で失敗する

扱うデータ量を増やすとGlue JobがCommand Failed with Exit Code 10.で失敗する事象に遭遇したため内容を記載致します。 まとめ Glue Jobワーカー1つのメモリ上に乗り切らないデータを処...
AWS

Aurora PostgreSQLでキャッシュをクリアする方法について

データベース開発作業の一環として、パフォーマンスのテストを実施することもあるかと存じます。ただし、複数回のパフォーマンステストを実施する際には、実施前にキャッシュをクリアし、その影響を抑える必要があります。ここでは、Aurora Post...
AWS

MaximumUsedTransactionIDsについて

RDS for PostgreSQLやAurora PostgreSQLでCloudWatchメトリクスとして用意されているMaximumUsedTransactionIDsについて記載致します。 MaximumUsedTransa...
AWS

RDS for Oracle作成後に行う基本的な設定について

RDS for Oracleを作成後、対象インスタンスの内部で共通して実施することの多い、基本的な設定を記載致します。パラメータグループやオプショングループ等のAWSコンソール上で設定可能な項目につきましては、記載対象外となっておりますの...
AWS

Aurora PostgreSQLの統計情報についてのTips

Aurora PostgreSQLは、クラスタにリードレプリカを追加することにより、容易に読み取り処理をスケールアウトすることができます。また、プライマリインスタンスに障害が発生した場合でも、リードレプリカがあればフェイルオーバーが実施さ...
AWS

Active Directory on EC2をバックアップ・リストアする方法(全台障害)

本記事では、EC2にActive Directoryをインストールした環境での、バックアップ・リストア手法の一例について記載します。想定シナリオとしては、FSMOを含め、ドメインコントローラーの役割を持つEC2の全てに障害が発生していると...
AWS

RDS for PostgreSQLにユーザを移行する際の権限エラーについて

本記事では、オンプレミス、または、EC2にインストールされているPostgreSQLからRDS for PostgreSQLにユーザを移行する際に発生するエラーについて記載します。この権限エラーは、移行元のPostgreSQLに存在するユ...
AWS

VPCピアリングで別VPCのRDSにプライベートで接続する

本記事では、VPCピアリングで別VPCのRDSにプライベートで接続する方法を記載します。単純にVPCピアリングを設定するだけで良さそうに見えますが、パブリックアクセシビリティが有効になっている場合、少し詰まった点があったため、記録しておき...
AWS

Amazon Forecastで2020年の日経平均株価を占ってみたが……

本記事ではAmazon Forecastを利用して2020年の日経平均株価を占います。あくまで過去のチャートのみを利用した「占い」であり、「予測」「予想」とは異なる点についてご了承ください。 Amazon Forecastとは ...
スポンサーリンク
タイトルとURLをコピーしました