クラウド・Azure
Azure StorageにアップロードされたCSVをAzure PostgreSQLに入れる
Azure StorageにアップロードされたCSVをAzure PostgreSQLに入れる

この記事は Azure Advent Calendar 2021 22 日目のエントリです。 何をするかというと タイトルの通りなんだけども、AzureのStorage AccountのContainerにCSVファイル […]

続きを読む
クラウド・Azure
シングルノードのCitusをDockerでシャーディングしてみる
シングルノードのCitusをDockerでシャーディングしてみる

この記事は PostgreSQL Advent Calendar 2021 7 日目のエントリです。 Citusって何? CitusはPostgreSQLをシャーディングしてスケールアウト出来るようにするPostgreS […]

続きを読む
クラウド・Azure
RHEL8とFlexible Server PostgreSQLでLogical Replicationする
RHEL8とFlexible Server PostgreSQLでLogical Replicationする

自宅のRHEL8上のPostgreSQLから、Azure Database for PostgreSQL Flexible ServerにLogical Replicationを設定してみる。自宅鯖がPublisher、 […]

続きを読む
クラウド・Azure
PostgreSQLから並列COPYするスクリプト
PostgreSQLから並列COPYするスクリプト

先にPythonで書き殴ったやつをブログに書いたけれど、もうちょっと使いやすいようにならんかと、コマンドっぽく書き直したので、githubに置いた。 要はpsql -c 'COPY'を並列に実行するだけなんだけど、毎回の […]

続きを読む
クラウド・Azure
Azure DB for PostgreSQL Single Server with pg_dump or a Python script
Azure DB for PostgreSQL Single Server with pg_dump or a Python script

I did it with DMS, but I'd also like to know how long it takes to do with pg_dump. Loaded the same dummy data […]

続きを読む
クラウド・Azure
Azure DB for PostgreSQL バルクINSERT, Single vs Flexible
Azure DB for PostgreSQL バルクINSERT, Single vs Flexible

Flexibleの方が同じインスタンスサイズでも速くなってるはずだけれど、バルクで入れたらどうなるんかな、と。コードは以下。1,000ファイルに分割されたトータル143GBのデータをINSERT文で投入(COPYではない […]

続きを読む
クラウド・Azure
Azure DB for PostgreSQL Single to Flexible Migration
Azure DB for PostgreSQL Single to Flexible Migration

I'd like to know how long it takes to migrate from PostgreSQL Single Server to Flexible Server. Deploy a Linux […]

続きを読む
クラウド・Azure
サクッとPostgreSQLを立ててテストして畳む
サクッとPostgreSQLを立ててテストして畳む

Azure CLIとjqがインストールされていることが前提だけれども、Azure Database for PostgreSQL Flexible Serverをサクッと立てて、テストして、畳む方法 from 自宅。自宅 […]

続きを読む
クラウド・Azure
Azure AD B2C + PostgRESTでJWTな話
Azure AD B2C + PostgRESTでJWTな話

PostgreSQLをREST APIで叩きたいでちょっと試してみたPostgRESTなんだけども、PostgreSQLをREST APIで叩けると「何が嬉しいのか」ピンときておらず(この辺、本業からだいぶ離れるので)、 […]

続きを読む
クラウド・Azure
PostgreSQLをREST APIで叩きたい
PostgreSQLをREST APIで叩きたい

なんやらPostgreSQLにREST APIでアクセスしたいという話があったので、PostgREST + Azure Database for PostgreSQL Flexible Serverで遊んでみた。 まず、 […]

続きを読む
クラウド・Azure
データベースのシャーディングを簡単な英語で説明する
データベースのシャーディングを簡単な英語で説明する

Database sharding explained in plain Englishの日本語訳。 シャーディングはほとんどの開発者にとって理解しにくいデータベースの話題の1つですが、シャーディングを自分自身で実装しな […]

続きを読む
Linux・オープンソース
自宅鯖を冗長化したはなし
自宅鯖を冗長化したはなし

1台しか無い状態でいずれかの原因でサーバが逝くと外付けHDDとAzure上にあるデータから復旧しないとならず、これはなかなか骨が折れる作業になる。なのでもうちょっと簡単にして復旧時間を短縮したい。今回の自宅鯖の更新ではこ […]

続きを読む
クラウド・Azure
Azure Arc Enabled PostgreSQL Hyperscale (Citus)をやっていき
Azure Arc Enabled PostgreSQL Hyperscale (Citus)をやっていき

Azure Arcはハイブリッドクラウドを管理するためのソリューションで、Azure以外のパブリッククラウドやオンプレミス環境を一括してAzure Portalから扱うことが可能になるんだけども、このArcを使ってKub […]

続きを読む
クラウド・Azure
PostgreSQLに20TB・89億件のデータを入れてみる
PostgreSQLに20TB・89億件のデータを入れてみる

そーだいさんがこんなことを呟いていた。 ふーむ。これはやってみないといけないですね。普通のPostgreSQLではちょっと無理っぽい件数なので、Azure Database for PostgreSQL Hypersca […]

続きを読む
クラウド・Azure
Optimizing storage size of Azure DB for PostgreSQL
Optimizing storage size of Azure DB for PostgreSQL

This article describes how storage size affects the result of benchmarking, pgbench. The storage size of Azure […]

続きを読む
Linux・オープンソース
カニ、そしてカニ
カニ、そしてカニ

この記事は自宅サーバの思い出 Advent Calendar 2016、18日目のカニです。 消えたよね、自宅サーバの思い出っていうか記録...。CD-RとDVD-Rに1996年からのデータが全部取ってあったんだけど。焼 […]

続きを読む
Linux・オープンソース
RHEL 7 for x86_64のRPM一覧
RHEL 7 for x86_64のRPM一覧

Base Channel Supplementary Channel Optional Channel RH Common Extras

続きを読む
データベース
PostgreSQL 8.4 out!
PostgreSQL 8.4 out!

PostgreSQL 8.4 released [LWN.net] RHEL5.4 betaに引き続き、こちらも期待の持てるニュース。うちのサーバは8.3.7なんだけど、こりゃ数日中に8.4に移行だな。

続きを読む
Linux・オープンソース
Fedora 11インストール
Fedora 11インストール

i386とx86_64の両方をインストールしてみた。ブートは早くなってるような希ガス。 パッケージは2252ヶ。i386と言いながら、パッケージは見事に586。

続きを読む
Linux・オープンソース
サーバ構築メモ書き-15
サーバ構築メモ書き-15

どのRPMパッケージがRed Hat謹製だか分からなくなってきた(^^ゞ リストにしておく。

続きを読む