シングルノードのCitusをDockerでシャーディングしてみる
この記事は PostgreSQL Advent Calendar 2021 7 日目のエントリです。 Citusって何？ CitusはPostgreSQLをシャーディングしてスケールアウト出来るようにするPostgreS […]
RHEL8とFlexible Server PostgreSQLでLogical Replicationする
自宅のRHEL8上のPostgreSQLから、Azure Database for PostgreSQL Flexible ServerにLogical Replicationを設定してみる。自宅鯖がPublisher、 […]
PostgreSQLから並列COPYするスクリプト
先にPythonで書き殴ったやつをブログに書いたけれど、もうちょっと使いやすいようにならんかと、コマンドっぽく書き直したので、githubに置いた。 要はpsql -c '\COPY'を並列に実行するだけなんだけど、毎回 […]
Azure DB for PostgreSQL Single Server with pg_dump or a Python script
I did it with DMS, but I'd also like to know how long it takes to do with pg_dump. Loaded the same dummy data […]
Azure DB for PostgreSQL バルクINSERT, Single vs Flexible
Flexibleの方が同じインスタンスサイズでも速くなってるはずだけれど、バルクで入れたらどうなるんかな、と。コードは以下。1,000ファイルに分割されたトータル143GBのデータをINSERT文で投入（COPYではない […]
Azure DB for PostgreSQL Single to Flexible Migration
I'd like to know how long it takes to migrate from PostgreSQL Single Server to Flexible Server. Deploy a Linux […]
サクッとPostgreSQLを立ててテストして畳む
Azure CLIとjqがインストールされていることが前提だけれども、Azure Database for PostgreSQL Flexible Serverをサクッと立てて、テストして、畳む方法 from 自宅。自宅 […]
Azure AD B2CのCLIでのデプロイ
公式ドキュメントも含めて、Azure AD B2Cのデプロイ手順ってなんでスクリプト一発じゃなくてAzureポータルの例しか無いんだろ？と思ったら、Azure CLIがサポートしてないから、みたいだね。 で、探してみたら […]
PHPでCosmos DB（Javaでも可）
Cosmos DBのSQL(Core) APIのSDKとしては.NETやJavaはあるんだけどもPHPは無い。REST APIなんでPHPでcurlでも何でも使えば実装出来なくもないし、実際過去にそれでちょろっと書いたこ […]
Azure AD B2C + PostgRESTでJWTな話
PostgreSQLをREST APIで叩きたいでちょっと試してみたPostgRESTなんだけども、PostgreSQLをREST APIで叩けると「何が嬉しいのか」ピンときておらず（この辺、本業からだいぶ離れるので）、 […]
PostgreSQLをREST APIで叩きたい
なんやらPostgreSQLにREST APIでアクセスしたいという話があったので、PostgREST + Azure Database for PostgreSQL Flexible Serverで遊んでみた。 まず、 […]
azcopy V10でオンプレLinuxのデータバックアップをする
手順ややこしくて忘れちゃうのよ... 自宅鯖は冗長化してあるものの、その2台共が焼失する可能性が無いとは言えないのでデータのバックアップをAzureに置きたい。 で。以前はrsyncを使っていたもののLinux VMが必 […]
データベースのシャーディングを簡単な英語で説明する
Database sharding explained in plain Englishの日本語訳。 シャーディングはほとんどの開発者にとって理解しにくいデータベースの話題の1つですが、シャーディングを自分自身で実装しな […]
pg_prewarm on worker nodes
I'd like to load all the distributed tables on worker nodes to the memory with pg_prewarm. But the coordinator […]
Azure Arc Enabled PostgreSQL Hyperscale (Citus)をやっていき
Azure Arcはハイブリッドクラウドを管理するためのソリューションで、Azure以外のパブリッククラウドやオンプレミス環境を一括してAzure Portalから扱うことが可能になるんだけども、このArcを使ってKub […]
PostgreSQLに20TB・89億件のデータを入れてみる
そーだいさんがこんなことを呟いていた。 ふーむ。これはやってみないといけないですね。普通のPostgreSQLではちょっと無理っぽい件数なので、Azure Database for PostgreSQL Hypersca […]
MariaDBでSpiderクラスタを作る
半分仕事、半分興味本位でMariaDBのSpiderクラスタをAzure上に構築するスクリプトを書いたので、GitHubに晒しておいた。 半分しか仕事じゃないのはこれがPaaSのサービスでは無いからなんだけど、仕事に「含 […]
Azure CLIをmacOSのzsh completionで使えるようにする
微妙に動かない設定しか見つからなかったのでメモっておく。 zsh-completionをインストールする。 で、エラーが出る。 compauditでチェックして、パーミッションを修正する。 /usr/local/shar […]
Optimizing storage size of Azure DB for PostgreSQL
This article describes how storage size affects the result of benchmarking, pgbench. The storage size of Azure […]