Azure azcopyを更新した
azcopyによるAzureへのバックアップのエラーが出ていたので、なんぞ？と思ったら、クレデンシャルの期限切れだった。ついでに、azcopyが新しくなっていたので、RPMパッケージを作り直した。SPECファイルはGitHubに。
...
Azure
Azure Azure Cosmos DB for PostgreSQLに格納されたデータを分析に回す話
ひと口に分析といっても色々なパターンがあると思うのだけど、格納されているデータ全体を分析したいという話ではなく、格納されているデータのうち、一定の条件を満たすものだけを対象にしたい場合にどうするのが良いか、という話。
分析を実行する...
Azure LangChainを使わない分かる
「ほーいいじゃないかこういうのでいいんだよこういうので」（の絵をここに貼る）
AI担当じゃないんですけど
ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん...
Azure この声優さん、確かこの作品であの声優さんと共演してたよなぁ
はじめに
（この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです）
「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません？
...
Azure PostgreSQL on Azure IaaS
主にPaaS（Azure Databae for PostgreSQL Flexible Server）との違いをチェックするために使うのだけど、あまりしょっちゅうやることではないので忘れる。毎回「どうして5432/tcpにアクセスできな...
Azure Cosmos DB for PostgreSQLのパーティションとカラムナーストレージ
公式ドキュメントにパーティショニングとカラムナーストレージのことは書いてあるのだけれど、実データを入れてテーブルがどのように見えるかについて、分散テーブルも含めてまとめて説明したものはないように思うので、書いておく。
テーブルの種類...
Azure Azure Functions (Python) + Cosmos DBまとめ
はじめに
Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy...
Azure PythonのCosmos ChangeFeedのDocument
Cosmos DBのChangeFeedをPythonで書こうとすると、デコレータ含めた定義はこんな感じになる。
@app.cosmos_db_trigger(arg_name="documents",
...
Azure Azure Cosmos DBのPython SDKでのロギングレベル
デフォルトのままAzure Cosmos DBにPythonで接続してあれこれやってると、INFOレベルのログが出力されて肝心のデバッグ用のprint()とかが見えなかったり、ERRORが一瞬で流れて行っちゃって見えないw
from...
Azure Cosmos DB ChangeFeedのPythonのトリガー
を書いてたら、どうにも動かない。
ドキュメントには
@app.cosmos_db_trigger(arg_name="documents",
database...
Azure Apple Silicon上のVSCodeでPythonのAzure Functionsを動かしたい
なんかねぇ、Functionsのランタイム（func）がArm64に対応してないんですよ。プロジェクト作って動かそうとしたら、Arm64は知らん、とか言われて。はー、めんど。
で、ちょっと探したらワークアラウンドを見つけた。要は、無...
Azure Azure Cosmos DB ChangeFeed + Functions
これは知っている、理解している人には別に大した話ではないのだけれど、ひょっとしてということがあるので。
例えば、Pythonで
とあるデータをhttp/httpsで取得してそのデータをJSONに加工して保存してもしJSONの中...
Azure Stable Diffusion (AUTOMATIC1111) をsystemdで
systemdでAUTOMATIC1111を起動したい。複数のユーザーが同時に起動することは考えにくいので、"@"付きUnitファイルではなく、~/.config/systemd/user/に"sdwui.service"なるファイルを以...
Azure Azure上のStable Diffusion (AUTOMATIC1111)をhttps対応する
gradio経由が安定しない
webui-user.shに"share"を追加するとgradio経由でアクセス出来るんだけども、とっても安定しない。まあ、作者もドキュメントに
use share=True for gradio...
Azure スクリプト一発でStable Diffusion WebUIを立てる
#2023.03.13: CivitAIがファイル公開方式を変更したようで、下記スクリプトだとファイルを取得不可能。
手作業でやるのが面倒なので、スクリプトにした。別に難しいことはしてない。
#!/bin/bash
# In...
Azure Stable Diffusionで4K壁紙を出力したい（3840 x 2160ピクセル）
Azure HPC VMのStandard_NC24ads_A100_v4、GPUメモリ80GBだと、2048 x 1024 + Hires. fixで4096 x 2048の画像は出力出来なかった。よく見るとメモリのフラグメンテーション...
Azure Azure HPC VMでStable Diffusionすると速いのか？（結論：すげえ速かった）
手元にあるSDできる環境はMac Studioのみなのだけど、GPUとして見た時にはMac Studioの性能はRTX3090の半分以下のようなので、もうちょっと速い環境が欲しいっちゃ欲しい。メモリ24GBを搭載しているRTX4090は確...
Azure データベース正規化の呪い（ノロい）
正規化は正義
正規化が絶対的な正義だった時代がある。ストレージのコストが高く、同じデータを複数のテーブルで保持するなんてもってのほか。更新するにも同時に複数のテーブルを更新しないとならない。だから、第一正規形から第三正規形までをがっ...
Azure Cloud Gamingで久々にゲームにハマった
NieR Automata以来か？
年いちぐらいで何かしらのゲームにハマるんだけど、前回は世の中からだいぶ遅れてのNieR Automataだった。違うんですよ、2Bちゃんのお尻にハマったのもあるんだけど、世界観とストーリーがどスト...
Azure PostgreSQLの移行ツール・pgcopydbを試してみた
DMSの制限にヒットする
Azure Database for PostgreSQL Single ServerからFlexible Serverへの移行に際して、Azure Database Migration Serviceを使...
Azure 竈門禰豆子 on Azure Database for PostgreSQL / MySQL Flexible Server
「竈門禰豆子」の「禰」が異体字セレクタによって7バイトあり、MySQLに適切な設定をしないと格納出来ない、というのがちょっと話題になったので試してみた。
Azure Database for PostgreSQL
まず、Azu...
Azure オンプレ・IaaSからAzure DB for PostgreSQL Flexible Serverに
オンプレやIaaSで動いてるPostgreSQLを、Azure Database for PostgreSQL Flexible Serverに移行する時に、同程度のサイズ（vCPU数、メモリ、ストレージ）なら、postgresql.co...
Azure Azure StorageにアップロードされたCSVをAzure PostgreSQLに入れる
この記事は Azure Advent Calendar 2021 22 日目のエントリです。
何をするかというと
タイトルの通りなんだけども、AzureのStorage AccountのContainerにCSVファイルがアッ...
Azure シングルノードのCitusをDockerでシャーディングしてみる
この記事は PostgreSQL Advent Calendar 2021 7 日目のエントリです。
Citusって何？
CitusはPostgreSQLをシャーディングしてスケールアウト出来るようにするPostgreSQLの...
Azure RHEL8とFlexible Server PostgreSQLでLogical Replicationする
自宅のRHEL8上のPostgreSQLから、Azure Database for PostgreSQL Flexible ServerにLogical Replicationを設定してみる。自宅鯖がPublisher、AzureがSub...
Azure PostgreSQLから並列COPYするスクリプト
先にPythonで書き殴ったやつをブログに書いたけれど、もうちょっと使いやすいようにならんかと、コマンドっぽく書き直したので、githubに置いた。
要はpsql -c '\COPY'を並列に実行するだけなんだけど、毎回のようにシェ...
Azure Azure DB for PostgreSQL Single Server with pg_dump or a Python script
I did it with DMS, but I'd also like to know how long it takes to do with pg_dump.
Loaded the same dummy data to Sin...
Azure Azure DB for PostgreSQL バルクINSERT, Single vs Flexible
Flexibleの方が同じインスタンスサイズでも速くなってるはずだけれど、バルクで入れたらどうなるんかな、と。コードは以下。1,000ファイルに分割されたトータル143GBのデータをINSERT文で投入（COPYではない）。
# c...
Azure Azure DB for PostgreSQL Single to Flexible Migration
I'd like to know how long it takes to migrate from PostgreSQL Single Server to Flexible Server.
Deploy a Linux VM wi...
Azure サクッとPostgreSQLを立ててテストして畳む
Azure CLIとjqがインストールされていることが前提だけれども、Azure Database for PostgreSQL Flexible Serverをサクッと立てて、テストして、畳む方法 from 自宅。自宅じゃなくても543...
Azure Azure AD B2CのCLIでのデプロイ
公式ドキュメントも含めて、Azure AD B2Cのデプロイ手順ってなんでスクリプト一発じゃなくてAzureポータルの例しか無いんだろ？と思ったら、Azure CLIがサポートしてないから、みたいだね。
で、探してみたらPulumi...
Azure PHPでCosmos DB（Javaでも可）
Cosmos DBのSQL(Core) APIのSDKとしては.NETやJavaはあるんだけどもPHPは無い。REST APIなんでPHPでcurlでも何でも使えば実装出来なくもないし、実際過去にそれでちょろっと書いたことがあるんだけども...
Azure Azure AD B2C + PostgRESTでJWTな話
PostgreSQLをREST APIで叩きたいでちょっと試してみたPostgRESTなんだけども、PostgreSQLをREST APIで叩けると「何が嬉しいのか」ピンときておらず（この辺、本業からだいぶ離れるので）、ドキュメントを読ん...
Azure PostgreSQLをREST APIで叩きたい
なんやらPostgreSQLにREST APIでアクセスしたいという話があったので、PostgREST + Azure Database for PostgreSQL Flexible Serverで遊んでみた。
まず、Azureポ...
Azure azcopyのRPMパッケージ
RPMパッケージにしておいた。ReleasesにRPMパッケージは置いた。
SPECファイルはこんな。
%global debug_package %{nil}
Name: azcopy
Version: 10.13.0
...
Azure azcopy V10でオンプレLinuxのデータバックアップをする
手順ややこしくて忘れちゃうのよ...
自宅鯖は冗長化してあるものの、その2台共が焼失する可能性が無いとは言えないのでデータのバックアップをAzureに置きたい。
で。以前はrsyncを使っていたもののLinux VMが必要にな...
Azure データベースのシャーディングを簡単な英語で説明する
Database sharding explained in plain Englishの日本語訳。
シャーディングはほとんどの開発者にとって理解しにくいデータベースの話題の1つですが、シャーディングを自分自身で実装しない限り、必ず...
Azure pg_prewarm on worker nodes
I'd like to load all the distributed tables on worker nodes to the memory with pg_prewarm. But the coordinator node doe...
Azure Azure Arc Enabled PostgreSQL Hyperscale (Citus)をやっていき
Azure Arcはハイブリッドクラウドを管理するためのソリューションで、Azure以外のパブリッククラウドやオンプレミス環境を一括してAzure Portalから扱うことが可能になるんだけども、このArcを使ってKubernetes上に...
Azure PostgreSQLに20TB・89億件のデータを入れてみる
そーだいさんがこんなことを呟いていた。
ふーむ。これはやってみないといけないですね。普通のPostgreSQLではちょっと無理っぽい件数なので、Azure Database for PostgreSQL Hypersca...
Azure MariaDBでSpiderクラスタを作る
半分仕事、半分興味本位でMariaDBのSpiderクラスタをAzure上に構築するスクリプトを書いたので、GitHubに晒しておいた。
半分しか仕事じゃないのはこれがPaaSのサービスでは無いからなんだけど、仕事に「含まれている」...
Azure Azure CLIをmacOSのzsh completionで使えるようにする
微妙に動かない設定しか見つからなかったのでメモっておく。
zsh-completionをインストールする。
% brew install zsh-completion
で、エラーが出る。
zsh compinit:...
Azure Optimizing storage size of Azure DB for PostgreSQL
This article describes how storage size affects the result of benchmarking, pgbench.
The storage size of Azure DB fo...
Azure Azureの各リージョンに東日本からiperfしてみた
自宅からAzureの各リージョンへのiperfでのネットワーク帯域とは別に、Azure東日本から各リージョンへの帯域も計測してみた。東日本にUbuntuを立てて、そこから「VNET peeringをしない」で、各リージョンに立てたUbun...
Azure Azureの各リージョンにiperfしてみた
自宅（千葉県市川市）から、Azureの各リージョンにiperfを実行するとどのぐらい出ているのかちょっと気になり、以下のようなスクリプトでUbuntuを立ててiperf3をインストールし5201でリッスン、macOSから10秒ずつ...
Azure Azure CognitiveのComputer Visionで名刺をOCRするPHPのサンプル
# definition for Azure
define("AZ_REGION", "japaneast");
define("VISION_SERVICE_URI", &qu...
Azure Azure上のCentOS 7.6のカーネルバージョン一覧を作る
Azure IaaSで利用できるCentOS 7.6のカーネルバージョンの一覧を作りたいけれども手作業は面倒。az vm image listの結果からリソースグループとVMを作ってsshでコマンド実行したら、リソースグループごと削除する...
Azure CentOS 7.6 on Azure
CentOS 7.6にはAzure用にチューニングされたカーネルがあるのだけれど、デフォルトではインストールされていないので以下の手順が必要。
デフォルトでインストールされているカーネルを確認。
$ uname -r
3.10...
Azure Azureに構築したrsyncサーバにparsyncfpでバックアップする
追記（2025.02.09）：手軽に高速化したいなら、parasyncを使ってみてください。
原始的な方法なんだけど、AzureにLinuxのVMを立ててそこにrsyncでバックアップするスクリプト。rsyncdの設定は普通にすれば...
Azure マイクラコンテナを変更する方法
マイクラ自動化02「湧き潰し自動化でプログラミング& Azure 入門！コンテナ、デプロイされるってよ」#くらでべ #マイクラ #Minecraftで使っているコンテナは、rioriost/minecraft-serverですが、...