Azure

Azure

azcopyを更新した

azcopyによるAzureへのバックアップのエラーが出ていたので、なんぞ?と思ったら、クレデンシャルの期限切れだった。ついでに、azcopyが新しくなっていたので、RPMパッケージを作り直した。SPECファイルはGitHubに。 ...
Azure

Cosmos DB for PostgreSQLに格納されたデータを分析に回す話

ひと口に分析といっても色々なパターンがあると思うのだけど、格納されているデータ全体を分析したいという話ではなく、格納されているデータのうち、一定の条件を満たすものだけを対象にしたい場合にどうするのが良いか、という話。 分析を実行する...
Azure

LangChainを使わない分かる

「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん...
Azure

この声優さん、確かこの作品であの声優さんと共演してたよなぁ

はじめに (この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです) 「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません? ...
Azure

PostgreSQL on Azure IaaS

主にPaaS(Azure Databae for PostgreSQL Flexible Server)との違いをチェックするために使うのだけど、あまりしょっちゅうやることではないので忘れる。毎回「どうして5432/tcpにアクセスできな...
Azure

Cosmos DB for PostgreSQLのパーティションとカラムナーストレージ

公式ドキュメントにパーティショニングとカラムナーストレージのことは書いてあるのだけれど、実データを入れてテーブルがどのように見えるかについて、分散テーブルも含めてまとめて説明したものはないように思うので、書いておく。 テーブルの種類...
Azure

Azure Functions (Python) + Cosmos DBまとめ

はじめに Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy...
Azure

PythonのCosmos ChangeFeedのDocument

Cosmos DBのChangeFeedをPythonで書こうとすると、デコレータ含めた定義はこんな感じになる。 @app.cosmos_db_trigger(arg_name="documents", ...
Azure

Azure Cosmos DBのPython SDKでのロギングレベル

デフォルトのままAzure Cosmos DBにPythonで接続してあれこれやってると、INFOレベルのログが出力されて肝心のデバッグ用のprint()とかが見えなかったり、ERRORが一瞬で流れて行っちゃって見えないw from...
Azure

Cosmos DB ChangeFeedのPythonのトリガー

を書いてたら、どうにも動かない。 ドキュメントには @app.cosmos_db_trigger(arg_name="documents", database...
Azure

Apple Silicon上のVSCodeでPythonのAzure Functionsを動かしたい

なんかねぇ、Functionsのランタイム(func)がArm64に対応してないんですよ。プロジェクト作って動かそうとしたら、Arm64は知らん、とか言われて。はー、めんど。 で、ちょっと探したらワークアラウンドを見つけた。要は、無...
Azure

Azure Cosmos DB ChangeFeed + Functions

これは知っている、理解している人には別に大した話ではないのだけれど、ひょっとしてということがあるので。 例えば、Pythonで とあるデータをhttp/httpsで取得してそのデータをJSONに加工して保存してもしJSONの中...
Azure

Stable Diffusion (AUTOMATIC1111) をsystemdで

systemdでAUTOMATIC1111を起動したい。複数のユーザーが同時に起動することは考えにくいので、"@"付きUnitファイルではなく、~/.config/systemd/user/に"sdwui.service"なるファイルを以...
Azure

Azure上のStable Diffusion (AUTOMATIC1111)をhttps対応する

gradio経由が安定しない webui-user.shに"share"を追加するとgradio経由でアクセス出来るんだけども、とっても安定しない。まあ、作者もドキュメントに use share=True for gradio...
Azure

スクリプト一発でStable Diffusion WebUIを立てる

#2023.03.13: CivitAIがファイル公開方式を変更したようで、下記スクリプトだとファイルを取得不可能。 手作業でやるのが面倒なので、スクリプトにした。別に難しいことはしてない。 #!/bin/bash # In...
Azure

Stable Diffusionで4K壁紙を出力したい(3840 x 2160ピクセル)

Azure HPC VMのStandard_NC24ads_A100_v4、GPUメモリ80GBだと、2048 x 1024 + Hires. fixで4096 x 2048の画像は出力出来なかった。よく見るとメモリのフラグメンテーション...
Azure

Azure HPC VMでStable Diffusionすると速いのか?(結論:すげえ速かった)

手元にあるSDできる環境はMac Studioのみなのだけど、GPUとして見た時にはMac Studioの性能はRTX3090の半分以下のようなので、もうちょっと速い環境が欲しいっちゃ欲しい。メモリ24GBを搭載しているRTX4090は確...
Azure

データベース正規化の呪い(ノロい)

正規化は正義 正規化が絶対的な正義だった時代がある。ストレージのコストが高く、同じデータを複数のテーブルで保持するなんてもってのほか。更新するにも同時に複数のテーブルを更新しないとならない。だから、第一正規形から第三正規形までをがっ...
Azure

Cloud Gamingで久々にゲームにハマった

NieR Automata以来か? 年いちぐらいで何かしらのゲームにハマるんだけど、前回は世の中からだいぶ遅れてのNieR Automataだった。違うんですよ、2Bちゃんのお尻にハマったのもあるんだけど、世界観とストーリーがどスト...
Azure

PostgreSQLの移行ツール・pgcopydbを試してみた

DMSの制限にヒットする Azure Database for PostgreSQL Single ServerからFlexible Serverへの移行に際して、Azure Database Migration Serviceを使...
Azure

竈門禰豆子 on Azure Database for PostgreSQL / MySQL Flexible Server

「竈門禰豆子」の「禰」が異体字セレクタによって7バイトあり、MySQLに適切な設定をしないと格納出来ない、というのがちょっと話題になったので試してみた。 Azure Database for PostgreSQL まず、Azu...
Azure

オンプレ・IaaSからAzure DB for PostgreSQL Flexible Serverに

オンプレやIaaSで動いてるPostgreSQLを、Azure Database for PostgreSQL Flexible Serverに移行する時に、同程度のサイズ(vCPU数、メモリ、ストレージ)なら、postgresql.co...
Azure

Azure StorageにアップロードされたCSVをAzure PostgreSQLに入れる

この記事は Azure Advent Calendar 2021 22 日目のエントリです。 何をするかというと タイトルの通りなんだけども、AzureのStorage AccountのContainerにCSVファイルがアッ...
Azure

シングルノードのCitusをDockerでシャーディングしてみる

この記事は PostgreSQL Advent Calendar 2021 7 日目のエントリです。 Citusって何? CitusはPostgreSQLをシャーディングしてスケールアウト出来るようにするPostgreSQLの...
Azure

RHEL8とFlexible Server PostgreSQLでLogical Replicationする

自宅のRHEL8上のPostgreSQLから、Azure Database for PostgreSQL Flexible ServerにLogical Replicationを設定してみる。自宅鯖がPublisher、AzureがSub...
Azure

PostgreSQLから並列COPYするスクリプト

先にPythonで書き殴ったやつをブログに書いたけれど、もうちょっと使いやすいようにならんかと、コマンドっぽく書き直したので、githubに置いた。 要はpsql -c '\COPY'を並列に実行するだけなんだけど、毎回のようにシェ...
Azure

Azure DB for PostgreSQL Single Server with pg_dump or a Python script

I did it with DMS, but I'd also like to know how long it takes to do with pg_dump. Loaded the same dummy data to Sin...
Azure

Azure DB for PostgreSQL バルクINSERT, Single vs Flexible

Flexibleの方が同じインスタンスサイズでも速くなってるはずだけれど、バルクで入れたらどうなるんかな、と。コードは以下。1,000ファイルに分割されたトータル143GBのデータをINSERT文で投入(COPYではない)。 # c...
Azure

Azure DB for PostgreSQL Single to Flexible Migration

I'd like to know how long it takes to migrate from PostgreSQL Single Server to Flexible Server. Deploy a Linux VM wi...
Azure

サクッとPostgreSQLを立ててテストして畳む

Azure CLIとjqがインストールされていることが前提だけれども、Azure Database for PostgreSQL Flexible Serverをサクッと立てて、テストして、畳む方法 from 自宅。自宅じゃなくても543...
Azure

Azure AD B2CのCLIでのデプロイ

公式ドキュメントも含めて、Azure AD B2Cのデプロイ手順ってなんでスクリプト一発じゃなくてAzureポータルの例しか無いんだろ?と思ったら、Azure CLIがサポートしてないから、みたいだね。 で、探してみたらPulumi...
Azure

PHPでCosmos DB(Javaでも可)

Cosmos DBのSQL(Core) APIのSDKとしては.NETやJavaはあるんだけどもPHPは無い。REST APIなんでPHPでcurlでも何でも使えば実装出来なくもないし、実際過去にそれでちょろっと書いたことがあるんだけども...
Azure

Azure AD B2C + PostgRESTでJWTな話

PostgreSQLをREST APIで叩きたいでちょっと試してみたPostgRESTなんだけども、PostgreSQLをREST APIで叩けると「何が嬉しいのか」ピンときておらず(この辺、本業からだいぶ離れるので)、ドキュメントを読ん...
Azure

PostgreSQLをREST APIで叩きたい

なんやらPostgreSQLにREST APIでアクセスしたいという話があったので、PostgREST + Azure Database for PostgreSQL Flexible Serverで遊んでみた。 まず、Azureポ...
Azure

azcopyのRPMパッケージ

RPMパッケージにしておいた。ReleasesにRPMパッケージは置いた。 SPECファイルはこんな。 %global debug_package %{nil} Name: azcopy Version: 10.13.0 ...
Azure

azcopy V10でオンプレLinuxのデータバックアップをする

手順ややこしくて忘れちゃうのよ... 自宅鯖は冗長化してあるものの、その2台共が焼失する可能性が無いとは言えないのでデータのバックアップをAzureに置きたい。 で。以前はrsyncを使っていたもののLinux VMが必要にな...
Azure

データベースのシャーディングを簡単な英語で説明する

Database sharding explained in plain Englishの日本語訳。 シャーディングはほとんどの開発者にとって理解しにくいデータベースの話題の1つですが、シャーディングを自分自身で実装しない限り、必ず...
Azure

pg_prewarm on worker nodes

I'd like to load all the distributed tables on worker nodes to the memory with pg_prewarm. But the coordinator node doe...
Azure

Azure Arc Enabled PostgreSQL Hyperscale (Citus)をやっていき

Azure Arcはハイブリッドクラウドを管理するためのソリューションで、Azure以外のパブリッククラウドやオンプレミス環境を一括してAzure Portalから扱うことが可能になるんだけども、このArcを使ってKubernetes上に...
Azure

PostgreSQLに20TB・89億件のデータを入れてみる

そーだいさんがこんなことを呟いていた。 ふーむ。これはやってみないといけないですね。普通のPostgreSQLではちょっと無理っぽい件数なので、Azure Database for PostgreSQL Hypersca...
Azure

MariaDBでSpiderクラスタを作る

半分仕事、半分興味本位でMariaDBのSpiderクラスタをAzure上に構築するスクリプトを書いたので、GitHubに晒しておいた。 半分しか仕事じゃないのはこれがPaaSのサービスでは無いからなんだけど、仕事に「含まれている」...
Azure

Azure CLIをmacOSのzsh completionで使えるようにする

微妙に動かない設定しか見つからなかったのでメモっておく。 zsh-completionをインストールする。 % brew install zsh-completion で、エラーが出る。 zsh compinit:...
Azure

Optimizing storage size of Azure DB for PostgreSQL

This article describes how storage size affects the result of benchmarking, pgbench. The storage size of Azure DB fo...
Azure

Azureの各リージョンに東日本からiperfしてみた

自宅からAzureの各リージョンへのiperfでのネットワーク帯域とは別に、Azure東日本から各リージョンへの帯域も計測してみた。東日本にUbuntuを立てて、そこから「VNET peeringをしない」で、各リージョンに立てたUbun...
Azure

Azureの各リージョンにiperfしてみた

自宅(千葉県市川市)から、Azureの各リージョンにiperfを実行するとどのぐらい出ているのかちょっと気になり、以下のようなスクリプトでUbuntuを立ててiperf3をインストールし5201でリッスン、macOSから10秒ずつ...
Azure

Azure CognitiveのComputer Visionで名刺をOCRするPHPのサンプル

# definition for Azure define("AZ_REGION", "japaneast"); define("VISION_SERVICE_URI", &qu...
Azure

Azure上のCentOS 7.6のカーネルバージョン一覧を作る

Azure IaaSで利用できるCentOS 7.6のカーネルバージョンの一覧を作りたいけれども手作業は面倒。az vm image listの結果からリソースグループとVMを作ってsshでコマンド実行したら、リソースグループごと削除する...
Azure

CentOS 7.6 on Azure

CentOS 7.6にはAzure用にチューニングされたカーネルがあるのだけれど、デフォルトではインストールされていないので以下の手順が必要。 デフォルトでインストールされているカーネルを確認。 $ uname -r 3.10...
Azure

Azureに構築したrsyncサーバにparsyncfpでバックアップする

追記(2025.02.09):手軽に高速化したいなら、parasyncを使ってみてください。 原始的な方法なんだけど、AzureにLinuxのVMを立ててそこにrsyncでバックアップするスクリプト。rsyncdの設定は普通にすれば...
Azure

マイクラコンテナを変更する方法

マイクラ自動化02「湧き潰し自動化でプログラミング& Azure 入門!コンテナ、デプロイされるってよ」#くらでべ #マイクラ #Minecraftで使っているコンテナは、rioriost/minecraft-serverですが、...
タイトルとURLをコピーしました