Azure

Azure

AGEFreighterを使った簡単なグラフデータのデモ

Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi...
Azure

リリースしました

AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ...
Azure

AGE用のクラスを書き直してみた

追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Azure

Azure Database for PostgreSQL + Apache AGEのインデックス

追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres...
Azure

少し書き直してみた(6.4倍ぐらい速くなった)

追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #...
Azure

Azure Database for PostgreSQLでApache AGEを試してみる

追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D...
Azure

テナント毎のシーケンスを生成する方法

Azure Cosmos DB for PostgreSQL (Citus)でCREATE SEQUENCEすると、当たり前だがクラスタ全体のシーケンスとなってしまう。また、bigserialを含むテーブルを作成し分散テーブルにしても、同...
Azure

Azureのリソースグループにあるリソースの一覧が欲しい

azコマンドでザッと見るのはともかく、やっぱりExcelになってないと何かと不便だなぁ、ということで書いた。GitHubに放流しといた。それっぽいツールがあるのかも知れないけど、探すのが面倒。 #!/usr/bin/env pyth...
Azure

What’s the error, ‘cannot execute a distributed query from a query on a shard’ on Citus?

Summarized issue I have a customer asking about the subject, who is using Azure Cosmos DB for PostgreSQL (Citus). ...
Azure

Azure Cognitiveが返す複合型の取り扱い

ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、...
Azure

azcopy最終更新?

久々に見たら、azcopy-10.25.1が出てることに気付いたが、golang-1.22.4を要求するのでRHEL8だとビルドできん。で、yum module info go-toolsetしても1.22は無いので、とりまビルドできるa...
Azure

Azure Database for PostgreSQL Flexible Server で azure_ai エクステンションを用いる演習

Azure Database for PostgreSQL Flexible Serverにはazure_aiエクステンションというのがあって、これはPostgreSQL単体でAzure OpenAI APIやAzure AI Trans...
Azure

How to enable audit log on worker nodes

Azure Cosmos DB for PostgreSQL supports pgAudit extension and there's a guide on learn.microsoft.com. However, the guid...
Azure

PL/PGSQLでダウンサンプリングしたい

先日あるお客様との会話で、膨大なデータをグラフにするのに、pg_cronでaggregation(事前集計)をかけておけば、そのグラフをダッシュボードでインタラクティブにスケールを変更しつつ、少ないデータをfetchするだけで良いので、む...
Azure

azure_aiとpgvectorで、ベクトル化コードを書かずにRAGしたい

検証していないので概念図なのだけれど、たぶん出来るはず。 Azure Database for PostgreSQL Flexible Serverには、pgvectorとazure_aiエクステンションが追加されている。従って、a...
Azure

Chat with RTXをMacから使いたい

Chat with RTXを構築したのは良いが、それはつよつよマシンなのでいちいちMac / Winを切り替えるのはだるい。 で、Chat with RTXを起動する時に「share=Trueをlaunch()に追加しろ」とあるのだ...
Azure

Chat with RTXでおれおれRAG環境を作った

NVIDIAがChat with RTXをリリースしてくれたので、GitHubからcloneしてシコシコビルドせずとも、アプリをダウンロードするだけでRAG(Retrieval Augmented Generation)を利用できるように...
Azure

azcopyを更新した

azcopyによるAzureへのバックアップのエラーが出ていたので、なんぞ?と思ったら、クレデンシャルの期限切れだった。ついでに、azcopyが新しくなっていたので、RPMパッケージを作り直した。SPECファイルはGitHubに。 ...
Azure

Cosmos DB for PostgreSQLに格納されたデータを分析に回す話

ひと口に分析といっても色々なパターンがあると思うのだけど、格納されているデータ全体を分析したいという話ではなく、格納されているデータのうち、一定の条件を満たすものだけを対象にしたい場合にどうするのが良いか、という話。 分析を実行する...
Azure

LangChainを使わない分かる

「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん...
Azure

この声優さん、確かこの作品であの声優さんと共演してたよなぁ

はじめに (この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです) 「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません? ...
Azure

PostgreSQL on Azure IaaS

主にPaaS(Azure Databae for PostgreSQL Flexible Server)との違いをチェックするために使うのだけど、あまりしょっちゅうやることではないので忘れる。毎回「どうして5432/tcpにアクセスできな...
Azure

Cosmos DB for PostgreSQLのパーティションとカラムナーストレージ

公式ドキュメントにパーティショニングとカラムナーストレージのことは書いてあるのだけれど、実データを入れてテーブルがどのように見えるかについて、分散テーブルも含めてまとめて説明したものはないように思うので、書いておく。 テーブルの種類...
Azure

Azure Functions (Python) + Cosmos DBまとめ

はじめに Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy...
Azure

PythonのCosmos ChangeFeedのDocument

Cosmos DBのChangeFeedをPythonで書こうとすると、デコレータ含めた定義はこんな感じになる。 @app.cosmos_db_trigger(arg_name="documents", ...
タイトルとURLをコピーしました