Azure

Azure

AGEFreighter 0.6.0リリース

エッジのプロパティをサポートしてなかったので、追加。あと、AGEFreighterそのものではないのだけれど、AgeFreighterTesterクラスをかなり書き換えた。テスト項目が増えてきたので。
Azure

AGEFreighter 0.5.3リリース

ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通...
Azure

AGEFreighter 0.5.2リリース

これ、なかなか大変でした。一番書きたかったやつです。ツイートしたりあちこちで書いたりしているんだけど、このAzureStorageFreighterというクラスが本命でして、なんでこんなものを書かないとならないかという話を少しだけ...
Azure

キャストがめんどい

Apache AGEでグラフを作成すると、ag_catalogスキーマに、graph_name._ag_label_vertex / graph_name._ag_label_edgeと、それらをInheritしたリレーションができる。で...
Azure

AGEFreighter 0.5.0リリース

0.5.0をリリースして、すぐ0.5.1にしましたけどw いや、あまりにも0.5.0のサンプルが分かりにくいなと思って、READMEだけ更新したけど、pypiって同じバージョンでREADMEだけ変えられないっぽいから仕方なく...
Azure

AGEFreighterを使った簡単なグラフデータのデモ

Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi...
Azure

リリースしました

AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ...
Azure

AGE用のクラスを書き直してみた

追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Azure

Azure Database for PostgreSQL + Apache AGEのインデックス

追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres...
Azure

少し書き直してみた(6.4倍ぐらい速くなった)

追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #...
Azure

Azure Database for PostgreSQLでApache AGEを試してみる

追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D...
Azure

テナント毎のシーケンスを生成する方法

Azure Cosmos DB for PostgreSQL (Citus)でCREATE SEQUENCEすると、当たり前だがクラスタ全体のシーケンスとなってしまう。また、bigserialを含むテーブルを作成し分散テーブルにしても、同...
Azure

Azureのリソースグループにあるリソースの一覧が欲しい

azコマンドでザッと見るのはともかく、やっぱりExcelになってないと何かと不便だなぁ、ということで書いた。GitHubに放流しといた。それっぽいツールがあるのかも知れないけど、探すのが面倒。 #!/usr/bin/env pyth...
Azure

What’s the error, ‘cannot execute a distributed query from a query on a shard’ on Citus?

Summarized issue I have a customer asking about the subject, who is using Azure Cosmos DB for PostgreSQL (Citus). ...
Azure

Azure Cognitiveが返す複合型の取り扱い

ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、...
Azure

azcopy最終更新?

久々に見たら、azcopy-10.25.1が出てることに気付いたが、golang-1.22.4を要求するのでRHEL8だとビルドできん。で、yum module info go-toolsetしても1.22は無いので、とりまビルドできるa...
Azure

Azure Database for PostgreSQL Flexible Server で azure_ai エクステンションを用いる演習

Azure Database for PostgreSQL Flexible Serverにはazure_aiエクステンションというのがあって、これはPostgreSQL単体でAzure OpenAI APIやAzure AI Trans...
Azure

How to enable audit log on worker nodes

Azure Cosmos DB for PostgreSQL supports pgAudit extension and there's a guide on learn.microsoft.com. However, the guid...
Azure

PL/PGSQLでダウンサンプリングしたい

先日あるお客様との会話で、膨大なデータをグラフにするのに、pg_cronでaggregation(事前集計)をかけておけば、そのグラフをダッシュボードでインタラクティブにスケールを変更しつつ、少ないデータをfetchするだけで良いので、む...
Azure

azure_aiとpgvectorで、ベクトル化コードを書かずにRAGしたい

検証していないので概念図なのだけれど、たぶん出来るはず。 Azure Database for PostgreSQL Flexible Serverには、pgvectorとazure_aiエクステンションが追加されている。従って、a...
Azure

Chat with RTXをMacから使いたい

Chat with RTXを構築したのは良いが、それはつよつよマシンなのでいちいちMac / Winを切り替えるのはだるい。 で、Chat with RTXを起動する時に「share=Trueをlaunch()に追加しろ」とあるのだ...
Azure

Chat with RTXでおれおれRAG環境を作った

NVIDIAがChat with RTXをリリースしてくれたので、GitHubからcloneしてシコシコビルドせずとも、アプリをダウンロードするだけでRAG(Retrieval Augmented Generation)を利用できるように...
Azure

azcopyを更新した

azcopyによるAzureへのバックアップのエラーが出ていたので、なんぞ?と思ったら、クレデンシャルの期限切れだった。ついでに、azcopyが新しくなっていたので、RPMパッケージを作り直した。SPECファイルはGitHubに。 ...
Azure

Cosmos DB for PostgreSQLに格納されたデータを分析に回す話

ひと口に分析といっても色々なパターンがあると思うのだけど、格納されているデータ全体を分析したいという話ではなく、格納されているデータのうち、一定の条件を満たすものだけを対象にしたい場合にどうするのが良いか、という話。 分析を実行する...
Azure

LangChainを使わない分かる

「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん...
タイトルとURLをコピーしました