Azure AGEFreighter 0.6.0リリース エッジのプロパティをサポートしてなかったので、追加。あと、AGEFreighterそのものではないのだけれど、AgeFreighterTesterクラスをかなり書き換えた。テスト項目が増えてきたので。 2024.12.20 AzurePython
Azure AGEFreighter 0.5.3リリース ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通... 2024.12.17 AzurePython
Azure AGEFreighter 0.5.2リリース これ、なかなか大変でした。一番書きたかったやつです。ツイートしたりあちこちで書いたりしているんだけど、このAzureStorageFreighterというクラスが本命でして、なんでこんなものを書かないとならないかという話を少しだけ... 2024.12.13 AzurePython
Azure キャストがめんどい Apache AGEでグラフを作成すると、ag_catalogスキーマに、graph_name._ag_label_vertex / graph_name._ag_label_edgeと、それらをInheritしたリレーションができる。で... 2024.12.13 Azure
Azure AGEFreighter 0.5.0リリース 0.5.0をリリースして、すぐ0.5.1にしましたけどw いや、あまりにも0.5.0のサンプルが分かりにくいなと思って、READMEだけ更新したけど、pypiって同じバージョンでREADMEだけ変えられないっぽいから仕方なく... 2024.12.11 AzurePython
Azure AGEFreighterを使った簡単なグラフデータのデモ Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi... 2024.11.14 AzurePython
Azure リリースしました AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ... 2024.11.11 AzurePython
Azure AGE用のクラスを書き直してみた 追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒... 2024.11.07 AzurePython
Azure Azure Database for PostgreSQL + Apache AGEのインデックス 追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres... 2024.10.27 AzurePython
Azure 少し書き直してみた(6.4倍ぐらい速くなった) 追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #... 2024.10.27 AzurePython
Azure Azure Database for PostgreSQLでApache AGEを試してみる 追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D... 2024.10.25 AzurePython
Azure テナント毎のシーケンスを生成する方法 Azure Cosmos DB for PostgreSQL (Citus)でCREATE SEQUENCEすると、当たり前だがクラスタ全体のシーケンスとなってしまう。また、bigserialを含むテーブルを作成し分散テーブルにしても、同... 2024.10.23 Azure
Azure Azureのリソースグループにあるリソースの一覧が欲しい azコマンドでザッと見るのはともかく、やっぱりExcelになってないと何かと不便だなぁ、ということで書いた。GitHubに放流しといた。それっぽいツールがあるのかも知れないけど、探すのが面倒。 #!/usr/bin/env pyth... 2024.10.03 Azure
Azure What’s the error, ‘cannot execute a distributed query from a query on a shard’ on Citus? Summarized issue I have a customer asking about the subject, who is using Azure Cosmos DB for PostgreSQL (Citus). ... 2024.09.25 Azure
Azure Azure Cognitiveが返す複合型の取り扱い ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、... 2024.08.08 AzurePython
Azure azcopy最終更新? 久々に見たら、azcopy-10.25.1が出てることに気付いたが、golang-1.22.4を要求するのでRHEL8だとビルドできん。で、yum module info go-toolsetしても1.22は無いので、とりまビルドできるa... 2024.07.29 AzureRed Hat
Azure Azure Database for PostgreSQL Flexible Server で azure_ai エクステンションを用いる演習 Azure Database for PostgreSQL Flexible Serverにはazure_aiエクステンションというのがあって、これはPostgreSQL単体でAzure OpenAI APIやAzure AI Trans... 2024.07.26 Azure
Azure How to enable audit log on worker nodes Azure Cosmos DB for PostgreSQL supports pgAudit extension and there's a guide on learn.microsoft.com. However, the guid... 2024.07.25 Azure
Azure PL/PGSQLでダウンサンプリングしたい 先日あるお客様との会話で、膨大なデータをグラフにするのに、pg_cronでaggregation(事前集計)をかけておけば、そのグラフをダッシュボードでインタラクティブにスケールを変更しつつ、少ないデータをfetchするだけで良いので、む... 2024.06.25 Azure
Azure azure_aiとpgvectorで、ベクトル化コードを書かずにRAGしたい 検証していないので概念図なのだけれど、たぶん出来るはず。 Azure Database for PostgreSQL Flexible Serverには、pgvectorとazure_aiエクステンションが追加されている。従って、a... 2024.02.23 Azure
Azure Chat with RTXをMacから使いたい Chat with RTXを構築したのは良いが、それはつよつよマシンなのでいちいちMac / Winを切り替えるのはだるい。 で、Chat with RTXを起動する時に「share=Trueをlaunch()に追加しろ」とあるのだ... 2024.02.23 AzureMac
Azure Chat with RTXでおれおれRAG環境を作った NVIDIAがChat with RTXをリリースしてくれたので、GitHubからcloneしてシコシコビルドせずとも、アプリをダウンロードするだけでRAG(Retrieval Augmented Generation)を利用できるように... 2024.02.23 AzureIT
Azure azcopyを更新した azcopyによるAzureへのバックアップのエラーが出ていたので、なんぞ?と思ったら、クレデンシャルの期限切れだった。ついでに、azcopyが新しくなっていたので、RPMパッケージを作り直した。SPECファイルはGitHubに。 ... 2024.02.01 AzureRed Hat
Azure Cosmos DB for PostgreSQLに格納されたデータを分析に回す話 ひと口に分析といっても色々なパターンがあると思うのだけど、格納されているデータ全体を分析したいという話ではなく、格納されているデータのうち、一定の条件を満たすものだけを対象にしたい場合にどうするのが良いか、という話。 分析を実行する... 2024.01.26 Azure
Azure LangChainを使わない分かる 「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん... 2023.12.16 AzurePython