Azure AGEFreighterを使った簡単なグラフデータのデモ Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi... 2024.11.14 AzurePython
Azure リリースしました AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ... 2024.11.11 AzurePython
Azure AGE用のクラスを書き直してみた 追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒... 2024.11.07 AzurePython
Azure Azure Database for PostgreSQL + Apache AGEのインデックス 追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres... 2024.10.27 AzurePython
Azure 少し書き直してみた(6.4倍ぐらい速くなった) 追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #... 2024.10.27 AzurePython
Azure Azure Database for PostgreSQLでApache AGEを試してみる 追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D... 2024.10.25 AzurePython
Azure テナント毎のシーケンスを生成する方法 Azure Cosmos DB for PostgreSQL (Citus)でCREATE SEQUENCEすると、当たり前だがクラスタ全体のシーケンスとなってしまう。また、bigserialを含むテーブルを作成し分散テーブルにしても、同... 2024.10.23 Azure
Azure Azureのリソースグループにあるリソースの一覧が欲しい azコマンドでザッと見るのはともかく、やっぱりExcelになってないと何かと不便だなぁ、ということで書いた。GitHubに放流しといた。それっぽいツールがあるのかも知れないけど、探すのが面倒。 #!/usr/bin/env pyth... 2024.10.03 Azure
Azure What’s the error, ‘cannot execute a distributed query from a query on a shard’ on Citus? Summarized issue I have a customer asking about the subject, who is using Azure Cosmos DB for PostgreSQL (Citus). ... 2024.09.25 Azure
Azure Azure Cognitiveが返す複合型の取り扱い ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、... 2024.08.08 AzurePython
Azure azcopy最終更新? 久々に見たら、azcopy-10.25.1が出てることに気付いたが、golang-1.22.4を要求するのでRHEL8だとビルドできん。で、yum module info go-toolsetしても1.22は無いので、とりまビルドできるa... 2024.07.29 AzureRed Hat
Azure Azure Database for PostgreSQL Flexible Server で azure_ai エクステンションを用いる演習 Azure Database for PostgreSQL Flexible Serverにはazure_aiエクステンションというのがあって、これはPostgreSQL単体でAzure OpenAI APIやAzure AI Trans... 2024.07.26 Azure
Azure How to enable audit log on worker nodes Azure Cosmos DB for PostgreSQL supports pgAudit extension and there's a guide on learn.microsoft.com. However, the guid... 2024.07.25 Azure
Azure PL/PGSQLでダウンサンプリングしたい 先日あるお客様との会話で、膨大なデータをグラフにするのに、pg_cronでaggregation(事前集計)をかけておけば、そのグラフをダッシュボードでインタラクティブにスケールを変更しつつ、少ないデータをfetchするだけで良いので、む... 2024.06.25 Azure
Azure azure_aiとpgvectorで、ベクトル化コードを書かずにRAGしたい 検証していないので概念図なのだけれど、たぶん出来るはず。 Azure Database for PostgreSQL Flexible Serverには、pgvectorとazure_aiエクステンションが追加されている。従って、a... 2024.02.23 Azure
Azure Chat with RTXをMacから使いたい Chat with RTXを構築したのは良いが、それはつよつよマシンなのでいちいちMac / Winを切り替えるのはだるい。 で、Chat with RTXを起動する時に「share=Trueをlaunch()に追加しろ」とあるのだ... 2024.02.23 AzureMac
Azure Chat with RTXでおれおれRAG環境を作った NVIDIAがChat with RTXをリリースしてくれたので、GitHubからcloneしてシコシコビルドせずとも、アプリをダウンロードするだけでRAG(Retrieval Augmented Generation)を利用できるように... 2024.02.23 AzureIT
Azure azcopyを更新した azcopyによるAzureへのバックアップのエラーが出ていたので、なんぞ?と思ったら、クレデンシャルの期限切れだった。ついでに、azcopyが新しくなっていたので、RPMパッケージを作り直した。SPECファイルはGitHubに。 ... 2024.02.01 AzureRed Hat
Azure Cosmos DB for PostgreSQLに格納されたデータを分析に回す話 ひと口に分析といっても色々なパターンがあると思うのだけど、格納されているデータ全体を分析したいという話ではなく、格納されているデータのうち、一定の条件を満たすものだけを対象にしたい場合にどうするのが良いか、という話。 分析を実行する... 2024.01.26 Azure
Azure LangChainを使わない分かる 「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん... 2023.12.16 AzurePython
Azure この声優さん、確かこの作品であの声優さんと共演してたよなぁ はじめに (この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです) 「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません? ... 2023.12.05 AzurePython
Azure PostgreSQL on Azure IaaS 主にPaaS(Azure Databae for PostgreSQL Flexible Server)との違いをチェックするために使うのだけど、あまりしょっちゅうやることではないので忘れる。毎回「どうして5432/tcpにアクセスできな... 2023.11.30 Azure
Azure Cosmos DB for PostgreSQLのパーティションとカラムナーストレージ 公式ドキュメントにパーティショニングとカラムナーストレージのことは書いてあるのだけれど、実データを入れてテーブルがどのように見えるかについて、分散テーブルも含めてまとめて説明したものはないように思うので、書いておく。 テーブルの種類... 2023.11.24 Azure
Azure Azure Functions (Python) + Cosmos DBまとめ はじめに Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy... 2023.07.26 AzurePython
Azure PythonのCosmos ChangeFeedのDocument Cosmos DBのChangeFeedをPythonで書こうとすると、デコレータ含めた定義はこんな感じになる。 @app.cosmos_db_trigger(arg_name="documents", ... 2023.07.24 AzurePython