Azure AGEFreighterを使った簡単なグラフデータのデモ Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi... 2024.11.14 AzurePython
Azure リリースしました AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ... 2024.11.11 AzurePython
Python psycopgのCOPYサポート Using COPY TO and COPY FROMを読むとCOPYが使えるとあるが、write_row()とwrite()は(当たり前と言えば当たり前だが)挙動が異なる。 records = with cursor.copy... 2024.11.11 Python
Python Apache AGEのidはどうやって決まるのか COPYしたい 先日来、Apache AGEにどうにかしてデカいデータを流し込もうとしている途中で色々試しているのだけれど、やはりCypher / SQLではなく、COPYプロトコルでぶっ込むしかないかぁ、となり。 さて、Ve... 2024.11.08 Python
Python venv activateがダルい bashの人は読み替えて。 echo "alias activate='source \$PWD/.venv/bin/activate'" >> ~/.zprofile と思... 2024.11.08 Python
Python Fakerでデカいデータを作りたい 顧客1億人商品1万件顧客がそれぞれ数個の商品を購入 というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると... 2024.11.07 Python
Azure AGE用のクラスを書き直してみた 追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒... 2024.11.07 AzurePython
Python Rのduncan.test()をPythonで実行する どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。 #!/usr/bin/env python3.11 # -*... 2024.10.31 Python
Python AGE用のクラスを作った 追記(2024.11.07):最新 昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。 # builtin modules impor... 2024.10.29 Python
Azure Azure Database for PostgreSQL + Apache AGEのインデックス 追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres... 2024.10.27 AzurePython
Azure 少し書き直してみた(6.4倍ぐらい速くなった) 追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #... 2024.10.27 AzurePython
Azure Azure Database for PostgreSQLでApache AGEを試してみる 追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D... 2024.10.25 AzurePython
Python 広告ブロックをbindで(続き) 広告のドメインの正引きを失敗させることで表示できないようにしているのだけれど、PHPで書いてたのでPythonに書き直した。これをbindでincludeして、nullゾーンに叩き落とす。 #!/usr/bin/env python... 2024.09.19 Python
Python 単位付き数値を扱うPythonモジュールを調べてみた そういう趣旨の話がTwitter(現・X)に流れていたので、ちょっと気になって調べてみた。 というのも、数値+単位という構造を持つクラスを作るというのはすぐ思い付くが、演算を実行するたびにクラスのメソッドを呼ぶのはスマートではないな... 2024.08.24 Python
Azure Azure Cognitiveが返す複合型の取り扱い ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、... 2024.08.08 AzurePython
IT Apache AGEでGraphRAGを実装する(その1) GraphRAGの一歩手前、Knowledge Graphを作るところまで、この辺を参考にやってみた。生成されたhtmlをアップしておいた。Apache AGEで実装できるかを試すのが目的なので、GraphRAGの説明は無し。適宜... 2024.08.06 ITPython
IT 日経平均大暴落の状況をダウンサンプリングしてみる しばらく前に、LTTBをPL/PGSQLで実装したので、それを使って今日の日経平均の大暴落がどのようなグラフになるのか、やってみた。 元データはInvesting.comからお借りした、2014年8月1日から2024年8月5日までの... 2024.08.05 ITPython
Python pytapoでのTapoカメラへのアクセス RTSP/ONVIFに対応している機種であれば、ストリーミングについては問題が無いのだけれど、C410ではストリーミングが出来ない。では、pytapoを使ってAPIを叩いて画像として定期的に取得する方法はどうかとちょっとコードを書いてみた... 2024.07.30 Python
Python ながーい文章を書く悪癖があるのでチェックする C104の原稿をoverleafで書きながら、どうも読点の間隔が広すぎるなぁと思い、句読点で分割してセンテンスの長さをチェックするPythonをちょろっと書いた。TeXの書式を全て知ってるわけではないので、適当にパースしてるが、まあ使える... 2024.07.19 Python
IT openpyxlだけだと無理なので openpyxlで出力したExcelのファイルにテーブルを設定するとフィルターが利用出来るが、このフィルターはセルへの値の入力時にフィルタの項目をまとめるので、日付をセルに設定してもファイルを開いただけだとテキストとして認識されている。 ... 2024.07.11 ITPython
Python Python覚え書き 久しぶりに結構がっつり書いたら色々と新しい知見があり、コードを見れば分かると言えば分かるわけだが、まあ次に書く時には忘れちゃうので、まとめておく。これが最良・最新という訳では決してないと思うのだけれど、とりあえず目的を果たすものはできた、... 2024.07.10 Python
Azure LangChainを使わない分かる 「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん... 2023.12.16 AzurePython
Azure この声優さん、確かこの作品であの声優さんと共演してたよなぁ はじめに (この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです) 「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません? ... 2023.12.05 AzurePython
Azure Azure Functions (Python) + Cosmos DBまとめ はじめに Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy... 2023.07.26 AzurePython