Python PythonとRustで比較 だいぶ前だけど、MojoでPythonが高速化できるという話があって、はーなるほどねぇ、ぐらいだったんだけど、ほとんどそのままな感じでRustにしたらどうなるんだっけ?というのをやってなかったのを急に思い出した。 #!/usr/bi... 2024.12.22 Python
Azure AGEFreighter 0.6.0リリース エッジのプロパティをサポートしてなかったので、追加。あと、AGEFreighterそのものではないのだけれど、AgeFreighterTesterクラスをかなり書き換えた。テスト項目が増えてきたので。 2024.12.20 AzurePython
Azure AGEFreighter 0.5.3リリース ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通... 2024.12.17 AzurePython
Azure AGEFreighter 0.5.2リリース これ、なかなか大変でした。一番書きたかったやつです。ツイートしたりあちこちで書いたりしているんだけど、このAzureStorageFreighterというクラスが本命でして、なんでこんなものを書かないとならないかという話を少しだけ... 2024.12.13 AzurePython
Azure AGEFreighter 0.5.0リリース 0.5.0をリリースして、すぐ0.5.1にしましたけどw いや、あまりにも0.5.0のサンプルが分かりにくいなと思って、READMEだけ更新したけど、pypiって同じバージョンでREADMEだけ変えられないっぽいから仕方なく... 2024.12.11 AzurePython
Python Apache AGEのグラフを一括で消したい AGEでcreate_graph()したグラフは、ag_catalogスキーマのag_graphテーブルに格納されており、以下のように格納されている。 \d ag_graph Table "... 2024.12.10 Python
Python uvでPythonパッケージを公開する AGEFreighterを公開するにあたってTest PyPIから本番に移行し、それに伴っていくつかファイルをちゃんと作る必要もあったので、備忘録を兼ねてまとめておく。 環境整備 まずuvで以下の準備をする。 uv in... 2024.12.03 Python
Azure AGEFreighterを使った簡単なグラフデータのデモ Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi... 2024.11.14 AzurePython
Azure リリースしました AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ... 2024.11.11 AzurePython
Python psycopgのCOPYサポート Using COPY TO and COPY FROMを読むとCOPYが使えるとあるが、write_row()とwrite()は(当たり前と言えば当たり前だが)挙動が異なる。 records = with cursor.copy... 2024.11.11 Python
Python Apache AGEのidはどうやって決まるのか COPYしたい 先日来、Apache AGEにどうにかしてデカいデータを流し込もうとしている途中で色々試しているのだけれど、やはりCypher / SQLではなく、COPYプロトコルでぶっ込むしかないかぁ、となり。 さて、Ve... 2024.11.08 Python
Python venv activateがダルい bashの人は読み替えて。 echo "alias activate='source \$PWD/.venv/bin/activate'" >> ~/.zprofile と思... 2024.11.08 Python
Python Fakerでデカいデータを作りたい 顧客1億人商品1万件顧客がそれぞれ数個の商品を購入 というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると... 2024.11.07 Python
Azure AGE用のクラスを書き直してみた 追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒... 2024.11.07 AzurePython
Python Rのduncan.test()をPythonで実行する どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。 #!/usr/bin/env python3.11 # -*... 2024.10.31 Python
Python AGE用のクラスを作った 追記(2024.11.07):最新 昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。 # builtin modules impor... 2024.10.29 Python
Azure Azure Database for PostgreSQL + Apache AGEのインデックス 追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres... 2024.10.27 AzurePython
Azure 少し書き直してみた(6.4倍ぐらい速くなった) 追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #... 2024.10.27 AzurePython
Azure Azure Database for PostgreSQLでApache AGEを試してみる 追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D... 2024.10.25 AzurePython
Python 広告ブロックをbindで(続き) 広告のドメインの正引きを失敗させることで表示できないようにしているのだけれど、PHPで書いてたのでPythonに書き直した。これをbindでincludeして、nullゾーンに叩き落とす。 #!/usr/bin/env python... 2024.09.19 Python
Python 単位付き数値を扱うPythonモジュールを調べてみた そういう趣旨の話がTwitter(現・X)に流れていたので、ちょっと気になって調べてみた。 というのも、数値+単位という構造を持つクラスを作るというのはすぐ思い付くが、演算を実行するたびにクラスのメソッドを呼ぶのはスマートではないな... 2024.08.24 Python
Azure Azure Cognitiveが返す複合型の取り扱い ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、... 2024.08.08 AzurePython
IT Apache AGEでGraphRAGを実装する(その1) GraphRAGの一歩手前、Knowledge Graphを作るところまで、この辺を参考にやってみた。生成されたhtmlをアップしておいた。Apache AGEで実装できるかを試すのが目的なので、GraphRAGの説明は無し。適宜... 2024.08.06 ITPython
IT 日経平均大暴落の状況をダウンサンプリングしてみる しばらく前に、LTTBをPL/PGSQLで実装したので、それを使って今日の日経平均の大暴落がどのようなグラフになるのか、やってみた。 元データはInvesting.comからお借りした、2014年8月1日から2024年8月5日までの... 2024.08.05 ITPython
Python pytapoでのTapoカメラへのアクセス RTSP/ONVIFに対応している機種であれば、ストリーミングについては問題が無いのだけれど、C410ではストリーミングが出来ない。では、pytapoを使ってAPIを叩いて画像として定期的に取得する方法はどうかとちょっとコードを書いてみた... 2024.07.30 Python