Python

Python

PythonとRustで比較

だいぶ前だけど、MojoでPythonが高速化できるという話があって、はーなるほどねぇ、ぐらいだったんだけど、ほとんどそのままな感じでRustにしたらどうなるんだっけ?というのをやってなかったのを急に思い出した。 #!/usr/bi...
Azure

AGEFreighter 0.6.0リリース

エッジのプロパティをサポートしてなかったので、追加。あと、AGEFreighterそのものではないのだけれど、AgeFreighterTesterクラスをかなり書き換えた。テスト項目が増えてきたので。
Azure

AGEFreighter 0.5.3リリース

ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通...
Azure

AGEFreighter 0.5.2リリース

これ、なかなか大変でした。一番書きたかったやつです。ツイートしたりあちこちで書いたりしているんだけど、このAzureStorageFreighterというクラスが本命でして、なんでこんなものを書かないとならないかという話を少しだけ...
Azure

AGEFreighter 0.5.0リリース

0.5.0をリリースして、すぐ0.5.1にしましたけどw いや、あまりにも0.5.0のサンプルが分かりにくいなと思って、READMEだけ更新したけど、pypiって同じバージョンでREADMEだけ変えられないっぽいから仕方なく...
Python

Apache AGEのグラフを一括で消したい

AGEでcreate_graph()したグラフは、ag_catalogスキーマのag_graphテーブルに格納されており、以下のように格納されている。 \d ag_graph Table "...
Python

uvでPythonパッケージを公開する

AGEFreighterを公開するにあたってTest PyPIから本番に移行し、それに伴っていくつかファイルをちゃんと作る必要もあったので、備忘録を兼ねてまとめておく。 環境整備 まずuvで以下の準備をする。 uv in...
Azure

AGEFreighterを使った簡単なグラフデータのデモ

Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi...
Azure

リリースしました

AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ...
Python

psycopgのCOPYサポート

Using COPY TO and COPY FROMを読むとCOPYが使えるとあるが、write_row()とwrite()は(当たり前と言えば当たり前だが)挙動が異なる。 records = with cursor.copy...
Python

Apache AGEのidはどうやって決まるのか

COPYしたい 先日来、Apache AGEにどうにかしてデカいデータを流し込もうとしている途中で色々試しているのだけれど、やはりCypher / SQLではなく、COPYプロトコルでぶっ込むしかないかぁ、となり。 さて、Ve...
Python

venv activateがダルい

bashの人は読み替えて。 echo "alias activate='source \$PWD/.venv/bin/activate'" >> ~/.zprofile と思...
Python

Fakerでデカいデータを作りたい

顧客1億人商品1万件顧客がそれぞれ数個の商品を購入 というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると...
Azure

AGE用のクラスを書き直してみた

追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Python

Rのduncan.test()をPythonで実行する

どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。 #!/usr/bin/env python3.11 # -*...
Python

AGE用のクラスを作った

追記(2024.11.07):最新 昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。 # builtin modules impor...
Azure

Azure Database for PostgreSQL + Apache AGEのインデックス

追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres...
Azure

少し書き直してみた(6.4倍ぐらい速くなった)

追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #...
Azure

Azure Database for PostgreSQLでApache AGEを試してみる

追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D...
Python

広告ブロックをbindで(続き)

広告のドメインの正引きを失敗させることで表示できないようにしているのだけれど、PHPで書いてたのでPythonに書き直した。これをbindでincludeして、nullゾーンに叩き落とす。 #!/usr/bin/env python...
Python

単位付き数値を扱うPythonモジュールを調べてみた

そういう趣旨の話がTwitter(現・X)に流れていたので、ちょっと気になって調べてみた。 というのも、数値+単位という構造を持つクラスを作るというのはすぐ思い付くが、演算を実行するたびにクラスのメソッドを呼ぶのはスマートではないな...
Azure

Azure Cognitiveが返す複合型の取り扱い

ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、...
IT

Apache AGEでGraphRAGを実装する(その1)

GraphRAGの一歩手前、Knowledge Graphを作るところまで、この辺を参考にやってみた。生成されたhtmlをアップしておいた。Apache AGEで実装できるかを試すのが目的なので、GraphRAGの説明は無し。適宜...
IT

日経平均大暴落の状況をダウンサンプリングしてみる

しばらく前に、LTTBをPL/PGSQLで実装したので、それを使って今日の日経平均の大暴落がどのようなグラフになるのか、やってみた。 元データはInvesting.comからお借りした、2014年8月1日から2024年8月5日までの...
Python

pytapoでのTapoカメラへのアクセス

RTSP/ONVIFに対応している機種であれば、ストリーミングについては問題が無いのだけれど、C410ではストリーミングが出来ない。では、pytapoを使ってAPIを叩いて画像として定期的に取得する方法はどうかとちょっとコードを書いてみた...
タイトルとURLをコピーしました