Azure AGEFreighter 0.8.0リリース
新機能の追加は無いけれど、unittestとcoverageを導入して、潜在的なバグのパスを潰したりした0.8.0をリリースした。unittestはAGEFreighter / CSVFreighter / MultiCSVFreight...
Python
Azure 
Mac parasyncリリースした
弊ブログの「rsyncを高速に」や「Azureに構築したrsyncサーバにparsyncfpでバックアップする」で繰り返し触れていることだけども、rsyncをそのまま使うと遅い。で、parsyncfpを使うなり、azcopyを使うなりする...
Mac Phorganizeも作り直した
GitHubとPyPIに放流した。
こういう状態になっているディレクトリを
tree ~/Desktop/photos
/Users/rifujita/Desktop/photos
├── 125A9549.MP4
├── 1...
Python Tapo Streamerを作り直した
追記（2025.02.16）：OpenCVベースでSegfaultが出まくるため、後日書き直します。
PySimpleGUIのライセンスが厳しくなったけど、tcl/tk 9.xへの対応が遅れていて旧・Tapo-Streamerが動か...
Azure AGEFreighter 0.7.0リリース
MultiAzureStorageFreighterクラスを追加しました。このクラスがAGEFreighterの大本命で、巨大な複数のCSVファイルから、Azure Database for PostgreSQL + Apache AGE...
Python AGEFreighter 0.6.1リリース
もっぱらドキュメント（README）を書き直すのと、ダミーデータを生成し直してパッケージに含めるようにするのと、使い方を分かりやすく作業をゴリゴリやっただけで、コードそのものはそれほどイジってないんだけども0.6.1としてリリースしました...
Azure C105は2本書きました
いつもは次のコミケの前に公開するんだけど、C105の『らぼちっく；げーと』が完売してしまったとのことなので、書いた2本を公開。
「か式巣箱」の設計図については、既に公開してあるのでそちらを参照してください。
「か式巣箱」の作り...
Python 天球上の巡回セールスマン問題
大晦日にも撮影したけれど、UnistellarのOdysseyで撮影する際に、東の空を撮影して、西の空を撮影して、また東の空に戻って、となると、いくら自動で天体を導入してくれるとはいえ、鏡筒の移動に時間がかかります。もちろん、それだけモー...
Mac macOSでOCRしたい
追記（2025.02.16）：brewでインストールできるようにしました。
プレビュー.appで画像を開くと、認識した文字列をコピーできるけれど、あれをPythonから呼び出して大量の画像に対してバッチ処理したい。
で、mac...
Python PythonとRustで比較
だいぶ前だけど、MojoでPythonが高速化できるという話があって、はーなるほどねぇ、ぐらいだったんだけど、ほとんどそのままな感じでRustにしたらどうなるんだっけ？というのをやってなかったのを急に思い出した。
#!/usr/bi...
Azure AGEFreighter 0.6.0リリース
エッジのプロパティをサポートしてなかったので、追加。あと、AGEFreighterそのものではないのだけれど、AgeFreighterTesterクラスをかなり書き換えた。テスト項目が増えてきたので。
Azure AGEFreighter 0.5.3リリース
ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通...
Azure AGEFreighter 0.5.2リリース
これ、なかなか大変でした。一番書きたかったやつです。ツイートしたりあちこちで書いたりしているんだけど、このAzureStorageFreighterというクラスが本命でして、なんでこんなものを書かないとならないかという話を少しだけ...
Azure AGEFreighter 0.5.0リリース
0.5.0をリリースして、すぐ0.5.1にしましたけどw
いや、あまりにも0.5.0のサンプルが分かりにくいなと思って、READMEだけ更新したけど、pypiって同じバージョンでREADMEだけ変えられないっぽいから仕方なく...
Python Apache AGEのグラフを一括で消したい
AGEでcreate_graph()したグラフは、ag_catalogスキーマのag_graphテーブルに格納されており、以下のように格納されている。
\d ag_graph
Table "...
Python uvでPythonパッケージを公開する
AGEFreighterを公開するにあたってTest PyPIから本番に移行し、それに伴っていくつかファイルをちゃんと作る必要もあったので、備忘録を兼ねてまとめておく。
環境整備
まずuvで以下の準備をする。
uv in...
Azure AGEFreighterを使った簡単なグラフデータのデモ
Apache AGEのハンズオンをやらんとならんので、ざっと書いた。
# deploy Azure Database for PostgreSQL
# add AGE extension to 'azure.extensi...
Azure リリースしました
AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。
要は、デカいデータを出来るだけ楽に速くApache ...
Python psycopgのCOPYサポート
Using COPY TO and COPY FROMを読むとCOPYが使えるとあるが、write_row()とwrite()は（当たり前と言えば当たり前だが）挙動が異なる。
records =
with cursor.copy...
Python Apache AGEのidはどうやって決まるのか
COPYしたい
先日来、Apache AGEにどうにかしてデカいデータを流し込もうとしている途中で色々試しているのだけれど、やはりCypher / SQLではなく、COPYプロトコルでぶっ込むしかないかぁ、となり。
さて、Ve...
Python venv activateがダルい
bashの人は読み替えて。
echo "alias activate='source \$PWD/.venv/bin/activate'" >> ~/.zprofile
と思...
Python Fakerでデカいデータを作りたい
顧客1億人商品1万件顧客がそれぞれ数個の商品を購入
というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると...
Azure AGE用のクラスを書き直してみた
追記（2024.11.11）：リリースしました
いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Python Rのduncan.test()をPythonで実行する
どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。
#!/usr/bin/env python3.11
# -*...
Python AGE用のクラスを作った
追記（2024.11.07）：最新
昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。
# builtin modules
impor...