Python

Python

AGEFreighter 0.6.1リリース

もっぱらドキュメント(README)を書き直すのと、ダミーデータを生成し直してパッケージに含めるようにするのと、使い方を分かりやすく作業をゴリゴリやっただけで、コードそのものはそれほどイジってないんだけども0.6.1としてリリースしました...
Azure

C105は2本書きました

いつもは次のコミケの前に公開するんだけど、C105の『らぼちっく;げーと』が完売してしまったとのことなので、書いた2本を公開。 「か式巣箱」の設計図については、既に公開してあるのでそちらを参照してください。 「か式巣箱」の作り...
Python

天球上の巡回セールスマン問題

大晦日にも撮影したけれど、UnistellarのOdysseyで撮影する際に、東の空を撮影して、西の空を撮影して、また東の空に戻って、となると、いくら自動で天体を導入してくれるとはいえ、鏡筒の移動に時間がかかります。もちろん、それだけモー...
Mac

macOSでOCRしたい

プレビュー.appで画像を開くと、認識した文字列をコピーできるけれど、あれをPythonから呼び出して大量の画像に対してバッチ処理したい。 で、macOSのVision Frameworkを叩くのは面倒だと思ったら、pyobjc-f...
Python

PythonとRustで比較

だいぶ前だけど、MojoでPythonが高速化できるという話があって、はーなるほどねぇ、ぐらいだったんだけど、ほとんどそのままな感じでRustにしたらどうなるんだっけ?というのをやってなかったのを急に思い出した。 #!/usr/bi...
Azure

AGEFreighter 0.6.0リリース

エッジのプロパティをサポートしてなかったので、追加。あと、AGEFreighterそのものではないのだけれど、AgeFreighterTesterクラスをかなり書き換えた。テスト項目が増えてきたので。
Azure

AGEFreighter 0.5.3リリース

ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通...
Azure

AGEFreighter 0.5.2リリース

これ、なかなか大変でした。一番書きたかったやつです。ツイートしたりあちこちで書いたりしているんだけど、このAzureStorageFreighterというクラスが本命でして、なんでこんなものを書かないとならないかという話を少しだけ...
Azure

AGEFreighter 0.5.0リリース

0.5.0をリリースして、すぐ0.5.1にしましたけどw いや、あまりにも0.5.0のサンプルが分かりにくいなと思って、READMEだけ更新したけど、pypiって同じバージョンでREADMEだけ変えられないっぽいから仕方なく...
Python

Apache AGEのグラフを一括で消したい

AGEでcreate_graph()したグラフは、ag_catalogスキーマのag_graphテーブルに格納されており、以下のように格納されている。 \d ag_graph Table "...
Python

uvでPythonパッケージを公開する

AGEFreighterを公開するにあたってTest PyPIから本番に移行し、それに伴っていくつかファイルをちゃんと作る必要もあったので、備忘録を兼ねてまとめておく。 環境整備 まずuvで以下の準備をする。 uv in...
Azure

AGEFreighterを使った簡単なグラフデータのデモ

Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi...
Azure

リリースしました

AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ...
Python

psycopgのCOPYサポート

Using COPY TO and COPY FROMを読むとCOPYが使えるとあるが、write_row()とwrite()は(当たり前と言えば当たり前だが)挙動が異なる。 records = with cursor.copy...
Python

Apache AGEのidはどうやって決まるのか

COPYしたい 先日来、Apache AGEにどうにかしてデカいデータを流し込もうとしている途中で色々試しているのだけれど、やはりCypher / SQLではなく、COPYプロトコルでぶっ込むしかないかぁ、となり。 さて、Ve...
Python

venv activateがダルい

bashの人は読み替えて。 echo "alias activate='source \$PWD/.venv/bin/activate'" >> ~/.zprofile と思...
Python

Fakerでデカいデータを作りたい

顧客1億人商品1万件顧客がそれぞれ数個の商品を購入 というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると...
Azure

AGE用のクラスを書き直してみた

追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Python

Rのduncan.test()をPythonで実行する

どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。 #!/usr/bin/env python3.11 # -*...
Python

AGE用のクラスを作った

追記(2024.11.07):最新 昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。 # builtin modules impor...
Azure

Azure Database for PostgreSQL + Apache AGEのインデックス

追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres...
Azure

少し書き直してみた(6.4倍ぐらい速くなった)

追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #...
Azure

Azure Database for PostgreSQLでApache AGEを試してみる

追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D...
Python

広告ブロックをbindで(続き)

広告のドメインの正引きを失敗させることで表示できないようにしているのだけれど、PHPで書いてたのでPythonに書き直した。これをbindでincludeして、nullゾーンに叩き落とす。 #!/usr/bin/env python...
Python

単位付き数値を扱うPythonモジュールを調べてみた

そういう趣旨の話がTwitter(現・X)に流れていたので、ちょっと気になって調べてみた。 というのも、数値+単位という構造を持つクラスを作るというのはすぐ思い付くが、演算を実行するたびにクラスのメソッドを呼ぶのはスマートではないな...
タイトルとURLをコピーしました