Python

Azure

AGEFreighterを使った簡単なグラフデータのデモ

Apache AGEのハンズオンをやらんとならんので、ざっと書いた。 # deploy Azure Database for PostgreSQL # add AGE extension to 'azure.extensi...
Azure

リリースしました

AGE用のクラスを書いてたりしたんだけども、結局3度目の書き直しをした上、色々な速度向上策を試して、ひとまずリリースできる程度にはなったので、PyPIにリリースしました。 要は、デカいデータを出来るだけ楽に速くApache ...
Python

psycopgのCOPYサポート

Using COPY TO and COPY FROMを読むとCOPYが使えるとあるが、write_row()とwrite()は(当たり前と言えば当たり前だが)挙動が異なる。 records = with cursor.copy...
Python

Apache AGEのidはどうやって決まるのか

COPYしたい 先日来、Apache AGEにどうにかしてデカいデータを流し込もうとしている途中で色々試しているのだけれど、やはりCypher / SQLではなく、COPYプロトコルでぶっ込むしかないかぁ、となり。 さて、Ve...
Python

venv activateがダルい

bashの人は読み替えて。 echo "alias activate='source \$PWD/.venv/bin/activate'" >> ~/.zprofile と思...
Python

Fakerでデカいデータを作りたい

顧客1億人商品1万件顧客がそれぞれ数個の商品を購入 というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると...
Azure

AGE用のクラスを書き直してみた

追記(2024.11.11):リリースしました いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Python

Rのduncan.test()をPythonで実行する

どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。 #!/usr/bin/env python3.11 # -*...
Python

AGE用のクラスを作った

追記(2024.11.07):最新 昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。 # builtin modules impor...
Azure

Azure Database for PostgreSQL + Apache AGEのインデックス

追記(2024.10.28):最新版 インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。 psqlで接続後、サーチパスを設定してrelationを見る。 postgres...
Azure

少し書き直してみた(6.4倍ぐらい速くなった)

追記(2024.10.28):最新版 一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。 #!/usr/bin/env python3.11 # -*- coding: utf-8 -*- #...
Azure

Azure Database for PostgreSQLでApache AGEを試してみる

追記(2024.1028):最新版。 数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。 Azure D...
Python

広告ブロックをbindで(続き)

広告のドメインの正引きを失敗させることで表示できないようにしているのだけれど、PHPで書いてたのでPythonに書き直した。これをbindでincludeして、nullゾーンに叩き落とす。 #!/usr/bin/env python...
Python

単位付き数値を扱うPythonモジュールを調べてみた

そういう趣旨の話がTwitter(現・X)に流れていたので、ちょっと気になって調べてみた。 というのも、数値+単位という構造を持つクラスを作るというのはすぐ思い付くが、演算を実行するたびにクラスのメソッドを呼ぶのはスマートではないな...
Azure

Azure Cognitiveが返す複合型の取り扱い

ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。 それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、...
IT

Apache AGEでGraphRAGを実装する(その1)

GraphRAGの一歩手前、Knowledge Graphを作るところまで、この辺を参考にやってみた。生成されたhtmlをアップしておいた。Apache AGEで実装できるかを試すのが目的なので、GraphRAGの説明は無し。適宜...
IT

日経平均大暴落の状況をダウンサンプリングしてみる

しばらく前に、LTTBをPL/PGSQLで実装したので、それを使って今日の日経平均の大暴落がどのようなグラフになるのか、やってみた。 元データはInvesting.comからお借りした、2014年8月1日から2024年8月5日までの...
Python

pytapoでのTapoカメラへのアクセス

RTSP/ONVIFに対応している機種であれば、ストリーミングについては問題が無いのだけれど、C410ではストリーミングが出来ない。では、pytapoを使ってAPIを叩いて画像として定期的に取得する方法はどうかとちょっとコードを書いてみた...
Python

ながーい文章を書く悪癖があるのでチェックする

C104の原稿をoverleafで書きながら、どうも読点の間隔が広すぎるなぁと思い、句読点で分割してセンテンスの長さをチェックするPythonをちょろっと書いた。TeXの書式を全て知ってるわけではないので、適当にパースしてるが、まあ使える...
IT

openpyxlだけだと無理なので

openpyxlで出力したExcelのファイルにテーブルを設定するとフィルターが利用出来るが、このフィルターはセルへの値の入力時にフィルタの項目をまとめるので、日付をセルに設定してもファイルを開いただけだとテキストとして認識されている。 ...
Python

Python覚え書き

久しぶりに結構がっつり書いたら色々と新しい知見があり、コードを見れば分かると言えば分かるわけだが、まあ次に書く時には忘れちゃうので、まとめておく。これが最良・最新という訳では決してないと思うのだけれど、とりあえず目的を果たすものはできた、...
Python

進捗

GitHub
Azure

LangChainを使わない分かる

「ほーいいじゃないかこういうのでいいんだよこういうので」(の絵をここに貼る) AI担当じゃないんですけど ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん...
Azure

この声優さん、確かこの作品であの声優さんと共演してたよなぁ

はじめに (この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです) 「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません? ...
Azure

Azure Functions (Python) + Cosmos DBまとめ

はじめに Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy...
タイトルとURLをコピーしました