Python Fakerでデカいデータを作りたい
顧客1億人商品1万件顧客がそれぞれ数個の商品を購入
というシナリオのダミーデータが必要になって、あまり本番ぽくなくて良いならPostgreSQLでgenerate_series()したりするんだけど、グラフデータとして使おうとすると...
Python
Python Azure AGE用のクラスを書き直してみた
追記（2024.11.11）：リリースしました
いったんクラスを書いてみたのだけれど汎用性が無いのと遅いのがダメなので、CSVから高速に突っ込めるように書き直して、テスト中。同じインスタンスサイズでテストした結果で比較すると、42秒...
Python Rのduncan.test()をPythonで実行する
どうやって実装したもんかな、と思っていたが、Pythonでロジックをそのまま書かなくても、RのオブジェクトをPythonで利用すれば良いので、以下でひとまずイケるっぽい。
#!/usr/bin/env python3.11
# -*...
Python AGE用のクラスを作った
追記（2024.11.07）：最新
昨日までに書いたコードは汎用性が無いので、ちょっと整理してクラスにした。モジュールにするかどうかは悩むなぁ。もうちょっとちゃんとしたいところ。
# builtin modules
impor...
Azure Azure Database for PostgreSQL + Apache AGEのインデックス
追記（2024.10.28）：最新版
インデックスの張り方が良く分からなかったので、AGEのデータがどのようになっているのかを調べてみた。
psqlで接続後、サーチパスを設定してrelationを見る。
postgres...
Azure 少し書き直してみた（6.4倍ぐらい速くなった）
追記（2024.10.28）：最新版
一昨日書いたコードを思い返しながら、もうちょっと速くならんか、ちょっと試してみた。
#!/usr/bin/env python3.11
# -*- coding: utf-8 -*-
#...
Azure Azure Database for PostgreSQLでApache AGEを試してみる
追記（2024.1028）：最新版。
数日前からAzure Database for PostgreSQLでのApache AGEのプレビューが開始されたので、先に書いたエントリーと同じようなことをやってみる。
Azure D...
Python 広告ブロックをbindで（続き）
広告のドメインの正引きを失敗させることで表示できないようにしているのだけれど、PHPで書いてたのでPythonに書き直した。これをbindでincludeして、nullゾーンに叩き落とす。
#!/usr/bin/env python...
Python 単位付き数値を扱うPythonモジュールを調べてみた
そういう趣旨の話がTwitter（現・X）に流れていたので、ちょっと気になって調べてみた。
というのも、数値＋単位という構造を持つクラスを作るというのはすぐ思い付くが、演算を実行するたびにクラスのメソッドを呼ぶのはスマートではないな...
Azure Azure Cognitiveが返す複合型の取り扱い
ハンズオンをやりながら、そういやCognitiveが返す複合型の取り扱いってPythonでどうすっかな、という疑問が湧き。
それっぽいクラスはSDKにあるんだけど、これはazure_aiエクステンションが返すものとは合致しないので、...
IT Apache AGEでGraphRAGを実装する（その1）
GraphRAGの一歩手前、Knowledge Graphを作るところまで、この辺を参考にやってみた。生成されたhtmlをアップしておいた。Apache AGEで実装できるかを試すのが目的なので、GraphRAGの説明は無し。適宜...
IT 日経平均大暴落の状況をダウンサンプリングしてみる
しばらく前に、LTTBをPL/PGSQLで実装したので、それを使って今日の日経平均の大暴落がどのようなグラフになるのか、やってみた。
元データはInvesting.comからお借りした、2014年8月1日から2024年8月5日までの...
Python pytapoでのTapoカメラへのアクセス
RTSP/ONVIFに対応している機種であれば、ストリーミングについては問題が無いのだけれど、C410ではストリーミングが出来ない。では、pytapoを使ってAPIを叩いて画像として定期的に取得する方法はどうかとちょっとコードを書いてみた...
Python ながーい文章を書く悪癖があるのでチェックする
C104の原稿をoverleafで書きながら、どうも読点の間隔が広すぎるなぁと思い、句読点で分割してセンテンスの長さをチェックするPythonをちょろっと書いた。TeXの書式を全て知ってるわけではないので、適当にパースしてるが、まあ使える...
IT openpyxlだけだと無理なので
openpyxlで出力したExcelのファイルにテーブルを設定するとフィルターが利用出来るが、このフィルターはセルへの値の入力時にフィルタの項目をまとめるので、日付をセルに設定してもファイルを開いただけだとテキストとして認識されている。
...
Python Python覚え書き
久しぶりに結構がっつり書いたら色々と新しい知見があり、コードを見れば分かると言えば分かるわけだが、まあ次に書く時には忘れちゃうので、まとめておく。これが最良・最新という訳では決してないと思うのだけれど、とりあえず目的を果たすものはできた、...
Python 進捗
GitHub
Azure LangChainを使わない分かる
「ほーいいじゃないかこういうのでいいんだよこういうので」（の絵をここに貼る）
AI担当じゃないんですけど
ABEJA Tech Blogの"LangChainを使わない"を読んで、首がちぎれるほど頷いてしまった人は少なくないん...
Azure この声優さん、確かこの作品であの声優さんと共演してたよなぁ
はじめに
（この記事はMicrosoft Azure Tech Advent Calendar 2023シリーズ2の12月6日のエントリーです）
「ある声優さんが別の声優さんと共演してたよなぁ」って、知りたくなりません？
...
Azure Azure Functions (Python) + Cosmos DBまとめ
はじめに
Cosmos DB for NoSQLのオススメ言語はC# / Node.jsなのだけれど、AIや他のソリューションと組み合わせる時にPythonの膨大な資産はやはり魅力的なこともあり、Azure FunctionsをPy...
Azure PythonのCosmos ChangeFeedのDocument
Cosmos DBのChangeFeedをPythonで書こうとすると、デコレータ含めた定義はこんな感じになる。
@app.cosmos_db_trigger(arg_name="documents",
...
Azure Azure Cosmos DBのPython SDKでのロギングレベル
デフォルトのままAzure Cosmos DBにPythonで接続してあれこれやってると、INFOレベルのログが出力されて肝心のデバッグ用のprint()とかが見えなかったり、ERRORが一瞬で流れて行っちゃって見えないw
from...
IT ついカッとなって書いた。後悔はしていないが、公開はしている。
ミツバチのカメラを含めて5台のTP-Link製のTapoカメラがあるんで、これをIPCamsという有償アプリで表示しているんだが、こいつがすこぶる調子が悪い。なんだか不安定。
一方、TP-LinkはTapoのiPhone / iPa...
Azure Cosmos DB ChangeFeedのPythonのトリガー
を書いてたら、どうにも動かない。
ドキュメントには
@app.cosmos_db_trigger(arg_name="documents",
database...
Azure Apple Silicon上のVSCodeでPythonのAzure Functionsを動かしたい
なんかねぇ、Functionsのランタイム（func）がArm64に対応してないんですよ。プロジェクト作って動かそうとしたら、Arm64は知らん、とか言われて。はー、めんど。
で、ちょっと探したらワークアラウンドを見つけた。要は、無...
Python 犯罪統計や交通事故のジオコーディング
ジオコーディングが簡単にできるライブラリの話は先日書いた。
千葉県警が犯罪発生情報をオープンデータとして配布している。まあオープンデータにするなら、文字コードはUTF-8に改行コードはLFにしておいてほしいが、配布されているファイル...
Python ジオコーディングした
とっても素敵なジオコーダーが公開されているので、ありがたく使わせてもらった。ネット越しにAPIを叩くより圧倒的に高速。
% pip3 install jageocorder
% jageocoder download-diction...
Python Tapoカメラの動体検知データを画像にする
ミツバチの行動パターンを画像にした時のPythonコード。pytapoの注意点については、別エントリーで書いているのでそっちも参照。どう書けば取得できるかだけを検証したものなので、そのうち気が向いたら書き直すw
from pytap...
IT ミツバチの行動パターン
ミツバチが入居し、カメラを設置し、カメラから動体検知のデータをJSONで取得出来るようになったので、Pythonでチョチョイと画像化してみた。
深夜には峨などの夜行性の昆虫の活動による誤検知とは別に、巣の入口を見回るような行動も記録...
IT この1時間ほどやっていたこと（半分仕事、半分趣味）
もう週末でだいたい終わってるから、ちょっとCosmos DBのネタでも考えるか...。
そういや、TP-Linkのカメラ・Tapoって、JSONを返してくるんじゃないか？そのままCosmosに突っ込めると何か遊べる（？）かも。
...
Python RVCの学習データ作成を楽にやりたい
無音部分を除いて、長時間の音声ファイルを発話ごとに区切りたいよね。今、ちょろっと書いた。github
#!/usr/bin/env python3.10
import sys
import os
import argparse
f...
Python python-magic on Apple Silicon
大したことじゃないのだけれど、python-magicをMac Studioで使おうとしたらエラーが出た。
先にlibmagicとpython-magicをインストールしてある。
# brew install libm...
Python WORDLEもうちょっと考えてみた
先のエントリーで書いた通り本当にAROSEが1回目の単語として最適なのか気になって、位置による出現頻度をスコアとして計算してみた。
#!/usr/bin/env python3
import string
from nltk.co...
Python WORDLE流行ってますね
WORDLEをやってみると、まあ秒で「これはプログラムで解けるのでは？」と思うわけだけど、プログラムで解いてしまっては英単語の勉強にならないということもあって、統計的にどう攻略するのが良いだろうか、という方針で考えてみた。
WORD...
Python drop.xmlをPostgreSQLで管理する
スパム、つまり、/home/user/Maildir/.Junk/cur/に分類されたファイルの送信元IPアドレスと、/var/log/maillogに'authentication failed'が記録されたアクセス元IPアドレスを、そ...
Python 「お買い物チャレラン」をグラフで解いてみた
Twitterでこういう画像を拾った。赤数字はこちらで追加したもの。
これはひょっとして膨大なパターンがあって、死ぬほど解くのが大変なのでは？と察したのだけれど、さて、何で解こうかちょっと考えた。
むかーし、仕事の一つ...
Azure Azure StorageにアップロードされたCSVをAzure PostgreSQLに入れる
この記事は Azure Advent Calendar 2021 22 日目のエントリです。
何をするかというと
タイトルの通りなんだけども、AzureのStorage AccountのContainerにCSVファイルがアッ...
Python argparseで”-h”をhelp以外に使いたい
-h / --helpは当然そのコマンドのヘルプを表示するのがデファクトなんだが、-h / --hostというオプションを使いたい。でも、--helpを渡したらヘルプを表示して欲しい。
これをそのまま書くと以下になるけれど、
...
Mac 写真を徹底的に整理したい（macOSで）
写真の整理はなかなか面倒
まあ大体写真を撮る時ってのは大なり小なり何かのイベントだし、それは撮影日時と強烈に紐付けされるものなんだけど、例えば同じキヤノンのデジカメを2台持っていると1台目のIMG_0100.JPGと2台目の...
Python firewall-cmdで設定済みのセグメントを検出してadd-sourceしたい
dropゾーンにIPアドレスを追加したいんだけど、既に設定済みのセグメントにバッティングしてないかをfirewall-cmdはチェックしてくれないので、例えば、/etc/firewalld/zones/drop.xmlに
<s...
Python kernel moduleの依存関係をグラフにしたい
むかーしやったことある気もするんだけど、コードが見つからなかったのでちょちょいと。
#!/usr/bin/env python3
import gv
import subprocess
g = gv.digraph('...
Python Movable TypeからWordPressに移行
Movable TypeからWordpressに手動で移行してたんだけど、ここ10年ぐらいはともかくそれより古いコンテンツはかなり自動でいけそうなので、HTML Import 2というプラグインを試したけど投稿日付を抜き出せないので、Py...
Python 価格.comをスクレイピング
価格.comの性能比較ページをスクレイピングするを参考に、Safariでやってみた。なお、macOS上で実行。実行時点で登録されている価格情報のあるノートPCは2,378。そのうちUSB 3.1 Type-Cがあるのは621。
#!...
Python blockdiagで組織図
blockdiagで組織図を書こうとしたら、ちょこちょことひっかかるので覚え書き。
Fedora 14（たぶん15も）での手順。最初にpython-pipを入れる。PDFで出力したいなら、python-develとかgccとか依存関...
Python Pythonで日本語がまともに使えるように！
Python 3.0登場、日本で利用できるレベルへ到達。Pythonで書いてて何が面倒って、u"..."って書かないとならなかったこと。PHPだとこのあたりは透過的に（故にトラブルの原因にもなるんだが）扱えるので、日本語の処理を含む時はど...
Python 消えるな、きっと
ゾープ・ジャパン、来年初めにZope日本語版を公開で、基本ライセンス料が数百万円とか書いてあるんだけど、これはどういう意味なんでしょ。うちのサイトをBlogにする時にZopeも候補として考えたんだけど、情報量が少なすぎてやめたのね、pyt...
Python Zope
ええと、多くは説明できないんですが、Zopeです。いや、そのうち解説ページ作ります。もうphpなんてやってらんない（aspなんてもっとやってらんない）。acquisition・「獲得」が分かった瞬間、もうphpじゃないと思った（笑）。軽い...
Python Zope
個人的にZopeが流行し始める。しばらくしたら、redhatでのインストール手順をまとめよう。ポイントは7.3のpythonは嫌がらせかっていうくらい古いということ。python1.5が入っているので、2.1以上のrpmを取ってきてアップ...
Python Zope
ええ、もちろんインストールしましたとも、Zope for Mac OS X。ああ、しばらくずっとラブPHPだったんだけど、あかんです、激ラブZopeになりそうです。まだ細かい部分が分からないので、どのくらいはまるか怪しいですけど、イケてる...