ちょっとスクショがデカいけれども、0.5.3をリリースしたよ、と。0.5.2でAzure Storageのファイルから読み込む機能を追加したのだけれど、テストに使ったのはたかだか19万エッジしか無いデータなので、サクッと動いた一方、予想通り、デカいデータだと動かない、と。
他のクラスは概ね、マルチスレッドで動くようになっているけれど、AzureStorageFreighterクラスは、グラフデータを投入する部分を1つのUDF(ユーザ定義関数)にしていたため、大きなデータを丸ごとトランザクションとして投入しようとするので、動かない、と。いや、動いてるけど、超絶時間がかかる、というのが正しい。
で、0.5.3のAzureStorageFreighterクラスは完全に書き直して、ほぼ全ての処理をマルチスレッドにしましたよ、と。Azure Storage Accountを作成して、2500万エッジのグラフを投入し、インデックスを作成するまで含めて約12分ぐらい。まだ性能向上の余地はあるので、2,3割は速くなるかなと思いつつ、とりまリリースしました。