半分仕事、半分興味本位でMariaDBのSpiderクラスタをAzure上に構築するスクリプトを書いたので、GitHub に晒しておいた。
半分しか仕事じゃないのはこれがPaaSのサービスでは無いからなんだけど、仕事に「含まれている」Hyperscale (Citus)はスケールアウト出来るPostgreSQLである一方、MySQL / MariaDBのスケールアウト出来る実装って何やろな？って感じでSpiderを選んでみた。
スクリプトを書いて動かしてみた雑感としては、Citusだとシャーディングの設定はcreate_distributed_table('table', 'shard_key')で済むところを、データノードでInnoDBのテーブルを作成しSpiderでspiderのテーブルを作成しないとならないところが微妙に面倒なので、ここは改良されると嬉しいかと。あとはCitusと比較すると様々な面で（特にエンタープライズで）不足してる機能があるので、このあたりを自前で補わないと実運用は厳しそうだなぁ、というところ。
2020.07.09 追記
GitHub にアップしといた。
brew file、AppleScript (osascript)、シェルスクリプト等々を組み合わせて、おおむね自動化した。
VIDEO
微妙に動かない設定しか見つからなかったのでメモっておく。
zsh-completionをインストールする。
% brew install zsh-completion
で、エラーが出る。
zsh compinit: insecure directories, run compaudit for list.
Ignore insecure directories and continue [y] or abort compinit [n]?
compauditでチェックして、パーミッションを修正する。
% compaudit
There are insecure directories:
/usr/local/share/zsh/site-functions
/usr/local/share/zsh
% chmod 755 /usr/local/share/zsh/site-functions
% chmod 755 /usr/local/share/zsh/
/usr/local/share/だけ変更すれば良い可能性もあり。
bash completion用のファイルを~/.azure/az.completionとしてダウンロードする。
% mkdir ~/.azure
% curl -o ~/.azure/az.completion https://raw.githubusercontent.com/Azure/azure-cli/dev/az.completion
~/.zprofileに以下を追加する。
if type brew &>/dev/null; then
FPATH=$(brew --prefix)/share/zsh/site-functions:$FPATH
autoload -Uz compinit
compinit
fi
autoload -U +X bashcompinit && bashcompinit
source ~/.azure/az.completion
This article describes how storage size affects the result of benchmarking, pgbench.
The storage size of Azure DB for PostgreSQL is 100 GB by default. It can be enough for your data, but you should know that IOPS is defined with storage size by 3 IOPS per GB. And you should understand the fact that pgbench is just a benchmark as well. It doesn't reflect the real querying pattern from your app. The queries from pgbench are too simple, so the result will be very sensitive for latency. Another I need to mention here is that the minimum IOPS for Azure DB for PostgreSQL is 100 regardless of storage size. Both 5GB and 33GB show a similar result of benchmarking.
I tested with following settings.
Firstly, inserted 10M records.
$ pgbench -i "host=riopostgres.postgres.database.azure.com port=5432 dbname=postgres user=rifujita@riopostgres password={password} sslmode=require" -s 100
Checked that about 1.5GB data existed after inserting.
postgres=> select datname, pg_size_pretty(pg_database_size(datname)) from pg_database where datname='postgres';
datname | pg_size_pretty
----------+----------------
postgres | 1503 MB
(1 row)
pgbench command executed
$ pgbench -c 10 -t 1000 "host=riopostgres.postgres.database.azure.com port=5432 dbname=postgres user=rifujita@riopostgres password={password} sslmode=require"
Common parameters through benchmarks
transaction type:
scaling factor: 100
query mode: simple
number of clients: 10
number of threads: 1
number of transactions per client: 1000
number of transactions actually processed: 10000/10000
33 GB(100 IOPS)
50 GB(150 IOPS)
100 GB(300 IOPS)
200 GB(600 IOPS)
400 GB(1,200 IOPS)
800 GB(2,400 IOPS)
Conclusion: From the performance standpoint, the best storage size is 200GB with this querying pattern, and data size, 1.5GB.
Twitterでは散々書いてることなんだけどもブログには書いていなかったので、そろそろまとめておくかという感じで。
今年の9月にルイガノのロードバイクを買った。サイクルベースあさひの在庫処分で本体は68,000円。ヘルメットやポンプ、諸経費込みで10万円以内で収まった。
きっかけは娘ちゃんの自転車の練習。2018年6月に供用した外環道と国道298号の横には歩行者・自転車専用道が整備されたので、そこで娘ちゃんに練習させている時に、ふと「この道で結構遠くまで行けるのでは？」と思ったこと。
2週間と経たずに、あまりのブレーキ性能の酷さにブレーキだけUltegraにした。
10月8日にはContinental Grand Prix 5000に履き替えた。
SPDペダルにしたりホイールをアルミにしたりしつつ、9月の数日で100km、10月に514km、11月に500km、さらにZwift環境を整えて屋内でのローラー練習も始めた。
ここまでの時点でメンテの知識もだいぶ身に付いたし工具も大体揃った。フィッティングのような経験のいる作業はともかく、エボIVのメンテや洗濯機の分解、あるいは子供の頃からやってきた機械いじりに慣れていることもあって自転車のメンテ作業に抵抗感はない。
自転車って完全に自分で弄れるのでは？と思い始めたタイミングでもあったので、10.8kgもあるルイガノよりもっと軽くて性能の良い、でも安いのが良いということで12月13日にCANYONのUltimate WMN CF SL Disc 8.0 ETAPを注文し、17日にドイツのフランクフルトから届いた。ステム一体型のハンドルを取り付け、シートポストを差し込み、前輪をスルーアクスルで締め、ペダルを取り付ければ良いだけで、あっけないほど簡単。ディスクブレーキのスペーサーを取り外すのを忘れずに。ペダルはルイガノで使っていて気に入っているシマノのSPDペダル・PD-ES600 をCANYONにも。
さらに輸入したSRAM Force用のパワーメーター 、ブランドはSRAMのQUARQになっている、を取り付けた。これは、8mmヘキサで固定されているSRAMのdub規格のチェーンリングを外して、インナー、アウター、オクトパスをT20とT30のトルクスレンチで分解し、オクトパスを入れ替えるだけでパワーとケイデンスがBluetooth / ANT+で取得出来るようになる。$599はリーズナブルだと思う。
シートチューブとボトルケージの隙間に写っている黒いパーツは、AlterLock 。ある程度高価な、あるいは大事にしているバイクなら絶対付けておくことを強くオススメする。盗まれてもGPSで追跡できる。
Ultimate WMN CF SL Disc 8.0 ETAPについては新しいこともあって色々情報がなく、ひょっとしたら役立つかもしれないのでここにまとめておく。
納車時にSRAM FORCE eTAP AXSのフロントディレイラー、リアディレイラー、左右のシフターがリンクしているかスマホアプリでチェックした方が良い。自分の場合、フロントディレイラーがリンクしていない上、10-33Tが付いて来てるのに、10-26Tが付いてることになってた。
スルーアクスルはフロント100mm、リア142mmで、ネジピッチがM12 x 1mmとなっているX-12規格のもの。これがほとんど代替品が無いので、ホイールの交換などを考えているのであれば新車購入時に同時に注文しておくのが良い。でないと、送料11,000円がまた必要になる...。
付属のタイヤはSchwalbe Pro One Evoで、同じくSchwalbeのチューブが入った状態で出荷されてくる。シーラントを別途用意すれば、Reynoldsのホイール用のバルブステム（DT Swiss製？）は付属しているのでチューブレス化が可能。ただし、Schwalbe Pro One Evoの個体差かも知れないけれど、納車から2回目の実走で後輪がパンクし、その後もウォール・トレッドのあちこちからシュワシュワ言い出す始末で信頼出来ないため、とっととContinental Grand Prix 5000 TL にスイッチ。車体色に合わせた赤いTNIのステム でも問題なく使えた。
フレームやチェーンステーの傷保護用のシールは最初から貼られているので別途購入の必要はなし。
XOSSなどのケイデンスセンサーはクランクに取り付けるクリアランスが全く無いので注意が必要（ということもあって、上記の通りパワーメーターを購入した）。
ディレイラーハンガーは、No.40 。
ディスクローターはウェブページには、SRAM Centerline Xと書いてあるけれど、実際にはSRAM Centerline XR が付いて来た。
ブレーキパッドは写真のようなものが付いてくるが、型番が分からず。サービスマニュアル からパーツナンバーが00.5318.024.000だということが分かった。
今月は実走1,000km超えが、Festive500もあって確定。Zwiftは300kmいくかいかないか...。
追記：Festive500達成。
自宅からAzureの各リージョンへのiperfでのネットワーク帯域 とは別に、Azure東日本から各リージョンへの帯域も計測してみた。東日本にUbuntuを立てて、そこから「VNET peeringをしない」で、各リージョンに立てたUbuntuにiperfをかけるとこんな感じ、と。
「自宅から直接、各リージョンに接続するより、東日本を経由した方が（当然のことながら）高速」Azure Virtual WAN の登場、と。
japaneast : 938 Mbits/sec
japanwest : 890 Mbits/sec
koreacentral : 589 Mbits/sec
koreasouth : 458 Mbits/sec
eastasia : 330 Mbits/sec
southeastasia : 211 Mbits/sec
southindia : 201 Mbits/sec
westus2 : 146 Mbits/sec
westus : 132 Mbits/sec
australiaeast : 127 Mbits/sec
australiacentral : 121 Mbits/sec
westcentralus : 109 Mbits/sec
australiasoutheast : 108 Mbits/sec
westindia : 93.4 Mbits/sec
centralus : 87.5 Mbits/sec
southcentralus : 85.1 Mbits/sec
northcentralus : 83.9 Mbits/sec
eastus2 : 81.9 Mbits/sec
eastus : 80.6 Mbits/sec
centralindia : 75.3 Mbits/sec
canadacentral : 69.1 Mbits/sec
uksouth : 65.6 Mbits/sec
canadaeast : 61.2 Mbits/sec
northeurope : 50.6 Mbits/sec
ukwest : 47.3 Mbits/sec
francecentral : 46.9 Mbits/sec
westeurope : 44.3 Mbits/sec
brazilsouth : 39.3 Mbits/sec
southafricanorth : 31.3 Mbits/sec
uaenorth : 19.6 Mbits/sec
自宅（千葉県市川市）から、Azureの各リージョンにiperfを実行するとどのぐらい出ているのかちょっと気になり、以下のようなスクリプトでUbuntuを立ててiperf3をインストールし5201でリッスン、macOSから10秒ずつiperfを実行してみた。なお自宅はauひかりホーム10ギガで接続されており、マルチならAzure東日本に8Gbps程度で繋がる。
#!/bin/bash
regions=$(az account list-locations --query [].name -o tsv)
for region in $regions; do
RG="rifujitademoiperf${region}"
VM="rifujitaiperf"
res=$(az group create -l $region -g $RG)
ipaddress=$(az vm create --image Canonical:UbuntuServer:18.04-LTS:latest --size Standard_D16s_v3 -g $RG -n $VM --query publicIpAddress -o tsv)
az vm open-port -g $RG -n $VM --port 5201 --priority 1010
sleep 30
ssh-keygen -R $ipaddress
ssh -o "StrictHostKeyChecking no" $ipaddress <<-'EOF'
sudo apt-get -y install iperf3
iperf3 -s -D
EOF
iperf3 -c $ipaddress -t 10 -b 1000M > iperf_$region.txt
az group delete --no-wait --yes -g $RG
done
結果は以下の通り。1回のみの実行なので、常にこうなるとは言えないけれど、目安程度にはなるかな。
$ grep receiver iperf* | sed 's/^iperf_\([a-z0-9]*\).txt:.* \([0-9\.]* Mbits\/sec\).*$/\1 : \2/' | sort -nr -k3
japaneast : 765 Mbits/sec
japanwest : 185 Mbits/sec
koreacentral : 115 Mbits/sec
koreasouth : 55.2 Mbits/sec
westus2 : 35.2 Mbits/sec
southeastasia : 32.2 Mbits/sec
australiaeast : 30.0 Mbits/sec
southcentralus : 27.0 Mbits/sec
canadaeast : 23.3 Mbits/sec
australiasoutheast : 21.6 Mbits/sec
canadacentral : 21.4 Mbits/sec
centralindia : 21.2 Mbits/sec
westindia : 20.6 Mbits/sec
centralus : 16.3 Mbits/sec
southindia : 15.0 Mbits/sec
northcentralus : 13.4 Mbits/sec
eastasia : 12.7 Mbits/sec
eastus2 : 10.2 Mbits/sec
uaenorth : 7.99 Mbits/sec
brazilsouth : 7.45 Mbits/sec
westcentralus : 6.77 Mbits/sec
westeurope : 6.18 Mbits/sec
francecentral : 5.41 Mbits/sec
westus : 4.96 Mbits/sec
uksouth : 4.60 Mbits/sec
australiacentral : 4.50 Mbits/sec
northeurope : 3.95 Mbits/sec
ukwest : 3.40 Mbits/sec
eastus : 1.35 Mbits/sec
southafricanorth : 1.03 Mbits/sec
# definition for Azure
define("AZ_REGION", "japaneast");
define("VISION_SERVICE_URI", "https://" . AZ_REGION . ".api.cognitive.microsoft.com/vision/v2.0/");
define("OCR_URI", VISION_SERVICE_URI . "ocr");
# definition of VS_API_KEY from Azure Portal or result of az command as follow
# $ az cognitiveservices account keys list -n COG_NAME -g RES_GRP --query key1 -o tsv
define("VS_API_KEY", "API KEY HERE");
# concatenate '.text' in 'words'
function text_concat($words, $item){
$words .= $item->text;
return $words;
}
# post an image for Azure Computer Vision OCR
function get_ocr_result($image_path){
# initiate cURL
$curl_session = curl_init();
curl_setopt_array($curl_session,
array(
CURLOPT_URL => OCR_URI,
CURLOPT_POST => true,
CURLOPT_HTTPHEADER => array(
"Content-Type: application/octet-stream",
"Ocp-Apim-Subscription-Key: " . VS_API_KEY
),
CURLOPT_POSTFIELDS => file_get_contents($image_path),
CURLOPT_RETURNTRANSFER => true,
CURLOPT_BINARYTRANSFER => true,
)
);
$curl_result = curl_exec($curl_session);
curl_close($curl_session);
$json = json_decode($curl_result);
# extract texts(chars) from json
$res_lines = array();
$max_height = 0;
foreach($json->regions as $region){
foreach($region->lines as $ln_num => $line){
$tmp = array_reduce($line->words, "text_concat");
list($d, $d, $d, $height) = explode(",", str_replace('"', "", $line->boundingBox));
# highest font is used for name
if($max_height < (int)$height){
$tmp_len = mb_strlen($tmp);
if(2 <= $tmp_len && $tmp_len <= 8){
if(preg_match("/^[\p{Han}\p{Hiragana}\p{Katakana}]+$/u", $tmp)) {
$max_height = (int)$height;
$maybe_name = $tmp;
}
}
}
if(strcmp($maybe_name, $tmp) != 0){
$res_lines[] = $tmp;
}
}
}
return array($res_lines, $maybe_name);
}
list($lines_in_image, $maybe_name) = get_ocr_result($tmpfile);
var_dump($lines_in_image);
var_dump($maybe_name);
SRAM RED & FORCE AXS 107BCD POWER METER SPIDER
SRAM CENTERLINE XR ROTOR 160mm, Centerlock
SRAM スラム DISC BRAKE PAD ディスクブレーキ パッド オーガニック/スチール Red AXS/FORCE AXC 2ピースキャリパー用(00.5318.024.000)(710845826894)
SRAM FORCE AXS CHAIN 12 Speed
WAHOO ELEMNT BOLT
