りおてく

Azure CognitiveのComputer Visionで名刺をOCRするPHPのサンプル

# definition for Azure
define("AZ_REGION", "japaneast");
define("VISION_SERVICE_URI", "https://" . AZ_REGION . ".api.cognitive.microsoft.com/vision/v2.0/");
define("OCR_URI", VISION_SERVICE_URI . "ocr");

# definition of VS_API_KEY from Azure Portal or result of az command as follow
# $ az cognitiveservices account keys list -n COG_NAME -g RES_GRP --query key1 -o tsv
define("VS_API_KEY", "API KEY HERE");

# concatenate '.text' in 'words'
function text_concat($words, $item){
	$words .= $item->text;
	return $words;
}

# post an image for Azure Computer Vision OCR
function get_ocr_result($image_path){
	# initiate cURL
	$curl_session = curl_init();
	curl_setopt_array($curl_session,
		array(
			CURLOPT_URL	=>	OCR_URI,
			CURLOPT_POST	=>	true,
			CURLOPT_HTTPHEADER =>	array(
					"Content-Type: application/octet-stream", 
					"Ocp-Apim-Subscription-Key: " . VS_API_KEY
			),
			CURLOPT_POSTFIELDS	=>	file_get_contents($image_path),
			CURLOPT_RETURNTRANSFER	=>	true,
			CURLOPT_BINARYTRANSFER	=>	true,
		)
	);
	$curl_result = curl_exec($curl_session);
	curl_close($curl_session);
	$json = json_decode($curl_result);
	# extract texts(chars) from json
	$res_lines = array();
	$max_height = 0;
	foreach($json->regions as $region){
		foreach($region->lines as $ln_num => $line){
			$tmp = array_reduce($line->words, "text_concat");
			list($d, $d, $d, $height) = explode(",", str_replace('"', "", $line->boundingBox));
			# highest font is used for name
			if($max_height < (int)$height){
				$tmp_len = mb_strlen($tmp);
				if(2 <= $tmp_len && $tmp_len <= 8){
					if(preg_match("/^[\p{Han}\p{Hiragana}\p{Katakana}]+$/u", $tmp)) {
						$max_height = (int)$height;
						$maybe_name = $tmp;
					}
				}
			}
			if(strcmp($maybe_name, $tmp) != 0){
				$res_lines[] = $tmp;
			}
		}
	}
	return array($res_lines, $maybe_name);
}

list($lines_in_image, $maybe_name) = get_ocr_result($tmpfile);
var_dump($lines_in_image);
var_dump($maybe_name);

ブログ記事を読む

Azure上のCentOS 7.6のカーネルバージョン一覧を作る

Azure IaaSで利用できるCentOS 7.6のカーネルバージョンの一覧を作りたいけれども手作業は面倒。az vm image listの結果からリソースグループとVMを作ってsshでコマンド実行したら、リソースグループごと削除するスクリプト。queryの使い方など、参考になるかと。

#!/bin/bash
  
grp_prefix="riodemocentos"

tmplt="res=\$(az group create -l japaneast -g ${grp_prefix}%s)\n ipaddress=\$(az vm create --image %s --size Standard_F4s_v2 -g ${grp_prefix}%s -n ${grp_prefix}%s -o tsv --query publicIpAddress)\n ssh -t -o \"StrictHostKeyChecking no\" \$ipaddress 'uname -r'\n res=\$(az group delete --yes --no-wait -g ${grp_prefix}%s)\n\n"

urns=$(az vm image list --publisher openlogic --all -o tsv --query "[?starts_with(version, '7.6')].urn")
for urn in $urns; do
        yyyymmdd=$(echo -n $urn | sed 's/.*\([0-9]\{8\}\)$/\1/')
        printf "${tmplt}" ${yyyymmdd} ${urn} ${yyyymmdd} ${yyyymmdd} ${yyyymmdd}
done

実行すると、こういうスクリプトを生成する。そのままパイプでbashに渡しても良いし、リダイレクトしてファイルにしておいても良いかと。

res=$(az group create -l japaneast -g riodemocentos20181219)
 ipaddress=$(az vm create --image OpenLogic:CentOS:7.6:7.6.20181219 --size Standard_F4s_v2 -g riodemocentos20181219 -n riodemocentos20181219 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20181219)

res=$(az group create -l japaneast -g riodemocentos20190402)
 ipaddress=$(az vm create --image OpenLogic:CentOS:7.6:7.6.20190402 --size Standard_F4s_v2 -g riodemocentos20190402 -n riodemocentos20190402 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190402)

res=$(az group create -l japaneast -g riodemocentos20190708)
 ipaddress=$(az vm create --image OpenLogic:CentOS:7.6:7.6.20190708 --size Standard_F4s_v2 -g riodemocentos20190708 -n riodemocentos20190708 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190708)

res=$(az group create -l japaneast -g riodemocentos20190306)
 ipaddress=$(az vm create --image OpenLogic:CentOS-CI:7-CI:7.6.20190306 --size Standard_F4s_v2 -g riodemocentos20190306 -n riodemocentos20190306 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190306)

res=$(az group create -l japaneast -g riodemocentos20190426)
 ipaddress=$(az vm create --image OpenLogic:CentOS-CI:7-CI:7.6.20190426 --size Standard_F4s_v2 -g riodemocentos20190426 -n riodemocentos20190426 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190426)

res=$(az group create -l japaneast -g riodemocentos20190327)
 ipaddress=$(az vm create --image OpenLogic:CentOS-HPC:7.6:7.6.20190327 --size Standard_F4s_v2 -g riodemocentos20190327 -n riodemocentos20190327 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190327)

res=$(az group create -l japaneast -g riodemocentos20190529)
 ipaddress=$(az vm create --image OpenLogic:CentOS-HPC:7.6:7.6.20190529 --size Standard_F4s_v2 -g riodemocentos20190529 -n riodemocentos20190529 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190529)

res=$(az group create -l japaneast -g riodemocentos20190130)
 ipaddress=$(az vm create --image OpenLogic:CentOS-LVM:7-LVM:7.6.20190130 --size Standard_F4s_v2 -g riodemocentos20190130 -n riodemocentos20190130 -o tsv --query publicIpAddress)
 ssh -t -o "StrictHostKeyChecking no" $ipaddress 'uname -r'
 res=$(az group delete --yes --no-wait -g riodemocentos20190130)

ブログ記事を読む

Azureに構築したrsyncサーバにparsyncfpでバックアップする

原始的な方法なんだけど、AzureにLinuxのVMを立ててそこにrsyncでバックアップするスクリプト。rsyncdの設定は普通にすればOK。クライアントはrsyncではなく、parsyncfpを使って爆速にする。これをcronで1日1回動かすので、chmod 755とかその辺は適宜設定して欲しい。ストレージをStandard / Premiumで切り替えてコストも最小に抑えてある。

#!/bin/bash

com="parsyncfp --rsyncopts=\"-a\" --chunksize=32M --nowait --NP=32"
par_dir="/opt"
src_dir="/Photos_and_Videos/"

hosts='your_vm_name'
for vm in $hosts; do
	disk=$(az vm show -g ${vm} -n ${vm} -o tsv --query storageProfile.osDisk.name)
	az disk update -g $vm --sku Premium_LRS --name $disk -o table
	dnames=$(az vm show -g ${vm} -n ${vm} -o tsv --query storageProfile.dataDisks[].name)
	for disk in $dnames; do
		az disk update -g $vm --sku Premium_LRS --name $disk -o table
	done
	az vm start -g $vm -n $vm -o table
done

yyyy=$(date +%Y)
for vm in $hosts; do
	vmurl=$(az network public-ip list -g ${vm} --query [].dnsSettings.fqdn -o tsv)
	${com} --startdir="${par_dir}${src_dir}" ${yyyy} rsync://${vmurl}:${src_dir}
done

for vm in $hosts; do
	az vm deallocate -g $vm -n $vm -o table
	disk=$(az vm show -g ${vm} -n ${vm} -o tsv --query storageProfile.osDisk.name)
	az disk update -g $vm --sku Standard_LRS --name $disk -o table
	dnames=$(az vm show -g ${vm} -n ${vm} -o tsv --query storageProfile.dataDisks[].name)
	for disk in $dnames; do
		az disk update -g $vm --sku Standard_LRS --name $disk -o table
	done
done

ブログ記事を読む

Excel for macOSのUTF-8 CSVからBOMを自動で除去する

ツイでそんな話題があったので、ちょっとAutomatorで書いてみた。

まず、Automatorでremove_bom.workflowというフォルダアクションを作成する。

ext=${1##*.}
if [ "${ext}" == "csv" ]; then
	bom_exists=$(grep -l ^$'\xef\xbb\xbf' $1)
	if [ "$bom_exists" == "$1" ]; then
		cat $1 | (rm $1; sed '1s/^[^[:alnum:]]*//' > $1)
	fi
fi

拡張子がcsvで、BOMが付いていたら、alnum(Alpha Numeric)じゃない先頭の文字列を消す、というロジック。macOSのsedではhexdecimalな検索が出来ないのでこうしてるが、brew install sedすればもっと確実に、

remove_bom.workflow.zip

sed -i '1s/^\xef\xbb\xbf//'

すりゃ良い。

で、こいつを保存したら「監視したいフォルダ」を右クリックしてコンテキストメニューから「フォルダアクション設定...」を選ぶ。

「サービスを確認」ダイアログで[サービスを実行]ボタンをクリック。

「フォルダアクション設定」が表示されたら、右側の[スクリプト]の下にある[+]ボタンをクリック。

「関連付けるスクリプトを選択:」で先に保存したアクションを選択する。

さて、Excelで、"CSV UTF-8 (コンマ区切り) (.csv)"で保存してみよう。

うまく行けば、保存したCSVは次の瞬間にBOMが除去されているので、hexdumpコマンドで見るとこの通り"EF BB BF"が先頭から消えているはず。

これはmacOSのfseventsdをベースにしているので、既に存在するファイル名に対してExcelで「別名で保存」して上書きすると動かない弱点があるので注意。

実はこれ、同じ要領でmacOSのスクショの名前を変更するのに使っていたので、似たようなものだったりする。"ScreenShots YYYY-MM-DD hh.mm.ss.png"という名前で保存されてしまって、この日時部分がscreenshotsコマンドはカスタマイズ出来ないが、個人的に"YYYYMMDDhhmmss.png"というファイル名の方が都合がよく、スクショをとったら自動的にファイル名をrenameしてる。

追記（2019.07.23）：さらにバグを見つけたので修正。

prefix=$(defaults read com.apple.screencapture name)

dname=$(dirname "$1")

fname=$(basename "$1")

ext=".$(defaults read com.apple.screencapture type)"

if [ "${fname:0:${#prefix}}" == "$prefix" ]; then

	if [ "$ext" == "." ]; then

		ext=$(echo "$fname" | sed 's/.*\(\.[^\.]*\)$/\1/')

	fi

	to=(`echo -n "$fname" | sed "s/${prefix}\ \([0-9]\{4\}\)-\([0-9]\{2\}\)-\([0-9]\{2\}\)\ \([0-9]\{1,2\}\)\.\([0-9]\{2\}\)\.\([0-9]\{2\}\)${ext}/\1 \2 \3 \4 \5 \6/"`)

	yyyymmdd="${to[0]}${to[1]}${to[2]}"

	# Why Apple doesn't use zero-filled 2 digits 'hour'?

	hhmmss=$(printf %02d ${to[3]})${to[4]}${to[5]}

	mv "${1}" "${dname}/${yyyymmdd}${hhmmss}${ext}"

fi

追記（2019.07.18）：バグを見つけたので修正版。

prefix=$(defaults read com.apple.screencapture name)
dname=$(dirname "$1")
fname=$(basename "$1")
ext=".$(defaults read com.apple.screencapture type)"
if [ "$ext" == "" ]; then
	ext=$(echo "$fname" | sed 's/.*\(\.[^\.]*\)$/\1/')
fi
if [ "${fname:0:${#prefix}}" == "$prefix" ]; then
	to=(`echo -n "$fname" | sed "s/${prefix}\ \([0-9]\{4\}\)-\([0-9]\{2\}\)-\([0-9]\{2\}\)\ \([0-9]\{1,2\}\)\.\([0-9]\{2\}\)\.\([0-9]\{2\}\)${ext}/\1 \2 \3 \4 \5 \6/"`)
	yyyymmdd="${to[0]}${to[1]}${to[2]}"
	# Why Apple doesn't use zero-filled 2 digits 'hour'?
	hhmmss=$(printf %02d ${to[3]})${to[4]}${to[5]}
	mv "${1}" "${dname}/${yyyymmdd}${hhmmss}${ext}"
fi

rename_screenshots.workflow.zip

こちらは旧バージョン。

fname=$(basename $1)
if [ "${fname:0:11}" == "ScreenShots" ]; then
	to=$(echo $1 | sed 's/ScreenShots\ \([0-9]\{4\}\)-\([0-9]\{2\}\)-\([0-9]\{2\}\)\ \([0-9]\{2\}\)\.\([0-9]\{2\}\)\.\([0-9]\{2\}\)\.png/\1\2\3\4\5\6.png/')
	mv "${1}" ${to}
fi

なお、これらのフォルダアクションは、~/Library/Workflows/Applications/Folder Actions/に保存されている。

ブログ記事を読む

Mac miniが届いて1ヶ月

メインで使ってきたMacBook Pro 2017 13インチだと色々性能が不足してきてるのでMac miniを6月12日に買ったのだけれど、全然ブログに記録してなくて過去のマシン遍歴が分からなくなってるな、と。

2018年11月28日には、MBA 13.3 1.6GHz / 16GB / 512GBを予備機として購入してたが、これもブログに書いてない。

2017年2月に、MBP 2017を社給で。

その前は、2016年11月25日に購入した、MBP 3.3GHz / 16GB / 512GB。

さらに前。2015年4月13日にMBA 2.2GHz / 8GB / 256GB。

2014年8月24日、MBP 3.0GHz / 16GB / 512GB。

2011年9月12日、MBA 1.6GHz / 4GB / 64GB。

個人購入以外に社給のものが数台あるので、よく分からなくなってるな...。

ブログ記事を読む

RHELのアクティブなサービス一覧を取得する

とりま動けば良いや、って大急ぎで書いたので、汚いのは勘弁。サービスの一覧を取得して、そのサービスファイルを入れたrpmパッケージから変更されたファイルの一覧を作成するスクリプト。

#!/bin/bash

while read line || [ -n "${line}" ]; do
        user=$(echo -n $line | cut -d ' ' -f 1)
        host=$(echo -n $line | cut -d ' ' -f 2)
        port=$(echo -n $line | cut -d ' ' -f 3)
        if [ -z "$user" ]; then
                user="root"
        fi
        if [ -z "$port" ]; then
                port=22
        fi
        if [ -z "$host" ]; then
                exit
        fi
        # guess RHEL7/8
        os_vers=$(ssh -n -o "StrictHostKeyChecking  no" -p ${port} ${user}@${host} '[ -f /etc/os-release ]&& OS_VERS="$(eval $(grep ^VERSION= /etc/os-release); echo ${VERSION})"; echo ${OS_VERS:0:1}')
        if [ "$os_vers" == "8" ] || [ "$os_vers" == "7" ]; then
                ssh -n -o "StrictHostKeyChecking  no" -p ${port} ${user}@${host} "sudo systemctl list-units --no-pager --state=running *.service | grep '^.*.service' | sed 's/^\(.*\)\.service.*/\\1/'" > service_$host.txt
                while read serv || [ -n "${serv}" ]; do
                        echo "service:${serv}" >> changed_conf_$host.txt
                        ssh -n -o "StrictHostKeyChecking  no" -p ${port} ${user}@${host} "sudo rpm -V \$(sudo rpm -qf /usr/lib/systemd/system/$serv.service)" >> changed_conf_$host.txt
                done < service_$host.txt
        else
                ssh -n -o "StrictHostKeyChecking  no" -p ${port} ${user}@${host} 'LV=$(grep /etc/inittab | cut -d: -f2); sudo chkconfig --list | grep ${LV}:on | awk "{print \$1}"' > service_$host.txt
                while read serv || [ -n "${serv}" ]; do
                        echo "service:${serv}" >> changed_conf_$host.txt
                        ssh -n -o "StrictHostKeyChecking  no" -p ${port} ${user}@${host} "sudo rpm -V \$(sudo rpm -qf /etc/rc.d/init.d/$serv)" >> changed_conf_$host.txt
                done < service_$host.txt
        fi

done < host_list.txt

ブログ記事を読む

りおてく

娘ちゃんの自転車用免許証

Azureの各リージョンに東日本からiperfしてみた

Azureの各リージョンにiperfしてみた

Azure CognitiveのComputer Visionで名刺をOCRするPHPのサンプル

Azure上のCentOS 7.6のカーネルバージョン一覧を作る

CentOS 7.6 on Azure

Azureに構築したrsyncサーバにparsyncfpでバックアップする

Excel for macOSのUTF-8 CSVからBOMを自動で除去する

Mac miniが届いて1ヶ月

RHELのアクティブなサービス一覧を取得する