この記事は下記の方向けの内容です。
・WinActorの基本的な仕組みは理解している
・画像マッチング又は輪郭マッチングを使ったことがある
・画像マッチングのマッチ率って結局いくつにしたら良いのか分からない
【WinActorノードの違いが分かっていそうで、実はあまりよく分かっていないシリーズ】という事で、
本日はWinActorで自動化する際にとても頼りになる
・画像マッチング
・輪郭マッチング
の違いを解説した動画です！
同じような機能なのでどちらを使用するか迷ったり、画像マッチングのマッチ率を何％にしたら良いのか、輪郭マッチングの精度はどれを選べば良いのか等、迷われた経験のある方も多いのではないでしょうか？
今回はそんな方に向けた解説動画です！
文章では説明が分かりづらい内容ですので、
音声がOKな方は是非動画で観て下さいね！！！
↓↓↓文章で読みたい方はこちら↓↓↓
【何に使うの？】
画像マッチング、輪郭マッチングは画面上に表示されている画像を認識し、事前に設定した画像を探し出して見つけた画像を起点にクリックなどの動作を行うことが可能です。
自社システムなどやウェブシステムなど、WinActorの自動記録が上手く動作しない場合に、活用します。
【違いは何？】
画像マッチングと輪郭マッチングの違いは主に下記の3点です。
①画像の色の違いに対する挙動
②画像のサイズの違いに対する挙動
③画像の僅かな違いに対するマッチングの正確性
【検証内容① 画像・輪郭マッチングの画像の探し方】
違いの解説の前に共通点を。
画像マッチング・輪郭マッチングの共通の特徴として画像の探し方が挙げられます。
事前設定した画像をウィンドウの範囲内で探すのですが、、、もし全く同じ画像が複数あった場合どうなるのか？
答えは、
【左上から右下に向かって”Z”字の順で探すので、左上にあるものが最初にマッチングする】です。
【検証内容② 色の違いに対する挙動】
ここからは画像マッチングと輪郭マッチングの違いです。
画像マッチングは色の違いを認識していて輪郭マッチングはしていないと聞いたことがあり、実際どういった挙動を示すのかを確認しました。
↑この画像から、B2セルの「ボタン」という画像を探させます
この白背景・黒文字の画像を探して、マッチしたらそのセルの文字を消す検証方法です。
↑【画像マッチング “マッチ率80%”】の場合
マッチ率を100→80に落としたことで、ある程度の色の変化には対応できましたがやはり残ります。
「普段は白背景黒文字だけど、選択中の選択肢青背景白文字になる」みたいなよくあるシステムでは利用は難しいかもしれません。
↑【輪郭マッチング “精度低”】の場合
輪郭マッチングの精度が低い方(速度優先)にも関わらず全てを消せました。
(結論)
前評判通り、色の変化には輪郭マッチングが画像マッチングより対応力に優れている事が分かります。
【検証内容③ サイズの違いに対する挙動】
画像マッチングと輪郭マッチングの違いとして、画像マッチングは画像のサイズ変更や解像度変更に弱く、輪郭マッチングはそれにある程度対応できると言われます。
実際どれほど違うのか検証しました。
↑この画像から、B2セルの「ボタン」という画像を探させます
B2セルの元画像は、文字サイズが”11″、B列はそこから”12″,”13″,”14″,”15″,..というように拡大していき、C列は逆に”10″,”9″,”8″,”7″,..というように縮小していきます。
これで文字サイズの変更にどれほど対応できるのか？を検証します。
↑【画像マッチング “マッチ率50%”】の場合
画像マッチングの場合、なんと、、、マッチ率100%や80%はおろか、50%まで落としても元画像以外をマッチングする事が出来ませんでした。
画像の拡大縮小に非常に弱いと言えそうです。
↑【輪郭マッチング “精度高”】の場合
輪郭マッチングの精度が高い方(精度優先)にしたところ、拡大に対してはほぼ全て、縮小に対してもある程度の対応が出来ました。
(結論)
前評判通り、画像サイズの拡大縮小にも輪郭マッチングが画像マッチングより対応力に優れている事が分かります。
【検証内容④ 画像の僅かな違いに対するマッチングの正確性】
ここまでの結果では輪郭マッチングに軍配が上がっていましたが、、、
画像マッチングの方が優れている点は果たしてあるのか？
最後の検証内容は、【正確性】です
↑この画像から、B2セルの「ボタン」という画像を探させます
B列はボタンのままにして、C列に類似した文字、
「ホ」「ボ」「ポ」、「ン」「シ」「ツ」など配置してみました。
これでマッチングの正確性はいかほどか？を検証します。
↑【画像マッチング “マッチ率100%”】の場合
画像マッチングの場合、マッチ率100%に近づける事でB列の元画像のみを削除し、完璧な判別をする事が出来ました。
↑【輪郭マッチング “精度高”】の場合
輪郭マッチングの精度が高い方(精度優先)にしても、、、
なんと文字数が1文字少ない「タン」ですら消してしまいました。
輪郭マッチングの精度はこれ以上は上げれないのです。
(結論)
マッチングの正確性に関しては、画像マッチングに軍配が上がりました。
ただし、動画中でもお話させて頂いてますが
例えマッチ率を80%に落としたとしても、いきなり80%で探し始める訳では無く、「最初は100%で探して、終わったら99%で探して、、、、」という動作をしているようですので、誤作動のリスクを考える上ではそこも考慮すると良いかもしれません。
【まとめ】
①色の変化 画像マッチング＜輪郭マッチング
②サイズの変化 画像マッチング＜輪郭マッチング
③正確性 画像マッチング＞輪郭マッチング
であり、場合によって適したものを使い分ける必要がありそうです。
また、画像マッチングのマッチ率輪郭マッチングの精度の選択もその状況に応じて変える必要がありそうです。
色々検証したにも関わらず曖昧な結論になってしまいましたが、、、
ご覧いただきありがとうございました！！！
皆様のWinActorライフの一助になれば幸いです！
