Power Automate Desktop(PAD)で、画像認識を用いてクリックする方法と、うまく画像認識ができない場合の原因・解決策について解説します。
PADの画像認識のやり方
【STEP1】「マウスを画像に移動」アクションの追加
Power Automate Desktop(PAD)で画像認識をする際には、以下のアクションを使います。
マウスを画像に移動
ドラッグアンドドロップで真ん中の白いエリアに配置します。
【STEP2】クリックしたい画像を選択する
STEP1で「マウスを画像に移動」アクションを追加すると、以下のようなポップアップが表示されますので、
「画像を選択してください」をクリックします。
「画像のキャプチャ」を押します。
【STEP3】認識させる画像のキャプチャ
「画像のキャプチャ」を押すと、PADの画面が閉じてキャプチャモードになります。
このとき、あらかじめ認識させたい画像をあらかじめ表示しておいてください。
上記は、OneDrive上の「ダウンロード」ボタンをクリックしたい場合の例ですが、個の場合、ファイルのメニューを開いて「ダウンロード」ボタンが表示されている状態にしておき、PADでキャプチャをします。
画像認識させたい範囲を、マウスをドラッグさせて指定します。
ドラッグしたあとマウスを離すと、以下のダイアログが表示されます。
このとき、デフォルトでは「Image1」という名前になっていますが、必要に応じて分かりやすく名前を変更しておくと良いです。
OKを押すと、以下のように「マウス移動先の画像」にキャプチャした画像が設定されます。
【補足】n秒後に画像キャプチャを行いたい場合
クリックしたい部分にカーソルを合わせて色が変化するなどの場合は、すぐにキャプチャを撮るのではうまくいきません。
そこで、このような場合には「3秒後に画像をとりこむ」「5秒後に画像を取り込む」などを使って画像をキャプチャします。
【STEP4】画像クリックの設定
次に、画像のクリックについて設定します。
今回は画像をクリックしたいので、「左クリック」を選択しました。
うまく画像認識ができない場合の原因・解決策
「マウスを画像に移動」アクションで、画像をうまくクリックできない場合の原因と解決策について解説します。
【原因１】クリックするときに背景色が変わる場合
画像をうまくクリックできない原因の1つ目に、クリックするときに背景色や背景色が変わるなど、見た目に変化がある場合です。
例えば、以下のように、カーソルを合わせる前は背景色が白なのに、カーソルを合わせると背景色がグレーになる場合などです。
【対策】カーソルが当たる前・後それぞれの画像を登録しておく
上記のような場合には、カーソルが当たる前・当たった後の画像をそれぞれ登録しておきます。
【原因２】クリックする画像の内容が、実際の画面と異なっている
画像をうまくクリックできない原因の２つ目に、クリックする画像が、最初に設定したときと変化してしまっていることが考えられます。
たとえば、上記はOneDriveでファイルをアップロードした際、新規追加ファイルにはマークがついています。しかし、時間が経つとこのマークは消えるため、画像認識に失敗する可能性があります。
対策としては、変化する可能性のない範囲をキャプチャすることです。
【ポイント】許容値を変えるのも１つの手
「マウスを画像に移動」アクションでは、「許容値」の設定ができます。
許容値は、数値が大きいほどあいまいな検索、数値が小さいほど正確な検索になります。
【原因３】PCの解像度を変更したため画像認識に失敗している
画像をうまくクリックできない原因の３つ目に、PCの解像度を変更したために画像認識に失敗していることが挙げられます。
- インストールしたソフトの影響で解像度が変わってしまっている
- 拡大鏡を自動的に開始する設定になっている
また、他の端末で動いているフローを複製して作ったフローの場合、複製元の端末と解像度や画面サイズが異なると画像認識に失敗する場合があります。
フローをコピーした際には、複製先の端末で正常に動作するか確認し、「マウスを画像に移動」アクションで失敗している場合には再度キャプチャをし直す必要があります。
まとめ
今回は、Power Automate Desktop(PAD)で、画像認識を用いてクリックする方法と、うまく画像認識ができない場合の原因・解決策について解説しました。
当ブログでは、Power Automate、Power Automate Desktopに関する記事を他にも投稿しています。もし、「このようなことが知りたい」「こんなフローの作り方が知りたい」等ございましたら、問い合わせやコメントからお気軽にご連絡ください。
▼関連記事
ポチップ
コメント