PADの画像認識(画像マッチング)で画面上のボタンをクリックする方法【Power Automate Desktop】

Power Automate Desktop

Power Automate Desktop(PAD)で、画像認識(画像マッチング)で画面上のボタンをクリックする方法について解説します。

PADの画像認識機能を使うシーンとしては、

上記のように、PCのデスクトップ上にあるアイコンをクリックしたり、Webページの画像になっているボタンをクリックしたりと、画像を認識させて、それに対してクリックしたい場合に使用します。

「マウスを画像に移動」アクション

PADのフロー編集画面で、「マウスを画像に移動」をドラッグアンドドロップで真ん中の白いエリアに配置します。

以下のポップアップが表示されますので、「画像を選択してください」を押します。

「画像のキャプチャ」を押します。

クリックしたい画像を選択する

虫眼鏡のような丸いエリアが表示されますので、

クリックしたい画像を、マウスをドラッグして範囲選択します。

※クリックではなく、範囲選択してください!

範囲選択が終わると、「画像が正常にキャプチャされました」と表示されます。

選択した画像が正しくキャプチャできていれば、OKを押します。

アクション設定の画面に戻ると、キャプチャした画像が表示されています。

クリックの設定

キャプチャした画像をクリックするよう設定します。

「マウス移動後にクリックを送信します」をオンにします。

すると、「クリックの種類」というプルダウンが表示されますのでクリックの種類を選択します(左クリック、右クリック、ダブルクリックなど)

これで、画像認識して画像をクリックする部分はできました。

※画面上に表示されていないと画像認識できない

本アクションは、画面上に対象の画像が表示されていないと画像認識することができません。例えば、

  • Webページを開いたらポップアップ広告が出てボタンが隠れている
  • 別のウインドウを開いていて、対象の画像が画面上に表示されていない

等の状態でフローを実行すると、画像を認識できない旨のエラーが発生します。

Image not found on screen.

デスクトップを表示(全てのウインドウを最小化)

デスクトップ上のアイコンをクリックしたい場合には、「デスクトップを表示」アクションを追加します。

これでフローを実行すると、開いているすべてのウインドウが最小化されデスクトップが表示され、対象のアイコンがダブルクリックされてGoogle Keepが開きます。

Webページ上の画像ボタンをクリックしたい場合

Webページ上の画像や、UI要素では指定することのできない、画像になっているボタンをクリックしたい場合は、以下のようなフローになります。

ここで重要となるのは、「ウインドウにフォーカスする」というアクションです。このアクションがない場合、フロー実行後に対象のページが後ろに隠れてうまく押せないことがあります。

「ウインドウにフォーカスする」アクションを追加し、以下のように設定します。

  • ウインドウの検索モード:ウインドウのインスタンスハンドルごと
  • ウィンドウインスタンス:%Browser% (対象のWebページ)

これで実行すると、対象のWebページが一番前のウインドウに来るため、画像をクリックすることができるようになります。

Webページのクリックしたい部分が、UI要素として取得できる場合は、画像認識よりもWebページのリンクをクリックアクションにて行うことをおすすめします。

UI要素(HTMLのタグ)で指定するので、クリックの精度が画像よりも高いです。

画像認識がうまくいかないとき

画像キャプチャを正確に行う

「マウスを画像に移動」アクションでクリックしたい画像のキャプチャを行うときに、なるべく余白を入れず、クリックしたい画像のみを選択するようにすると正確に認識されやすくなります。

許容値を変更してみる

画像認識がうまくいかない or うまくいったりいかなかったりする場合は、「マウスを画像に移動」アクションの詳細設定にある「許容値」の値を大きくしてみてください。

「許容値」というのは、検索対象の画像に対して、実際の画像がどれだけ異なるかの数値です。これを少しずつ微調整することで、正しく判定できる確率を上げることができます。

異なるPCで実行した際に判定エラーとなる場合がある

Microsoft公式サイト内に、

Power Automate で画像をキャプチャするとき、保存された画像は、ソース コンピューターの画面解像度と DPI スケーリングの影響を受けます。

異なる画面またはマシンでフローが画像認識を実行する場合は、すべての画面が正確な画面解像度であることを確認する必要があります。

引用:画面解像度が異なるマシンで画像認識を使用する

と記載がありました。フローを作成したPCと、実際に実行するPC間に解像度の差がある場合に起こりうるエラーです。

回避策としては、画面の解像度を設定アクションを使用して、あらかじめ解像度を固定する方法があります。

まとめ

今回は、Power Automate Desktop(PAD)で、画像認識(画像マッチング)で画面上のボタンをクリックする方法について解説しました。

「マウスを画像に移動」アクションは、Webページの画像をクリックしたいけどUI要素がうまく取れない場合や、各種アプリケーションの起動などのローカル操作等に活用できるアクションです。

参考:Power Automate マウスとキーボードのアクション

\楽天ポイント4倍セール!/
楽天市場
chaso

文系出身、数字が苦手な平凡主婦。塾講師、大手企業SE、不動産事務、Webライター、結婚後はパートタイムでエンジニアをしています。機械音痴だけど効率化や自動化をこよなく愛しています!お仕事の依頼・ご相談は問い合わせよりお願いいたします♪

chasoをフォローする

コメント

タイトルとURLをコピーしました