無償化された「Power Automate Desktop」の基本的な使い方や、「UI オートメーション」アクションをつかってできることを解説します。
アクション｜UI オートメーション
「Power Automate Desktop」で設定できる「UI オートメーション」のアクションです。
Windows
サイズ、状態の表示、フォーカスに関する Windows の操作です。
| 項目 | 内容 |
| ウィンドウの取得 | デスクトップ アプリケーションを自動化するため、実行中のウィンドウを取得します。 |
| ウィンドウにフォーカスする | 特定のウィンドウをアクティブ化してフォアクラウンドに表示します。 |
| ウィンドウの状態の設定 | 特定のウィンドウを復元、最大化、または最小化します。 |
| ウィンドウの表示方法を設定する | 非表示のウィンドウを表示するか、表示されているウィンドウを非表示にします。 |
| ウィンドウの移動 | 特定のウィンドウの位置を設定します。 |
| ウィンドウのサイズ変更 | 特定のウィンドウのサイズを設定します。 |
| ウィンドウを閉じる | 特定のウィンドウを閉じます。 |
データ抽出
単一の値からテーブルまたは複数のカスタム データまで、デスクトップ アプリケーションからデータを抽出します。
| 項目 | 内容 |
| ウィンドウの詳細を取得する | ウィンドウのタイトルやソース テキストなどのプロパティを取得します。 |
| ウィンドウにある UI 要素の詳細を取得する | ウィンドウにある UI 要素の属性値を取得する。 |
| ウィンドウにある選択済みチェック ボックスを取得する | チェック ボックス グループ内のオンになったチェック ボックスの名前、または特定のチェック ボックスの状態を取得します。 |
| ウィンドウにある選択済みラジオ ボタンを取得する | ラジオ ボタン グループ内のオンになったラジオ ボタンの名前、または特定のラジオ ボタンの状態を取得します。 |
| ウィンドウからデータを抽出する | 単一の値、リスト、またはテーブルの形式で、ウィンドウの特定の部分からデータを抽出します。 |
| UI 要素のスクリーンショットを取得する | ウィンドウ内の UI 要素のスクリーンショットを取得する。 |
フォーム入力
デスクトップ アプリケーションのフォームに入力します。
| 項目 | 内容 |
| ウィンドウ内のテキスト フィールドをフォーカス | ウィンドウのテキスト ボックスにフォーカスを設定し、スクロールして表示します。 |
| ウィンドウ内のテキスト フィールドに入力する | ウィンドウ内のテキスト ボックスに指定されたテキストを入力します。 |
| ウィンドウ内のボタンを押す | ウィンドウ ボタンを押します。 |
| ウィンドウのラジオ ボタンをオンにする | ウィンドウのラジオ ボタンを選択します。 |
| ウィンドウのチェック ボックスの状態を設定 | ウィンドウ フォームのチェック ボックスをオンまたはオフにします。 |
| ウィンドウでドロップ ダウン リストの値を設定する | ウィンドウ フォームのドロップダウン リストで選択されているオプションを設定するかクリアします。 |
基本操作
基本的な操作項目です。
| 項目 | 内容 |
| デスクトップを使用する | デスクトップとタスク バー関連の操作を実行します。 |
| ウィンドウでタブを選択する | タブのグループからタブを選択します。 |
| ウィンドウの UI 要素をクリックする | ウィンドウの任意の UI 要素をクリックする。 |
| ウィンドウ内のメニュー オプションを選択する | ウィンドウのメニューのオプションを選択します。 |
| UI 要素をウィンドウ内にドラッグ アンド ドロップする | ウィンドウの UI 要素をドラッグ アンド ドロップする。 |
| ウィンドウ内のツリー ノードを展開/折りたたむ | ウィンドウ内にあるツリー ビューのノードを展開するか折りたたみます。 |
具体的な設定方法
それぞれのグループ別にアクションをいくつかピックアップして使い方をご紹介します。
Windows
こちらでは「ウィンドウ」の操作方法をご紹介します。
それぞれのアクションは直感的な操作で設定ができるかと思いますので、こちらのグループに共通する「ウィンドウの検索モード」についてご説明をします。
ただし、おなじ「Windows」のグループであってもアクション「ウィンドウの取得」は他とちがう方法での設定となりますのでご了承ください。
例えば、アクション「ウィンドウにフォーカスをする」などで「パラメーターの選択」として設定をおこなう箇所についての解説です。
ウィンドウの UI 要素ごと
「ウィンドウ」の検索モードで「ウィンドウの UI 要素ごと」を選択します。
つぎに、「ウィンドウ」の入力箇所をクリックすると以下のような表示がされます。
（あらかじめ「UI 要素」を追加していた場合、追加済の「UI 要素」を選択する形になります。）
「UI 要素の追加」をクリックするとこのような画面が表示されます。
こちらは、デスクトップに開いているテキスト（メモ帳）を指定している例です。
指定方法としては、マウスカーソルを移動させるとウィンドウに赤枠が自動的に表示されますので、指定したいウィンドウで「Ctrl」キーを押しながらクリックをします。
設定が完了すると、このように指定要素が選択できる状態になります。
ウィンドウのインスタンス/ハンドルごと
こちらのフローをつかってご紹介をします。
パラメーターの選択「ウィンドウ インスタンス」では変数を指定する必要がありますので、1番目と2番目のアクションで事前準備をします。
まず、「ウィンドウにフォーカスする」で対象のUI 要素を指定します。
こちらでも先ほどの例とおなじ手順で設定をします。
こちらが設定対象となるUI 要素です。
つぎに、「ウィンドウの取得」をします。
パラメーターの選択で「ウィンドウの取得」を「フォアグラウンド ウィンドウ」を選択します。
「フォアグラウンド ウィンドウ」 とは、デスクトップのいちばん前にある選択中（操作対象）のウィンドウのことです。
これで事前準備は完了しました。
つぎに、パラメーターの選択「ウィンドウの検索モード」を「ウィンドウのインスタンス/ハンドルごと」を選択し、さきほど取得した変数「AutomationWindow」を指定します。
こちらが実行結果です。
もともと他の画面で背景側にあったテキスト（メモ帳）が選択されて、「ウィンドウの移動」によって位置が変わっていることがわかります。
タイトルやクラスごと
「ウィンドウ タイトル」と「ウィンドウ クラス」を指定して設定をします。
それぞれドロップダウンメニュー から対象のウィンドウを選択する形になりますが、赤枠の「ウィンドウの選択」を使いましょう。
「ウィンドウの選択」をクリックすると赤枠が自動的に表示されます 。
指定したいウィンドウまでマウスカーソルを移動させて、「Ctrl」キーを押しながらクリックをします。
「ウィンドウ タイトル」と「ウィンドウ クラス」 に値が入力されていることが確認できます。
データ抽出
単一の値からテーブルまたは複数のカスタム データまで、デスクトップ アプリケーションからデータを抽出します。
こちらのグループでのウィンドウの指定方法は、Windowsグループでご説明をしました「ウィンドウの UI 要素ごと」とおなじ方法です。
例えば、アクション「ウィンドウの詳細を取得する」の設定をする場合、以下のような画面でUI 要素を指定することになります。
こちらの設定方法は、上記でお伝えした内容とおなじ方法となりますので、Windowsグループの「ウィンドウの UI 要素ごと」をご覧ください。
フォーム入力
デスクトップ アプリケーションのフォームに入力します。
こちらのグループでのウィンドウの指定方法についても、Windowsグループでご説明をしました「ウィンドウの UI 要素ごと」とおなじ方法です。
こちらの設定方法についても、上記でお伝えした内容とおなじ方法となりますので、Windowsグループの「ウィンドウの UI 要素ごと」をご覧ください。
基本操作
UI オートメーションの基本的な設定項目です。
こちらのグループでのウィンドウの指定方法についても、Windowsグループでご説明をしました「ウィンドウの UI 要素ごと」とおなじ方法です。
こちらの例では、あらかじめタスクバーに設定してある「Microsoft Edge」を指定しています。
設定の詳細方法については、Windowsグループの「ウィンドウの UI 要素ごと」をご覧ください。
具体的な使い方
それぞれのグループでいくつかのアクションの使い方をご紹介します。
Windows
ウィンドウの取得
デスクトップ アプリケーションを自動化するため、実行中のウィンドウを取得します。
例としてこちらのテキスト ファイル（メモ帳）を使ってご説明をします。
なお、ウィンドウの取得にはつぎの2つの方法があります。
- フォアグラウンド ウィンドウ
- 特定のウィンドウ
フォアグラウンド ウィンドウ
ウィンドウの取得で「フォアグラウンド ウィンドウ」を選択しています。
「フォアグラウンド ウィンドウ」とは、デスクトップのいちばん前にある選択中（操作対象）のウィンドウのことです。
こちらが実行結果です。
2つの変数を取得することができます。
特定のウィンドウ
ウィンドウの取得で「特定のウィンドウ」を選択しています。
こちらは、UI 要素をつかってウィンドウを指定します。
こちらが実行結果です。
ウィンドウの状態の設定
特定のウィンドウを復元、最大化、または最小化します。
「ウィンドウの状態」で選択できる項目はつぎのとおりです。
- 復元済み
- 最大化
- 最小化
こちらの条件で動作の確認をします。
こちらが実行結果です。
テキスト ファイル（メモ帳）のウィンドウの状態が変わっていることが確認できます。
なお、「最大化」の状態から「復元済み」を実行した場合はこのような結果となります。
データ抽出
ウィンドウの詳細を取得する
ウィンドウのタイトルやソース テキストなどのプロパティを取得します。
「ウィンドウ プロパティ」で選択できる項目はつぎのとおりです。
- ウィンドウ タイトルを取得する
- ウィンドウ テキストを取得する
- ウィンドウの場所とサイズを取得する
- プロセス名の取得
こちらの条件で動作の確認をします。
今回対象とするファイルはこちらです。
実行結果｜ウィンドウ タイトルを取得する
実行結果｜ ウィンドウ テキストを取得する
実行結果｜ ウィンドウの場所とサイズを取得する
実行結果｜ プロセス名の取得
ウィンドウにある UI 要素の詳細を取得する
ウィンドウにある UI 要素の属性値を取得します。
「属性名」で選択できる項目はつぎのとおりです。
- Own Text
- Exists
- Location and Size
- Enabled
こちらの条件で動作の確認をします。
こちらのテキスト ファイルをつかって動作確認をします。
このファイルを開いた状態でフローを実行しています。
実行結果｜Own Text
ウィンドウのテキスト
実行結果｜Exists
ウィンドウの存在
実行結果｜Location and Size
ウィンドウの場所とサイズ
実行結果｜Enabled
ウィンドウの動作
ウィンドウからデータを抽出する
単一の値、リスト、またはテーブルの形式で、ウィンドウの特定の部分からデータを抽出します。
「抽出したデータの保存場所」で選択できる項目はつぎのとおりです。
- Excel スプレッドシート
- 変数
こちらの条件で動作の確認をします。
こちらのテキスト ファイルをつかって動作確認をします。
実行結果｜Excel スプレッドシート
このようにエクセル ファイルが生成されます。
実行結果｜ 変数
フォーム入力
ウィンドウ内のテキスト フィールドに入力する
ウィンドウ内のテキスト ボックスに指定されたテキストを入力します。
こちらが実行結果です。
なお、設定できる「詳細」の項目はつぎのとおりです。
「フィールドが空白ではない場合」で選択できる項目です。
- テキストを置換する
- テキストに追加する
「入力する前にクリックしてください」 で選択できる項目です。
- 左クリック
- ダブル クリック
- いいえ
基本操作
デスクトップを使用する
デスクトップとタスク バー関連の操作を実行します。
UI 要素をつかってタスク バーを選択することができます。
なお、「クリックの種類」で選択できる項目はつぎのとおりです。
- 左クリック
- 右クリック
- ダブル クリック
ウィンドウの UI 要素をクリックする
ウィンドウの任意の UI 要素をクリックします。
UI 要素をつかってデスクトップのアイコンを選択することができます。
なお、「クリックの種類」で選択できる項目はつぎのとおりです。
- 左クリック
- 右クリック
- ダブル クリック
- 左ボタンを押す
- 左ボタンを離す
- 右ボタンを押す
- 右ボタンを離す
- 中クリック
ウィンドウ内のメニュー オプションを選択する
ウィンドウのメニューのオプションを選択します。
例えば、「ファイル」オプションを設定したい場合、メニュー オプションを選択した状態で「Ctrl」を押しながらクリックをします。
まとめ
今回はアクション「UI オートメーション」の具体的な操作方法についてご紹介をしました。
おおくの機能の自動化が実現できますのでぜひともお試しください。
その他のアクションについてはこちらでご紹介をしていますので、よろしければご活用ください。
こちらに「Power Automate Desktop」でできることや基本的な操作方法をまとめていますので、もしご興味がございましたら一度ご覧ください。
