【Power Automate Desktop】UI オートメーションでできることを解説

無償化された「Power Automate Desktop」の基本的な使い方や、「UI オートメーション」アクションをつかってできることを解説します。

アクション｜UI オートメーション

「Power Automate Desktop」で設定できる「UI オートメーション」のアクションです。

Windows

サイズ、状態の表示、フォーカスに関する Windows の操作です。

データ抽出

単一の値からテーブルまたは複数のカスタム データまで、デスクトップ アプリケーションからデータを抽出します。

フォーム入力

デスクトップ アプリケーションのフォームに入力します。

基本操作

基本的な操作項目です。

具体的な設定方法

それぞれのグループ別にアクションをいくつかピックアップして使い方をご紹介します。

Windows

こちらでは「ウィンドウ」の操作方法をご紹介します。

それぞれのアクションは直感的な操作で設定ができるかと思いますので、こちらのグループに共通する「ウィンドウの検索モード」についてご説明をします。

ただし、おなじ「Windows」のグループであってもアクション「ウィンドウの取得」は他とちがう方法での設定となりますのでご了承ください。

ウィンドウの UI 要素ごと

「ウィンドウ」の検索モードで「ウィンドウの UI 要素ごと」を選択します。

つぎに、「ウィンドウ」の入力箇所をクリックすると以下のような表示がされます。
（あらかじめ「UI 要素」を追加していた場合、追加済の「UI 要素」を選択する形になります。）

「UI 要素の追加」をクリックするとこのような画面が表示されます。

こちらは、デスクトップに開いているテキスト（メモ帳）を指定している例です。

指定方法としては、マウスカーソルを移動させるとウィンドウに赤枠が自動的に表示されますので、指定したいウィンドウで「Ctrl」キーを押しながらクリックをします。

設定が完了すると、このように指定要素が選択できる状態になります。

ウィンドウのインスタンス/ハンドルごと

こちらのフローをつかってご紹介をします。
パラメーターの選択「ウィンドウ インスタンス」では変数を指定する必要がありますので、1番目と2番目のアクションで事前準備をします。

まず、「ウィンドウにフォーカスする」で対象のUI 要素を指定します。
こちらでも先ほどの例とおなじ手順で設定をします。

こちらが設定対象となるUI 要素です。

つぎに、「ウィンドウの取得」をします。

パラメーターの選択で「ウィンドウの取得」を「フォアグラウンド ウィンドウ」を選択します。

これで事前準備は完了しました。

つぎに、パラメーターの選択「ウィンドウの検索モード」を「ウィンドウのインスタンス/ハンドルごと」を選択し、さきほど取得した変数「AutomationWindow」を指定します。

こちらが実行結果です。
もともと他の画面で背景側にあったテキスト（メモ帳）が選択されて、「ウィンドウの移動」によって位置が変わっていることがわかります。

タイトルやクラスごと

「ウィンドウ タイトル」と「ウィンドウ クラス」を指定して設定をします。

それぞれドロップダウンメニュー から対象のウィンドウを選択する形になりますが、赤枠の「ウィンドウの選択」を使いましょう。

「ウィンドウの選択」をクリックすると赤枠が自動的に表示されます 。
指定したいウィンドウまでマウスカーソルを移動させて、「Ctrl」キーを押しながらクリックをします。

「ウィンドウ タイトル」と「ウィンドウ クラス」 に値が入力されていることが確認できます。

データ抽出

単一の値からテーブルまたは複数のカスタム データまで、デスクトップ アプリケーションからデータを抽出します。

こちらのグループでのウィンドウの指定方法は、Windowsグループでご説明をしました「ウィンドウの UI 要素ごと」とおなじ方法です。

例えば、アクション「ウィンドウの詳細を取得する」の設定をする場合、以下のような画面でUI 要素を指定することになります。

フォーム入力

デスクトップ アプリケーションのフォームに入力します。

こちらのグループでのウィンドウの指定方法についても、Windowsグループでご説明をしました「ウィンドウの UI 要素ごと」とおなじ方法です。

基本操作

UI オートメーションの基本的な設定項目です。

こちらのグループでのウィンドウの指定方法についても、Windowsグループでご説明をしました「ウィンドウの UI 要素ごと」とおなじ方法です。

こちらの例では、あらかじめタスクバーに設定してある「Microsoft Edge」を指定しています。

具体的な使い方

それぞれのグループでいくつかのアクションの使い方をご紹介します。

Windows

ウィンドウの取得

デスクトップ アプリケーションを自動化するため、実行中のウィンドウを取得します。

例としてこちらのテキスト ファイル（メモ帳）を使ってご説明をします。

なお、ウィンドウの取得にはつぎの2つの方法があります。

フォアグラウンド ウィンドウ

ウィンドウの取得で「フォアグラウンド ウィンドウ」を選択しています。
「フォアグラウンド ウィンドウ」とは、デスクトップのいちばん前にある選択中（操作対象）のウィンドウのことです。

こちらが実行結果です。
2つの変数を取得することができます。

特定のウィンドウ

ウィンドウの取得で「特定のウィンドウ」を選択しています。
こちらは、UI 要素をつかってウィンドウを指定します。

こちらが実行結果です。

ウィンドウの状態の設定

特定のウィンドウを復元、最大化、または最小化します。

「ウィンドウの状態」で選択できる項目はつぎのとおりです。

こちらの条件で動作の確認をします。

こちらが実行結果です。
テキスト ファイル（メモ帳）のウィンドウの状態が変わっていることが確認できます。

なお、「最大化」の状態から「復元済み」を実行した場合はこのような結果となります。

データ抽出

ウィンドウの詳細を取得する

ウィンドウのタイトルやソース テキストなどのプロパティを取得します。

「ウィンドウ プロパティ」で選択できる項目はつぎのとおりです。

こちらの条件で動作の確認をします。

今回対象とするファイルはこちらです。

実行結果｜ウィンドウ タイトルを取得する

実行結果｜ ウィンドウ テキストを取得する

実行結果｜ ウィンドウの場所とサイズを取得する

実行結果｜ プロセス名の取得

ウィンドウにある UI 要素の詳細を取得する

ウィンドウにある UI 要素の属性値を取得します。

「属性名」で選択できる項目はつぎのとおりです。

こちらの条件で動作の確認をします。

こちらのテキスト ファイルをつかって動作確認をします。
このファイルを開いた状態でフローを実行しています。

実行結果｜Own Text

ウィンドウのテキスト

実行結果｜Exists

ウィンドウの存在

実行結果｜Location and Size

ウィンドウの場所とサイズ

実行結果｜Enabled

ウィンドウの動作

ウィンドウからデータを抽出する

単一の値、リスト、またはテーブルの形式で、ウィンドウの特定の部分からデータを抽出します。

「抽出したデータの保存場所」で選択できる項目はつぎのとおりです。

こちらの条件で動作の確認をします。

こちらのテキスト ファイルをつかって動作確認をします。

実行結果｜Excel スプレッドシート

このようにエクセル ファイルが生成されます。

実行結果｜ 変数

フォーム入力

ウィンドウ内のテキスト フィールドに入力する

ウィンドウ内のテキスト ボックスに指定されたテキストを入力します。

こちらが実行結果です。

なお、設定できる「詳細」の項目はつぎのとおりです。

「フィールドが空白ではない場合」で選択できる項目です。

「入力する前にクリックしてください」 で選択できる項目です。

基本操作

デスクトップを使用する

デスクトップとタスク バー関連の操作を実行します。

UI 要素をつかってタスク バーを選択することができます。

なお、「クリックの種類」で選択できる項目はつぎのとおりです。

ウィンドウの UI 要素をクリックする

ウィンドウの任意の UI 要素をクリックします。

UI 要素をつかってデスクトップのアイコンを選択することができます。

なお、「クリックの種類」で選択できる項目はつぎのとおりです。

ウィンドウ内のメニュー オプションを選択する

ウィンドウのメニューのオプションを選択します。

例えば、「ファイル」オプションを設定したい場合、メニュー オプションを選択した状態で「Ctrl」を押しながらクリックをします。

まとめ

今回はアクション「UI オートメーション」の具体的な操作方法についてご紹介をしました。
おおくの機能の自動化が実現できますのでぜひともお試しください。

その他のアクションについてはこちらでご紹介をしていますので、よろしければご活用ください。