特定のUI要素が取得できない場合の対処方法│PAD講座

この記事では、Microsoft無料で提供しているRPA『Power Automate Desktop』を使っているときに、Webページなどの特定のUI要素が取得できない場合の対処方法を説明します。

Power Automate Desktopは、Webページや各種ソフトウェアのボタンや入力欄などをUI要素として捉えて、正確な処理を行うことができますが、一部、うまくUI要素取得できないケースがあるようです。

今回は、実例を交えて画像付きで解説しますので、学習中の方やお困りの方は、ぜひご一読ください。

2021/06/20追記
この記事で紹介している「Yahoo路線情報」で発生したUI要素が取得できない症状は、Power Automate Desktopバージョンアップにより解消されました。

目次

特定のUI要素が取得できない場合の対処方法

実例

わたしが遭遇したのは、Yahooが提供する「路線情報」のページの出発および到着の入力欄のUI要素です。

<Yahoo路線情報>

具体的な発生経緯

アクション「Webページ内のテキストフィールドに入力する」を使って、通常のUI要素追加の操作を行ってもUI要素を認識はしてくれるものの、UI要素として追加されません

<参考>

出発欄にUI要素のカーソルを合わせる。
赤枠が表示されていることから認識はされている。
追跡セッションにはUI要素が表示される

補足

正常なケースであれば、追跡セッションには該当のWebページのURLも表示されるが今回は表示されなかったため、この時点で何らかの異常が発生していることが分かる。

追跡セッションには、下段に画像も表示されていることから、一見して正常に取得できているように見える
④アクションの設定画面に戻ると、UI要素に反映されていない
UI要素の一覧画面で確認

解説

異常なケース(今回の事例)
正常なケース

ここまでの手順で取得したUI要素には、正常であれば取得されるはずの親要素的なURLが取得されていないことがわかる。そのため、有効なUI要素として認識されていない(アクションの設定画面でも選択できない)。

試したこと(UI要素の範囲を変える)

出発の入力欄のUI要素を取得する際、少し範囲を狭くして<span>で取得を試みましたが、やはり同じ結果でした。

<UI要素をspanで取得>

試したこと(UI要素をすべて削除)

一旦、記録されているUI要素をすべて削除し、再度、上記手順でUI要素を取得し直しましたが、同じ結果でした。

<UI要素をすべて削除>

試したこと(Chromeで検証)

今回のフローは、ブラウザにEdgeを使用していましたが、同エラーは他のブラウザでも発生するのか検証するために、Chromeでも試しましたが、結果は同じでした。

結論:回避策はWebレコーディング

Webレコーディング

単体のアクション「Webページ内のテキストフィールドに入力する」からのUI要素の取得は困難と判断し、Webレコーディングの機能を使ってみたところ、正常にUI要素が取得できました

<WebレコーディングでUI要素を取得>

UI要素が正常に認識された
アクションも生成されている
③アクション内のUI要素にもしっかりと記録されている

フローが完成したあと動作検証を行いましたが、問題はなく正常に処理が完了しました。

参考:クリップボードとキーの送信

今回は、Webレコーディングでエラーを解消することができましたが、他の方法としてクリップボードキーの送信のアクションを組み合わせても正常に動作することが分かりました。

<簡易手順>

  1. クリップボードに出発駅名「北別府」を設定する
  2. キーの送信で、ctrl+Vを設定する(ペースト操作)

これは、Yahoo路線情報のページを開いたとき、カーソルの初期位置が出発の入力欄になっているため簡単に実現できましたが、本来はカーソル位置を指定するため、いずれかのUI要素をクリックし、tabキーで任意の入力枠にカーソルを合わせる必要があります。

バージョンアップ(2021/06/20追記)

2021/06/20追記
この記事で紹介している「Yahoo路線情報」で発生したUI要素が取得できない症状は、Power Automate Desktopバージョンアップにより解消されました。

あとがき

今回のUI要素が取得できないトラブルとまったく同じ環境で、他のRPAソフトウェア「UiPath」で検証したところ、何の問題もなくUI要素を取得できました。
※UiPathは有償のRPAソフトウェアで、年間数十万円のライセンス費用がかかります。

そのため、特にYahoo路線情報側の問題ではなく、Power Automate Desktop側の何らかの問題のようです。

Power Automate Desktop無料で利用できるRPAとして、大いに期待されるツールであることは間違いありませんが、リリース直後ということで、少しだけ安定性に課題があるのかもしれません。

ただし、今回の事例のようにUI要素としては正確に認識しているため、回避策で対処することができるはずです。致命的な問題ではありませんので、ぜひ、しっかりと学習をして効率化・デジタル化の推進に活用しましょう。

よかったらシェアしてね!

この記事を書いた人

沖縄県で活動する個人事業主。

給与計算関連の職種を20年間経験したのち、2017年、日本でRPAが誕生した頃より、ユーザー部門・研修講師・エンジニアとしてRPAに関わり続けている。

現在、2021年秋に提供予定の「Power Automate Desktopオンライン研修」の準備に注力している。

目次
閉じる