背景と検証の経緯
PC操作エージェント（GUIエージェント）は、AIがマウスやキーボードを操作してPC上のタスクを自動実行する技術です。すでに多くの商用・オープンソースソフトウェアが登場し、ビジネスでの活用が期待されていますが、日本語環境における検証データが不足しており、その品質が十分に評価されていませんでした。
そこで、TDSEのデータテクノロジーラボとMRIのAIコンサルティング本部は連携し、共同でPC操作エージェント技術の検証を進めました。その結果、日本語を用いたビジネスシーンでの有効性が確認されました。
検証方法と結果
検証では、日本語でのビジネス利用を想定し、システム設定や事務手続きといった具体的な業務シナリオをモデル化した検証データと環境が用意されました。この環境で、代表的な商用ソフトウェアとオープンソースソフトウェアの性能が評価されました。
検証の結果、利用目的や対象システムの画面構成によっては、実務への適用を検討できるレベルに達していることが判明しました。特に、画面やボタン名から機能が明確に読み取れ、具体的な指示が可能な状況では、AIが正確な操作を行えることが確認されています。オープンソースのPC操作エージェントも、業務フローによっては一定の能力を示すことができ、適切な環境を整えれば機密性の高い情報への適用も可能となる可能性があります。
このPC操作エージェントの活用により、RPA（Robotic Process Automation）のような既存技術とは異なり、特別な設定をすることなく、システム上の多様な業務を自動化できると期待されています。
さらに、ビジネス用途に特化したベンチマークの設計・構築を通じて、実行環境の条件、タスク設計、評価手法、再現性の確保など、適切な評価を行う上で重要な知見やノウハウが得られました。これらの知見は、今後の実務適用においても役立つでしょう。
検証の詳細については、以下の技術ブログで確認できます。
-
AIが自ら画面を操作する時代がすぐそこに‐GUIエージェントの独自ベンチマーク構築と検証、実務適用への展望（TDSE 2026年2月10日）
-
AIブログ｜第12回：GUIエージェント（PC操作エージェント）の検証と実務適用可能性」（三菱総研が送信するDX事業 2026年2月10日）
今後の展望
TDSEとMRIは、今後も連携を強化し、最新技術の検証と社会実装を推進していく予定です。今回の取り組みで得られたPC操作エージェントの活用や評価に関する知見は、MRIの生成AIコンサルティングに活用され、顧客企業の生産性向上と業務負荷軽減に貢献します。一方、TDSEは、今回の検証で得られた技術的知見を活かし、顧客業務に最適なAIエージェントサービスを開発・提供することで、企業のDX推進と競争力強化を支援していくとのことです。
