【動画も作りました。】SikuliX 1.1.4をインストールして、GIMP-2.10でよく使う操作を自動化してみた。

By | 2018年11月18日 , Last update: 2019年4月2日

はじめに

2018年の初めに初回の公開をしましたこちらの記事ですが、RPA(Robotics Process Automation)の実装例ということで大好評をいただいておりまして、読者の皆様方には感謝申し上げる次第でございます。🐼

そこで、SikuliX 1.1.4をインストールし、GIMP-2.10でよく使う操作を自動化してみましたので、この記事ではそれについて書いていきます。

スポンサーリンク

まず、インストール。

インストールは以下の手順で行います。なお、2018年11月18日現在、1.1.3以前のバージョンはサポートされていないようです。

また、1.1.3以前のバージョンとはインストールの手順が大きく変わっています。

  1. Javaをインストールしていない場合には、SikuliXのインストールの前にインストールしておきます。1.1.0のときにはJDKを使ってIDEを起動していましたが、JREでも動かせるようです。
  2. インストール先のディレクトリを作っておきます。
  3. SikuliXのサイトにアクセスし、以下のJARファイルのうち少なくとも一方をダウンロードします。
    • 「The Jython interpreter 2.7.1 for python scripting (the default)」
    • 「The JRuby interpreter 9.x for ruby scripting」
  4. ダウンロードしてきたJARファイルを手順2で作ったディレクトリの下に保存します。

  5. スポンサーリンク

  6. 「Download the ready to use sikulix.jar (SikuliX IDE)」のリンクをクリックします。
  7. ダウンロードしてきたJARファイルを手順2で作ったディレクトリの下に保存します。手順2で作成したディレクトリの中身が下図のようになっていればインストール完了です。

起動します。

sikulix.jar (下図の赤矢印)をダブルクリックすると起動できます。なお、jython-standalone-2.7.1.jarは初回のsikulix.jarの起動後にホームディレクトリの下のAppData\Roaming\Sikulix\Extensionsの下にコピーされてしまうようです。

すると、以下のような起動画面が表示されます。

上図をよく見ると少なくとも1.1.1までは存在していたコマンドリストが表示されていませんが、そこはいったん目をつぶって先に進むことにします。

…とこれだけでは起動時にインストール先のディレクトリを開く必要があるために操作が少々面倒になるので、デスクトップのわかりやすい場所にショートカットを作っておきます。

おしゃれなショートカットですね。(`・ω・´)

サクサク記述してみます。

コマンドリストがないためにサクサク感が損なわれてしまったような感じもしますが、GIMP-2.10でスクリーンショットを取るところまでを自動的に実行するスクリプトを書いてみたいと思います…

事前準備。

…といきたいところですが、SikuliXでスクロールを記述するのはちょっと難しいので、GIMP-2.10(以下の例ではGIMP-2.10.8)をタイルに入れておきます(下図の赤矢印)。

今度こそサクサク書きます。

事前準備ができたら、サクサクと書いていきます。

適宜、「実行」ボタンを押しながら動作を確認していきます。

うまくクリックがされないときの調整方法例

うまくクリックがされないときには以下の方法等を駆使して調整します。

  • wait関数をクリックがされていない画像の直前に、
    wait(1)

     
    のように挿入し、タイミングの調整を行います。。

  • IDE上でその画像をダブルクリックすると表示される「パターン設定」(下図)の「マッチングプレビュー」(下図の赤枠)をクリックすると…

    画面上のどの部分にマッチングされるかが表示されます(マッチする場所がない場合には以下のように表示されます。)ので…

    画面下部のスライダー(上図の赤矢印(a))を使って類似度の最小値を変更し、画面上でマッチする箇所が1ヵ所だけになるように調整します。調整ができたら、「Apply」ボタン(上図の赤矢印(b))をクリックします。
  • IDE上でその画像をダブルクリックすると表示される「パターン設定」の「ターゲットオフセット」をクリックしてクリックする位置を変更してみます。

作成したスクリプトをGitHubに置いてみた。

ここまでの手順で作成されたSikuliXのスクリプトを以下の場所に置きましたので、IDEによる開発作業の参考にしていただければと思います。


スポンサーリンク

https://github.com/pandanote-info/gimp-2.10.sikuli/

上記GitHubリポジトリのREADMEにも書きましたが、現在この記事を書いているPC(dynabookR732/HK, ストレージはSSDに換装済。)用に作成したものです。したがってHDDで使われる際などにはwait関数の設定値を大きくするなどの調整が必要かもしれません。

起動からスクリーンショット取得までの動画

文章で書いたものをお読みいただくよりも、実際に動作しているところをご覧いただいた方がわかりやすいと思いますので…

動画を作りました↓

スポンサーリンク

まとめ

SikuliX-1.1.4はそれまでのバージョンと比較するとインストール作業が圧倒的に簡単になったものの、IDEがまだ不安定な感じがしますので、最新のものを使いたいという強い動機がなければ、この記事を最初に書いた時点(2018年11月18日時点)では1.1.3を使用した方が無難です。

実は、こちらの記事を書いた後にメインのPCをdynabookR732/HKに変更した上で、ストレージをSSDに交換(その際の記事はこちら)してから使用していました。

そのため、この記事にも書きましたが、PCのdynabookへの変更により画面が広くなり、さらにSSDへの交換によってパフォーマンスがかなり上がりました。それにともない、GIMP-2.10等の重いツールの起動時にも以前ほどストレスを感じなくなったことと、GIMPよりもLaTeXが必要な文書を書く機会が多かったために直近ではSikuliXを使う機会が減っていました。

上記の理由により、SikuliXの環境については現状維持としていましたが、GIMPを使って複雑かつ定型的な操作をする機会が増えそうなので、再度環境整備を行うこととしました。

スクリプトの動作などについては保証することはできませんが、参考にしていただけると幸いです。

この記事は以上です。

References / 参考文献