Windows版Be My Eyesの機能と活用方法

視覚障害者へのビデオ通話サポートやAIによる画像認識機能を提供するBe My Eyesには、iOSアプリやAndroidアプリの他、Windowsアプリが存在します。

Windowsアプリについては、長らく日本語に対応していなかったのですが、先日改めてアプリを起動してみたところ、日本語に対応していました。そんなWindows版Be My Eyesについて、利用できる機能や、私が日常的に利用しているiOS版との違いを中心に解説します。

なお、Be My Eyesの利用にはアカウント登録が必要ですが、各種機能は無料で利用できます。またWindowsアプリでは、Be My AI（GPT-4のAPIを利用した画像認識機能）のみが利用でき、ビデオ通話によるサポートは利用できません。

1つ目の機能が、画面の認識です。アプリを起動した状態でCtrl+Alt+Hキーを押すと利用でき、ウインドウのキャプチャー画像をBe My AIによって解析します。例えば、画面共有や録画を実施する直前に、共有するウインドウが意図した表示、大きさになっているかを確認する際などに活用できそうです。一例として、ブラウザのウインドウを最大化していない状態で、ウインドウの配置や大きさについて質問したところ、

ブラウザウインドウは、画面の中央に配置されており、Visual Studio Codeのエディタの上に重なっています。ウインドウは最大化されておらず、エディタの右側の一部が見える状態です。ブラウザウインドウの幅は画面の半分以上を占めていますが、エディタの左側のファイルパスやテキストも確認できる程度の大きさです。

と回答がありました。配置を変更せずにブラウザのウインドウを最大化したところ、

ブラウザウインドウは画面の上部に配置されており、全画面表示ではなく、ウインドウのサイズは画面の幅全体を占めていますが、上下には少し余白があります。ウインドウの右上には最小化、最大化、閉じるボタンが表示されています。

と回答があり、最大化されていることを確認できました。iOSアプリでは直接画面キャプチャを認識させることはできず、スクリーンショットとして保存した画像を読み込ませる必要があります。

2つ目が、カメラを利用した画像の認識です。Ctrl+Alt+Jキーを押すと利用でき、内蔵もしくは接続されたカメラで撮影した画像をBe My AIによって解析します。この機能は、Web会議の直前に、カメラへの写りを確かめる際などに活用できそうです。一例としてWebカメラで撮影した私の写真について、顔の位置を質問したところ、

顔の位置は写真の中央にあり、適切にフレームに収まっています。顔全体がしっかりと写っており、特に問題はないように見えます。

と回答があり、問題なく写っていることが確認できました。カメラを利用した画像認識は、iOSアプリでも利用できます。

3つ目が、保存された画像の認識です。Ctrl+Alt+Kキーを押すと利用でき、ローカルに保存された画像をBe My AIによって解析します。こちらの機能は、業務での利用場面は限られそうですが、個人的にiPhoneで撮影した写真を整理する際などに活用できそうです。iOSアプリでは、写真アプリなどの「共有」画面から、保存された画像を認識させることができます。

そして4つ目が、クリップボードにコピーされた画像の認識です。Ctrl+Alt+Lキーを押すと利用でき、クリップボードの画像をBe My AIによって解析します。Webページ上やドキュメント内の画像を確認したい際などに活用できそうです。この機能はiOSアプリでは利用できません。

これらの機能のうち、個人的に印象的だったのが、1つ目に紹介した画面認識機能です。ミーティングなどで画面を共有する際、ウインドウのサイズや表示内容の調整に時間がかかることがあるのですが、画面認識機能により、事前にある程度調整できるようになるのではと思います。また、例えばミーティングで画面共有された内容を確認するなど、さらに幅広い活用方法も検討できそうです。

現状、Windowsアプリはベータ版とのことなので、今後の機能追加にも期待したいです。