我々は対話を用いた計算機利用支援システムを開発中であるが、従来はそれぞれの支援対象ソフトウェアを大きく改造しない限り、利用支援のメディアとして画像情報を扱うことは困難であった。そこで、任意のウインドウ上に透明なウインドウをはりつけてキー入力やマウス入力などの情報を取得することで、対象ソフトウェアの操作画面上への図形情報表示機能を実現し、これを用いて利用者が操作画面上のオブジェクトを指示できるようにした。さらに、ユーザが線画を用いて、アプリケーション上のオブジェクト(ボタン、文字列など)を指示したとき、得られた描画の情報からユーザの意図したオブジェクトを特定し、言語情報と併せてユーザの指示するオブジェクトを同定することを考え、これらの機能をもつ汎用的画像情報表示ツールのXウインドウ上での試作を行なった。
