記事
IPtalkの開発とパソコン要約筆記：聴覚障害者のための情報保障
2016 年 59 巻 6 号 p. 366-376
詳細
2016 年 59 巻 6 号 p. 366-376
講演会などで，講師の話が文字になって同時通訳のようにスクリーンに投影される「リアルタイム字幕」は，手話と同じように聴覚障害者のための情報保障で「パソコン要約筆記」と呼ばれている。IPtalkは，1999年から改良を続け，無料で配布しているパソコン要約筆記専用ソフトで，現在ではデファクトスタンダードソフトとして全国で使われている。IPtalkがどのような機能をもち，IPtalkをどのように使ってパソコン要約筆記を行うのか，IPtalkの開発の経緯や今後の課題などについて述べる。
もうずいぶん前のことになるが，2003年のネットの質問掲示板にこんな「質問と回答」1）が載ったことがあった。そのまま引用する。
Q：「ネットワーク上で同時に使用できるワープロってありますか？」おかしな質問でごめんなさい。例えば5台のパソコンでネットワークを組んだとします。5人の人間が5台のパソコンから同時に1つの文書を共同制作できるようなソフトウエアがあるのでしょうか。A君は1行目から書き始め・・・B君はA君が何を書いているのかを見ながら，10行目から書き始める・・・といった作業です。
A：これを実現したソフトが実際にあり，実務で使われています。オマケにフリーソフトです。「IPtalk」といいます。使用目的は，聴覚障害者のための文字通訳をリアルタイムで行うためです。1グループ最大9人まで，全体で234人（理論値）まで接続できます。同じグループの他のメンバーが入力している未確定文字列をリアルタイムでウォッチできるようになっています。そして，各人の確定文字列はすべてのメンバーに配信され，一つのテキストを構成します。もちろん，ディスクにも保存されます。他にもいろいろな機能が付いています。いずれにしても，このソフトの機能を言葉で説明するのは難しいです。実際に使ってみないとよくわからないでしょう。一昨年に日本ITU協会のUA賞を受賞注1）しています。
この投稿の「5人の人間が5台のパソコンから同時に1つの文書を共同制作できるようなソフトウエア（複数人が協力して入力するワープロのようなソフト）」という説明はIPtalkの特徴をうまく表現していると思った。
私が最初にIPtalkを作ったのは1999年5月だった。その後改良を続け，現在では全国の講演会や学校などのリアルタイム字幕で使われている。
世界の他の国・地域のリアルタイム字幕は，1人で入力する方式である。複数の人が協力して入力する方式は，日本独特である。この「複数人が協力して入力するワープロのようなソフト」IPtalkを作った経緯や，どのように利用されているか，今後の課題などについて話したいと思う。
みなさんも講演会などで，同時通訳のように，講師の話が文字になってスクリーンに投影される「リアルタイム字幕」（図1）を見たことがあるかもしれない。それは，手話と同じように聴覚障害者のための情報保障で，「パソコン要約筆記」注2）と呼ばれている。
リアルタイム字幕でなじみ深いのは，テレビのリアルタイム字幕放送だろう。リアルタイム字幕放送では，音声認識により自動で変換する方式と，音声放送をオペレーターが聞きながら同時に打ち込むキーボード入力方式がある。後者は一般的には特殊な速記用キーボードを用いるが，一部の放送局では，普通のJISキーボードを用いる方式も採用されている。
講演会や学校の授業を対象とするパソコン要約筆記も，技術的にはそれとほとんど同じことを行っている。パソコン要約筆記では，普通のキーボードを使用して2人の入力者が交互に入力するリレー方式が行われている。これを「2人連係入力」といっている。音声認識や速記キーボードを用いることもあるが一般的ではない。
聴覚障害者のためのリアルタイム字幕は，CART（Computer Aided Realtime Translation）やSTTIing（Speech To Text Interpreting）などと呼ばれ，米国やヨーロッパの各国・地域でも行われている。
Birgit Nofftzがヨーロッパ，米国，日本など25か国・地域のリアルタイム字幕などの状況を2012年に調査2）している。
それによると，リスピーク（復唱）による音声認識での実施は9か国，速記キーボードでの実施は8か国，一般的なキーボードを使用しているのは15か国であった（表1）。日本は米国，カナダ，ドイツなどと並んで，すべての方式を実施している。また，筆記通訳者数は日本が1位で1,500人，2位米国500人，3位フィンランド317人，4位ノルウェー135人と2位以下を大きく引き離して日本が断トツであった。
これは日本人としてとても誇らしいことなのだが，少し説明が必要と思う。
Birgit Nofftzはこの人数の結果について，養成訓練を受けたか，職業としているかなど，各国・地域の解釈が異なっていたため比較が難しいといっている。米国などが，職業としてリアルタイム字幕を行っている人数を回答したのに対し，日本は「ボランティアノートテイカーが1,000～2,000人いる」という回答だったようだ。
しかし，日本の筆記通訳者数は，実はもっと多いのだ。2008年に聴力障害者情報文化センターが行った調査3）では，要約筆記奉仕員として登録している人は全国で1万1,464人注3）となっている。日本では，障害者団体，支援団体の努力もあり，1981年に厚生省障害者社会参加促進のメニュー事業として要約筆記奉仕員の養成や派遣が開始され，2006年に施行された障害者自立支援法では，要約筆記者の派遣事業が必須事業となった。その後，2013年に施行された障害者総合支援法では，地域生活支援事業の中の意思疎通支援事業として，都道府県などが要約筆記者の養成4）と派遣を行っている注4）。この派遣事業では，聴覚障害者が依頼すれば，要約筆記者の派遣を無料で利用できる。この派遣を要約筆記では「公的派遣」と呼んでいる。
しかし海外と違って，日本では，聴覚障害者のためのリアルタイム字幕のみを職業としている人は，筆者の知る限りいない。
このような日本特有の状況，人数は非常に多いのに専門の職業になっていない理由の一つは，海外では裁判所の速記タイプなど専門職の技術の転用として普及したのに対し，日本では要約筆記奉仕員の枠組みの中で許容される，短い期間で養成可能な「2人連係入力」という方式でパソコン要約筆記が普及したことによると筆者は考える。
そして，この「2人連係入力」という方式は，「複数人が協力して入力するワープロのようなソフト」IPtalkとともに発展し全国に広がったのである。
| リスピークによる音声認識 | 日本，米国，カナダ，ドイツ，イタリア，ルクセンブルク，フランス，オーストリア，スペイン |
| 速記キーボード | 日本，米国，カナダ，ドイツ，イタリア，英国，スペイン，韓国 |
| 一般的なキーボード （日本以外は1人入力） |
日本，米国，カナダ，ドイツ，イタリア，アイスランド，ノルウェー，スウェーデン，フィンランド，デンマーク，ベルギー，スイス，スロバキア，オーストリア，パキスタン |
パソコン要約筆記より以前は，OHP（オーバーヘッドプロジェクター）を用いたOHP要約筆記が行われていた。
これは，透明なOHPシートに油性フェルトペンで文字を書き，それをスクリーンに投影する方式（図2）である。OHP要約筆記の歴史は古く，1966年に「みみより会」5）の第2回大会で実施されたという記録がある。手で書く方式では話す速度に追い付かないため，話を要約したり，文の前半と後半を分担して書く「2人書き」という方式が工夫されたりした。IPtalkの「2人連係入力」は，分担の方式は異なるが，この「2人書き」から基本的なアイデアを得ている。
一方要約筆記は，手書きよりキーボード入力の方が速いため，早くからパソコンの利用が考えられ，1988年の第9回全国難聴者研究大会でパソコンのワープロソフトをスクリーン投影したという記録がある。しかし，当時のパソコンの処理速度では，かな漢字変換が間に合わず，実演ではなくデモンストレーションであった。実用的なパソコン要約筆記は，聴覚障害者コンピュータ協会7）が，1995年の例会でワープロソフトの画面をスクリーン投影したのが最初といわれている。
このようなワープロソフトを利用した方式とは別に，福祉システム研究会が1986年に開発したULACS-K8）を利用したパソコン要約筆記も行われていた。ULACS-Kは，もともとは聴覚障害者用の会話（チャット）システムとして開発された。シリアルケーブルでパソコンを9台接続できるので，パソコン要約筆記として使用する場合は，ワープロソフトと異なり複数人での入力が可能というメリットがあった。しかし，特殊な機器であるため価格が高いなどの理由で普及しなかった。
1997年ごろ，私たちのサークル（ラルゴ，後述）でもULACS-Kを借りて試したことがあったが，購入することはできなかった。そこで，2台のパソコンをシリアルクロスケーブルで接続して，2人連係入力ができるソフトtalk2を1997年に作った。さらにそれを改良して，9台のパソコンをLANで接続できるIPtalkを1999年に作った。
私は，1998年に全国障害者スポーツ大会「かながわ・ゆめ大会」の要約筆記ボランティアに参加した。
それまでの大会では，手書き要約筆記だけだったが，初めて「パソコン要約筆記」を行うことになった。しかし，当時のパソコン要約筆記は，ワープロソフトを使い1人で入力する方式だったため，非常に速い入力速度が必須だった。集まったボランティアたちの入力技能では難しかった。そこで2人連係入力を練習しようと，前述したtalk2を使ってみたのだが，結局，リアルタイム字幕はあきらめて，事前に準備したシナリオ原稿を表示することになった（図3）。
そして大会の後，その時のボランティア仲間とパソコン要約筆記サークル「ラルゴ」注5）を立ち上げた。当時は，パソコン要約筆記の公的派遣は行われていなかったので，活動するためにはボランティアサークルが必要だった。当然だが，一般の情報保障で必要とされるのはリアルタイム字幕であった。そこで2人連係入力を試してみようと，1999年5月にサークルの練習会用に作ったのがIPtalk2aだった。
最初の練習会で，利用者からは「スクロールは，連続的に動くようにした方が見やすい」という意見が，入力者からは「他の人の入力をモニターできた方が良い」という意見が出た。その意見を取り入れて，表示のスムーズスクロールと，入力部の上にモニター部を作った。後者の「モニター部」を見ながら連係入力する方式は，今でも2人連係入力の基本的な方式となっている。
2000年3月に開催された第2回全国パソコン要約筆記指導者養成講座でIPtalkを説明する機会があり，それをきっかけに全国に広がった。
全国からいろいろな機能追加の要望（同じような要望も多かった）が来るようになったため，IPtalkのメーリングリストを作ってユーザー間で情報共有できるようにした。メーリングリスト上で行われた「要望を出す」→「IPtalkの機能追加」→「試してみる」というサイクルに全国のパソコン要約筆記者が参加した。その当時，IPtalkに機能を追加するということは，パソコン要約筆記の新しい方式を試す環境を提供することであった。IPtalkは，パソコン要約筆記の実験場のような役割を果たしていた。このようにしてサークルの練習会用に作ったソフトが全国で使われるようになったのである。
最初のIPtalk2aは，とてもシンプルだったが，最新のIPtalk9t65（図4）は，ウィンドウが37個あり，1つのソフトというよりも，実際は，37個のソフトの集合体といった方がよい状態になっている。最新のIPtalkはWebサイトから無料でダウンロードできる注6）。
IPtalkを使ったパソコン要約筆記では，LANで接続した数台のパソコンを使う。2人連係入力用の2台のパソコン2セットと，プロジェクターに表示するパソコンとを接続する（図5）。2人連係用のパソコン2台を2セット接続するのは，入力者の疲労を防ぐため10分程度で入力を交代するためである。
IPtalkには他の人の入力をモニターする機能がある。この機能を使って，1つの文の前半と後半を分担して入力したり，1文ずつ交互に入力したりする（図6）。入力した文は，すべてのIPtalkに送信され，どのIPtalkにも同じ文が表示される。
IPtalkのような，複数の人が同時に入力するソフトは，日本独特なもののようだ。前述のBirgit Nofftzの調査でも，一般のキーボードを使うリアルタイム字幕ではワープロソフトを使用しているようである。唯一，米国にType Wellというソフトがあるが，1人での入力のようだ。
日本の手書き要約筆記では，2人連係入力と似た，「2人書き」という方式が行われているが，主筆者（メイン）が文の後半を声で指示し，副筆者（サブ）はそのとおりに書く。この場合，2人の関係は，いわゆる「主従型」である。それに対して，パソコン要約筆記の2人連係入力は，相手の入力をモニターで見ながら自立的に続く文を作成するので「分担型」といえる。
このように，他の人の入力を見ながら，聞いた話を入力するためには，ほとんど無意識にキーボード入力を行える技能が必要になる。最低でも毎分120文字，できれば毎分150文字くらいの入力速度があるとよいといわれている。ワープロ検定初段が80文字/分であるから，かなり高度な入力技能が必要となる。
筑波技術大学から「やってみよう！連係入力」というテキストや2人連係入力用の練習ソフトなどが無料配布注7）されている。
パソコン要約筆記は，難聴者の社会における情報保障だった要約筆記を，一般社会に広げる効果があった。2002年ごろからパソコン要約筆記が普及するにしたがって，健常者にも役立つ，共用品（ユニバーサルデザイン）としての使用に堪える表示も，パソコン要約筆記には望まれるようになった。
たとえば人形劇では，絵を入れたり文字の色を変えたり，子どもたちが喜びそうな表示を工夫した（図7）。
背景に写真やパワーポイントのスライドを合成して卒業式や結婚式などの晴れの日にふさわしい表示を工夫した（図8）。
文字の向きを横だけではなく，縦書きもできるようにした。これは，俳句の会の表示のために作った機能である（図9）。
パソコンにUSBカメラを接続すれば，会場のライブ映像を背景にしてリアルタイム字幕を表示できる（図10）。パソコンと安価なUSBカメラだけで実現できるのが利点である。この機能は，小学校の難聴児童の担任の先生からの要望だった。映像付きの字幕だと字幕が付くことを恥ずかしがらなくなり，さらに健聴の生徒たちも朝礼の校長先生のお話をよく聞くようになったとのことだった。
事前に原稿を表示しておき，話に合わせて，該当する文字の色を変えていく機能もある。これはお葬式でお経を一緒に唱和したいという方の要望で作ったが，その用途で使われたのはそのときだけであった。その後は，背景の写真と合成して，催し物などで歌が流れたときにカラオケのように使われている（図11）。
プロジェクター投影だけではなくて，IPtalk内のhttpサーバーから字幕を配信することで，スマートフォンなどのブラウザで字幕を見ることもできる。
Webサイトに，実際の表示などの写真注8）を掲載している。
パソコン要約筆記が普及してくると入力者不足が問題となってきた。その解決策の一つとして入力者が現場に行く必要のない，遠隔パソコン要約筆記がある。
遠隔パソコン要約筆記は，1998年ころから筑波技術短大（現筑波技術大学）が行ったISDN専用線とTV電話を使用した「リアルタイム字幕通信システム」9）が最初だと思われる。現在は，インターネットを使用する方式に改良されているが，当時のISDN専用線は場所も固定されるし費用面でも敷居の高い方式だった。
IPtalkを使った最初の遠隔パソコン要約筆記は，2004年6月の障害学会第1回大会だった。この大会のパソコン要約筆記は，テレビ会議システムを見ながら東京の入力者が入力した字幕を，インターネットで静岡の会場に表示する「リモート要約筆記」10）で行われた。IPtalkの通信は，VPNルーターを介して行った。
2005～2008年にパソコン要約筆記サークル「ラルゴ」でも，遠隔パソコン要約筆記の運用実験を全国のサークルと協力11）して行った。パソコン要約筆記の普及のためには，できるだけ費用のかからない方式がよいと思い，音声送信は無料のSkype，映像送信はIPtalkに機能を追加し，データ通信端末で直接インターネットに接続する方式とした。データ通信端末を使用したのは，当時は会場にインターネット設備がない場合が多く，あったとしてもIPtalkの通信を許可してもらうことが難しかったからである。
また普及のために，入力は在宅入力を目指した。自宅で入力できる在宅入力は，外出の困難な障害者や子育て中の主婦も入力者として活動できる可能性があると考えたからである。自宅のインターネットからIPtalkの通信を行うためには，ルーターのポート開放などを行う必要があり，パソコンが苦手な在宅入力者には，その設定操作が難しい場合が多かったため，データ通信端末の費用負担が生じたがやむをえなかった。
その後，「ラルゴ」はNPO法人化して「日本遠隔コミュニケーション支援協会（略称NCK）」注9）となり遠隔パソコン要約筆記の改良や入力活動を続けている。
現在の方式は，字幕を表示する会場にVPNルーターを置きデータ通信端末でインターネットに接続する方式を採用している（図12）。この方式なら，在宅入力者は会場のVPNルーターに自宅のルーター経由でVPN接続できるためデータ通信端末が不要になる。Webサイトからこの方式の概要の資料をダウンロード12）できる。
遠隔パソコン要約筆記のためにIPtalkにいろいろな機能（図13）を追加した。その中のいくつかを説明する。
IPtalkが定期的に互いの応答時間を計測することで，ネットワーク遅延時間を「8人モニター」に色で表示している。「8人モニター」とは，他のIPtalkの入力をモニターできるウィンドウで，入力者は，このモニターを見て連係入力を行っている。
村田ら13）が強制的に遅延を発生させたネットワーク環境を作り，連係入力への影響を調べたところ，0.25秒以上の遅延で連係入力に影響が始まり，一方の入力者のネットワーク環境が著しく不安定な場合は，分担型から主従型注10）の連係入力に移行する必要があると述べている。
入力文が重なるなど連係ミスが頻発したとき，その原因が入力者の疲労なのか，ネットワーク遅延なのかを直感的に判断することは難しい。ネットワーク遅延の場合は，時間の経過とともに改善される可能性があり，入力者が遅延を意識することで，一時的に1入力の長さを長くするなどの対策をとることができる。
4.1.2 会場字幕のエコーバック会場のディスプレイ表示をするパソコンのIPtalkが，在宅入力者へその字幕をエコーバックしている。これを見ることで，会場の字幕が正常に表示されているか確認できる。インターネットは，通信経路により表示の順番が入れ替わったり，表示が落ちたりすることがあるため，入力パソコンの表示と会場の字幕とが異なる可能性がある。
ネットワークにトラブルが発生した場合，会場の表示パソコンからのエコーバックが来なくなるので，ほとんど瞬時に入力者はトラブルに気づくことができる。
4.1.3 会場映像の表示会場のパワーポイント資料や板書の映像を，在宅入力者がモニターしながら入力を行っている。映像は，パソコンに接続したUSBカメラやビデオカメラで撮影しIPtalkで送信している。ネットワークやパソコンの負担軽減のために，動画ではなく，静止画を数秒に1回送信している。在宅入力者がデジタルズームを遠隔操作することで，板書の文字など，確認したい映像の一部を拡大表示することもできる。映像の有無は，加藤ら14）の遠隔手話通訳の報告にもあるが，入力の負担を軽減し，字幕品質の向上に効果がある。
入力者不足のもう一つの解決策として音声認識がある。パソコン要約筆記で「音声認識」という場合，話者の音声を直接認識させる方式ではなく，復唱者（リスピーカー）の声を認識させる方式である。現状では誤認識があるため，修正係が確認し修正してから表示する方式がとられている。
パソコン要約筆記に音声認識が利用されたのは，1999年ごろ，筑波技術短大（現筑波技術大学）でViaVoice98を用いたリアルタイム字幕提示システム15）からと思われる。復唱者が復唱し，音声認識した結果をRS-232Cで接続した修正用パソコンに送信し，修正係が修正してから字幕表示していた。
IPtalkでも，2003年ごろに，ViaVoiceの「ダイレクトで音声入力」機能を使って，音声認識結果をIPtalkの入力部に流し込み，別のパソコンのIPtalkの確認修正パレットで修正する方式16）で音声認識を行っていたが，実用にはならなかった。
現在は，音声認識ソフト・ドラゴンスピーチからの入力を前提にした機能がIPtalkにあるが，実際のパソコン要約筆記で使用されたという話は残念ながら聞いたことはない。
5.1 復唱者の重要性認識率100％の音声認識ソフトができれば，パソコン要約筆記の入力者が不要となり，入力者不足の問題が解決すると思われるかもしれないが，そうとも限らない。話し言葉をそのまま100％文字化した字幕はとても読みにくく，長時間読むには非常な努力が必要となる。
IPtalkに事前原稿を指定した速度で自動的に流す機能17）があるが，その機能を使って毎分400文字の字幕を30分も見るとすっかり疲れてしまう。パソコン要約筆記では，話された言葉を整え書き言葉にしたり（整文と呼ぶ），要約したりして読みやすい文にしている。
ベテランの要約筆記者に，話者の話を整文・要約して復唱してもらい，音声切り替え機で数人の入力者のヘッドホンに順番に流して，字幕を表示する実験を行ったことがある。復唱方式の音声認識システムの音声認識ソフトを人の入力に置き換えたような方式である。
この実験は，担当する話の部分が明示的に指示されれば初心者でもパソコン要約筆記が可能であることを実証するために実施したのだが，復唱方式では，復唱者の整文・要約の技能が字幕の品質に大きく影響することを実感した。Webサイトからこの実験の資料をダウンロード18）できる。
現状では，まだいろいろな課題はあるが音声認識への期待は大きい。
図14は，Webサイトで公開19）している「パソコン要約筆記技術ロードマップ」である。「いつでもどこでも必要な時に」「他の人に頼ることなく」パソコン要約筆記を利用できるようになることが目標である。ロードマップの縦軸は「時・場所からの自由」，つまり「いつでもどこでも」の自由度である。横軸は「人からの自由」，つまり「他の人に頼ることなく」の自由度である。
「人からの自由」（横軸）なパソコン要約筆記とは，近い将来は「遠隔入力」で，将来的には「音声認識」と予想している。「時・場所からの自由」（縦軸）なパソコン要約筆記とは，表示に関しては，近い将来はスマホなどの個人的に持ち運びしているデバイスに，将来的にはメガネ内など視野に字幕が表示されることが期待される。
もちろん，これらはIPtalkだけで実現することはできない。大学の研究者や企業のエンジニアの方たちが，聴覚障害者への意思疎通支援技術に興味をお寄せくださるとありがたく思う。
NPO法人日本遠隔コミュニケーション支援協会理事長。1999年からパソコン要約筆記用のフリーソフトIPtalkをボランティアで作って配布している。プログラミングは独学で，何年やっても趣味の域を出ない。職業は，自動車会社でハイブリッド車の開発。横浜市在住。2人の孫がいる。
