Special Issue: "Robot Hospitality"
Developing purchase supporting system based on ethnomethodological perspective.
2021 Volume 7 Issue 4 Pages 130-137
Details
2021 Volume 7 Issue 4 Pages 130-137
本稿では，エスノメソドロジー的視点に基づく購買支援システムについて述べる．2章では，エスノメソドロジー的視点に基づくテクノロジー開発について述べる．3章では，ロボットを用いた購買支援システムについて述べる．4章では，ロボット買い物カートや遠隔購買支援システムについて述べる．
エスノメソドロジーとは，人々の（エスノ＝ethno）方法論（メソドロジー＝methodology）及びその研究を意味する，社会学者のハロルド・ガーフィンケルによる造語である．ガーフィンケルの『エスノメソドロジー諸研究』が，1967年に出版されて以来，エスノメソドロジーは，人々のことばや身体を用いた相互行為や相互理解の研究（会話分析）や，人々が働く場（ワークプレース）における道具を用いた相互行為の研究として発展してきた．さらに，ヒューマンコンピュータインタラクション（HCI），ヒューマンロボットインタラクション（HRI），コンピュータを用いた協同作業（CSCW）の分野でテクノロジー開発の方法論としても発展してきた．ここでは，エスノメソドロジー的視点を用いたテクノロジー開発について，サービスロボットと遠隔作業システムの２つの例から説明する．
2.1 人間の相互行為の分析からのサービスロボットの開発エスノメソドロジー的視点に基づくテクノロジーの開発の例として，高齢者介護施設のデイケアの食事場面における，依頼の分析の例をあげよう．デイケアの食事場面においては，複数の高齢者が同時に食事をとっており，ケアワーカーが高齢者からのご飯の追加や飲み物の追加等の依頼を受けている．筆者（山崎）らは，複数のビデオカメラで食事場面の撮影を行い，依頼がどのように行われるのかを分析した（Yamazaki et al. 2007）．筆者が着目したのは，依頼そのものではなく，ケアワーカーと依頼を行う高齢者の，依頼のまえに行われる身体的な行為である．
食事の場面においてケアワーカーは室内を見やすい位置に立ち，手を後ろに組むとともに，首を降って室内を見回すという身体的行為を行う．これはサービスを依頼しようとする高齢者にとっては，そのケアワーカーが複数の高齢者に対して現在サービスへの依頼を受けられること，すなわちサービス依頼に対する利用可能性（availability）の提示となっている．さらに，ケアワーカーは，首を振って見回し，自身の視線の方向を示すことで，どの範囲の高齢者の依頼のための身体行為を観察できるか，その依頼行為の受け手性を示している．依頼を行う高齢者は，利用可能性を示しているケアワーカーが，自分に対する受け手性を示した時に，すなわち自分の方を向いた時に手を上げて依頼を行う．
図2は，自分の方に歩いてくるケアワーカーに対して依頼を行うときの例である．ケアワーカーがかなり離れた場所にいるときも，自分に対する利用可能性や受け手性が示されているときには，高齢者は手を上げて依頼を行うことができる．逆に，ケアワーカーが自分の近くにいるときでもケアワーカーが自分に背中を向けて，移動している際には，高齢者は依頼を行うことができず，手を上げても途中で引っ込めてしまう．
さらに，1人のケアワーカーが2人の高齢者から同時に要求を受けた場合には，ケアワーカーは優先させるべき高齢者に身体を向けて近づきつつ，もう1人の高齢者に顔だけを向けて軽く頷く．これによって，双方の高齢者とも，どちらが優先され，どちらが次にサービスされることになるのかを相互に理解することができる．すなわち，人は視線，頭，身体の動作によって複数の参与者に利用可能性や受け手性や優先順位を示し，参与者はこうした身体行為を観察することで，複数の人がいるときにも適切に相互行為を行うことができるのである．
筆者（山崎，小林）らは，こうした観察に基づき，複数の人々の共在する場で，サービスを行うロボットを開発している（Yamazaki et al. 2016）．ただし，ロボットがどのような身体行為を行い，利用可能性や受け手性や優先性を示すことができるのかは，それぞれの場面やロボット自体の身体構造や発話能力によって異なる．第3節では，店舗において購買促進を行うロボットについて実際の例を用いて説明する．
2.2 遠隔相互行為の分析と遠隔作業システムの開発人間と相互行為を行うロボット（社会的ロボット）の開発や遠隔での相互行為を支援するシステムの開発のためには，人間同士の対面的な相互行為を観察するだけでなく，人間とロボットの相互行為や，遠隔システムを使っての遠隔的相互行為を観察し分析する必要がある．社会的ロボットとの相互行為や遠隔の相互行為においては，人間にとって利用可能な環境，道具，人間及ロボット等のテクノロジーによる身体的行為，映像情報，音声情報が，対面的相互行為とは異なっており，人間の対面的相互行為を基本としてテクノロジー開発を行ってしまうと適切な開発ができなくなるという問題があるからである．
本節では，エスノメソドロジー的視点から遠隔的相互行為の分析と開発について述べる．
ビデオ映像を用いた遠隔コミュニケーションの研究プロジェクトとして，ゼロックスのユーロパーク研究所で行われたメディアスペースの研究がある．これは複数の研究室を常時ビデオ映像でつなぎ，研究者の創造性を生むための偶然的出会いを促進しようというものであった．
このメディアスペースのプロジェクトに加わった，エスノメソドロジー研究者のクリスチャン・ヒースとポール・ラフは，ウイリアム・ゲーバーと複数のビデオカメラ映像を用いた遠隔的共同作業の研究を行い，机の上の映像のような作業を行っている場面の映像がもっとも共同作業において用いられることを示した（Gaver et al. 1993）．
筆者（山崎）らは，複数のビデオカメラやビデオ映像を用いた遠隔的共同作業の研究を行い，作業対象だけでなく，その作業対象に対して遠隔にいる人が身体的にどのように志向しているか（例えば指差し等のジェスチャー）を示す文脈映像（文脈視点）が，遠隔での作業指示において重要であることを示した．さらに，筆者は葛岡らとともに，作業指示を行うものがレーザーポインタを遠隔操作することで，指示を行うジェスチャーレーザーシステムを開発した（Yamazaki et al.1999）．このシステムでは，作業者が対象物やポインタに対してどのように身体的に志向して行為を行っているかを全体的に映す映像（文脈視点）を見ながら，指示者が遠隔から作業の指示を行う．しかし，実際にこのジェスチャーレーザーを使ったシステムで遠隔作業の実験を分析した結果，作業者たちの身体が遮蔽となって対象物やポインタが指示者に見えなくなって指示が適切に行えないという事態がしばしば生じることがわかった．
このような遠隔作業システムの実験の分析から，対象物だけでなく，その対象物に対する身体的志向を映しだす映像（文脈視点）の重要性や，作業者の身体による遮蔽問題の解決の必要性が遠隔作業システムの開発にはあることが分かった．第4章では，ロボット買い物カートと，この説での問題を踏まえて現在開発中の遠隔買い物システム，について説明する．
本章では前章で述べた利用可能性や受け手性といった概念を参照しながら，ロボットに店員の役割を与える際の問題点とそれに対する解決案について議論する．
3.1 エンゲージメントに基づく購買促進ロボットに店員をさせる場合にまず問題となるのが，簡単に客から無視されてしまうということである．ロボットの店員が商品を勧めても客は何の反応も示さずに完全に無視をするという行動をとることが多々ある．そのような行動は一般的に礼儀正しいとはいえないため，人間の店員に対して行う場合には心理的な抵抗感をともなう．しかしながら，店員がロボットの場合には簡単に行えてしまうようである．この違いの原因には様々な要因が考えられるが，我々は「ロボットがどの程度の知覚能力を有していると客が想定しているのか」が一つの要因であるという仮説を立てた．これは，ロボットには自分の「無視する」という行動を知覚できないと想定しているからこそ簡単に無視できてしまうのではないだろうか，という仮説である．もしそうであれば逆の状況，すなわちそういった失礼な行動をロボットが知覚可能であると客が思い込む状況を作り出すことによって，無視されなくなると予想される．そこでそういった実験を，実験室と実際の店舗の2種類の環境で実施した（Iwasaki et al. 2019）．
実験室では，周囲の人々からの注目を感じ取る知覚能力を有しているという印象を，タイミング良く発言を開始することによって与えるという手法の有効性を検証した．この実験では図3に示すように，まず被験者がロボットに注目するのを待ち，被験者がロボットのほうを向いた瞬間に発言を開始することによって，被験者のその後の行動がどう変化するのかを観察した．すると，ただ単に発言し続けるだけのロボットは無視される傾向であったのに対し，一旦発言を止めた後に被験者が振り返ったタイミングで発言を再開するようにした場合は傾聴される傾向にあった．具体的には，被験者がロボットに対して相槌を打つ頻度が有意に増加する結果となった．このことは，他者からの視線をロボットは感じ取ることができるという印象を与えることでロボットが無視されにくくなる，ということを示している．
実験室で得た上記の知見を実際の店舗へと展開した．実際の店舗では実験室と異なり，実験の目的に合わせて統制された状況を作り出す，ということが出来ない．よって，ロボットが黙るだけで客の注意を引くことが可能な状況も，客の視線だけでロボットへの注目度を判定可能な状況も作り出すことができない．そこで，客がロボットに注意を払っている度合いを示すエンゲージメントという概念を導入し，このエンゲージメントを視線だけではなく，対人距離などの他の様々なノンバーバル情報にも基づいて計算するようにした．そして，客が入店した瞬間から常時エンゲージメントを計算し続けるようにし，その値が一定値を超えた瞬間にロボットが客に話しかけるという手法の有効性を検証した．その結果，客とロボットの距離（利用可能性），客とロボットの目が合っている累積時間（受け手性），客の表情の種類，といった様々なパラメータから計算されるエンゲージメントが高くなった（利用可能性と受け手性の両方が示された）ときに話しかけるロボットのほうが，単純に客が近くにいる（利用可能性のみが示されている）ときに話しかけるロボットよりも無視されにくいという知見を得た．この結果は実験室実験の結果と同様に，周囲にいる人々がロボットにどの程度の注意を払っているのかということをロボットが知覚可能であるという印象を与えることが有効であることを示している．
このようなエンゲージメントに基づいたロボットの行動が購買の促進にどのようにつながるのかというと，無視するという礼儀正しくない行動を客が取りづらくなることによって，まずロボットによる商品の紹介や説明を聞いてもらいやすくなるということがあり，さらには商品の使い勝手を試す，商品を購入する，といった行動を客に行わせやすくなるということがある．我々が実験を実施したのは京都錦市場にある七味専門店「ぢんとら」という店舗で，図4に示すようにソフトバンクロボティクスのペッパーに店員と同じ衣装を着せて接客ロボットとして使用した．そして実験では，ロボットに七味の試食を勧誘させるということを行った．その結果，エンゲージメントに基づいて話しかけるほうが，その後の試食勧誘に応じてもらいやすくなることが判明した．
ペッパーなどのロボットが店舗等に設置されている風景を見かけることはあっても，それらロボットが近づいてきた客に対して機敏に反応して適切に応対できている様子を見かけることはかなり少ないように思われる．ロボット搭載センサを通して得られるノンバーバル情報を利用して適切なタイミングで話しかける機能を追加するだけでも各段にホスピタリティは向上するのではないかと思われる．
3.2 状態遷移モデルに基づく購買促進ロボット店員の普及を考えた場合，操作者の確保が大きなネックとなりそうである．センサやチャットボットの技術が進んできているとはいえ，人手の介入無しにロボットが本格的な接客を行えるようになるのにはまだまだ時間がかかるであろう．とはいえ，ロボット操作の経験者の数は少なく，未経験者が操作に慣れるにはそれなりの練習を要する．さらに我々の経験からいえば，どれだけ使い勝手の良いユーザインタフェースを用意したとしても，あたかも自分が現地で行動するかのように自由自在にロボットを遠隔操作することは熟練者でも難しい．そこで，ロボット店員と客とのインタラクションを分析してパターン化し，状態遷移モデルとして単純化することで，誰でも簡単に操作できるようにすることを試みた．
どの店舗でも使用可能な一般的なモデルを作るというのは非常に困難であるが，特定の店舗に限定することで比較的容易に作成することができると考えられる．例えばある店舗でのロボットによる接客が，呼び込み⇒商品説明⇒試食勧誘という段階を踏むことがほとんどであった場合，客が店外にいる状態，客がロボットと会話している状態，客が商品に興味を持っている状態，というように状態を定義できる．そして，店外にいる（利用可能性を示していない）客に対しては呼び込みを行い，店内でロボットに注目している（受け手性を示している）客に対しては商品説明をし，商品への興味を示す返答をした客に対しては試食を勧める，というようにロボットの行動パターンを決めることができる．このような方法によるインタラクションの状態遷移モデル化と，それに基づいてロボット操作に慣れていない操作者を支援する実験を実施した（Iwasaki et al. 2020）．
実験に先立ってまず，図5に示すように操作ボタンの整理整頓を行った．図5(a)は改善前の操作用ウェブインタフェースであり，一つのページに数多くのボタンが列挙されている．自由自在な操作が可能であるが，スムーズに操作できるようになるにはかなりの練習時間が必要である．図5(b)は状態遷移モデルによって単純化したもので，各ページが一つの状態に対応しており，その状態の中で発生しうるロボットの行動に対応するボタンだけが並んでいる．さらに各ボタンの横には，どういった基準でそれを押すべきかという注記が添えられている．つまり単純化したインタフェースでは，操作者は単なるセンサの役割を果たすだけになるということである．ロボット搭載のセンサだけでは場の状況を十分に捉えることが困難であるため，それを操作者が補助することによって，円滑な接客が可能になる．
実験ではまず，ロボット操作に熟達している実験者の一人が，図5(b)の状態遷移型インタフェースを使用した．その結果，図5(a)の列挙型インタフェースを使用する場合よりも円滑に接客を行うことができたため，試食勧誘に応じてもらえる割合が有意に増加した．次にロボット操作の経験が無い被験者に状態遷移インタフェースを通して接客をしてもらったところ，同様の結果となった．すなわち，列挙型インタフェースを用いる実験者よりも円滑に接客を行うことができ，試食勧誘に応じてもらえる割合が有意に増加した．このことは，状態遷移モデル化が初心者のみならず熟練者の支援にも効果的であること，状態遷移モデルの助けによって初心者が熟練者を超えることすら可能であることを示している．
完全に自律的なロボットが十分なホスピタリティを発揮するのは現状ではまだ困難であると思われる．上記のような方法によってロボットと人とが協力し合って接客にあたるというより現実的な方法がもっと検討されるべきであろう．
本章では高齢者の購買活動（買い物）の支援に着目し，ロボット買い物カートや遠隔地からの買い物参加システムについて述べる．
4.1 ロボット買い物カートによる買い物支援高齢化社会の進行に伴い，高齢者の健康寿命の延伸が社会的な課題となっている．外へ出かけることは，心身の健康維持に重要であり，特に買い物は，高齢者にとって貴重な社会参加の機会であると共に，経済活動を伴うことから地域社会の活性化の側面からも期待されている．また，買い物は，ただ歩くよりも辛く感じにくく，買う商品の記憶や価格計算などの認知的働きかけができることから，高齢者のリハビリとしても注目されている．しかし，現在の買い物リハビリは，店内の誘導や荷物運び，見守りなどのために，介護士が高齢者に1対1で付添う必要があり，介護士の負担が大きい．また，高齢者の方にも，衣料品などはゆっくり選びたいし，人目を気にせず特売品を買いたいとの思いがあるという．そこで，移動ロボット技術と映像通信技術を買い物カートに適用することで，これまで介護士の役割であった「店内の案内」「荷物の搬送」「身体の支え」「見守り」を担う「ロボット買い物カート」を開発した．
ロボット買い物カートは，店舗内での位置を常に認識しながら自動走行することが可能である．図6は，ロボット買い物カートの試作機である．試作機は，市販の買い物用シルバーカートの車輪部分を移動ロボットに改造したもので，床上10cm程度に設置したLiDARを用いて自己位置を同定し，予め設定した地図に基づいて，目的地までの自動走行を可能としている．そのため，目的の商品への誘導だけでなく，特売などの商品情報を適切な場所で提示することもできる．また，歩行が困難な方のための歩行補助の機能も兼ね備えており，レバーを操作することで，いつでも自動走行と手押し走行を切り替えることも可能である．もちろん，移動中は特設された商品棚などの障害物や他の買い物客を避けながら走行する．
インタフェースとしてタッチパネルディスプレイを備えており，目的地の指示や特売情報の提示を行うことができる．また，これまでの実証実験により得られた，高齢者はタッチパネルの操作が難しいという知見を踏まえて，音声による入力インタフェースも備えている．ユーザはロボット買い物カートに対して，「○○が買いたい」と発話することで，目的地までの案内を実行させることができる．インタフェース区別するためのデバイスをユーザが所持することによって，ユーザを置いていくことなく案内したり，目的地を指定せずにユーザに追従させたりすることもできる．買い物の相談や見守りのため，ワンタッチで接続可能なテレビ電話機能を搭載し，いつでも特定の相手を呼び出せる機能を搭載している．
本システムは，高齢者本人の買い物の支援だけでなく，カートの移動経路情報のマーケティング活用や，自動チェックアウトの精度向上にも寄与できる．さらに，ポイントカードなどによるユーザの購買履歴との連携により，「今日は○○を買わないのですか？」というような，定期的に買う商品の買い忘れの防止機能の提供も可能である．これらの機能拡張は，スーパーマーケットの協力を得て，今後も継続的に開発を進める予定である．
4.2 遠隔地からの買い物参加支援高齢者が自らスーパーに出かけ買い物ができると良いが，外出が難しい高齢者も多い．買い物は日常生活に必要なものを得るだけでなく，商品を選んだり，売り場の雰囲気を感じたりすることで気分転換につながることや，同伴者や店員との会話の機会であることも高齢者にとって重要である．そこで，外出が難しい高齢者にも同伴者との買い物の機会を提供するため，ビデオチャットを介して遠隔地から店舗にいる人と一緒に買い物ができるシステムの開発を行っている．
スマートフォンなどのモバイルデバイスを用いたビデオチャットにより，自宅などの遠隔地側に居る高齢者と話をしながら買い物をすることはできる．しかし，例えば，スマートフォンで商品を撮影することで，その商品の様子は遠隔地の高齢者に伝えることができるものの，実際のスーパー（現地側）に居る話し手や周辺の売り場の様子を伝えることはできない．
Jonesら（Jones et al. 2015）は，不十分な画角とカメラ制御の非対称性は，コミュニケーションにおける相互作用が均等に働かないことを意味していると述べている．つまり，モバイルデバイスを用いたビデオ通話では現地側と遠隔側で得られる情報に大きなギャップがあり，体験の共有を目的とした遠隔コミュニケーションとしては不十分である．また，本来，人と人が対話するときに形成されるエコロジー（ユーザを取り巻く状況を含めた環境全体）には，相手の表情や声だけでなく，些細な視線の動きや身体動作などの非言語情報や，周辺の状況などの環境的な要素も含まれている．エコロジーに含まれる要素は，意識的にも無意識的にも，対話に影響を与えることがあるため，対話の相手と同じエコロジーに属することが望ましい．しかし，前述のとおり，モバイルデバイスを用いたビデオ通話では，現地側で形成されるエコロジーと，遠隔側で形成されるエコロジーが分断されてしまい，エコロジー内の要素が共有できず，コミュニケーションに支障をきたす可能性がある．
さらに，2.2でも述べたように，Gaverら（Gaver et al. 1993）やYamazaki（Yamazaki et al.1999）らは遠隔での共同作業における作業視点と文脈視点の重要性を指摘している．作業視点とは作業者の手元を映す視点で，作業者の注視している対象や作業対象の把握に用いられる．一方，文脈視点とは作業者とその周囲を映す視点で，周囲のものや作業者，それらの位置関係，作業の把握に用いられる．遠隔での買い物を行う場合も店舗にいる人の注視対象を映す作業視点，その人と周囲を映す文脈視点を提供することが望ましいと考えられる．
そこで，モバイルデバイスを用いたビデオ通話での遠隔買い物に，買い物カートに全天球カメラを追加し，遠隔地側のユーザが自由に視点を変えられるようにすることで，遠隔地から買い物に参加しやすいシステムを開発した．スマートフォンでのビデオチャットは遠隔での買い物において作業視点として利用できる．一方で現地の環境が伝わりにくく，文脈視点としては利用しにくい．そこで，スマートフォンと全天球カメラによって作業視点と文脈視点を提供する遠隔買い物支援システムを構築した．システムの概要を図7に示す．現地側のスマートフォンと全天球カメラによって撮影される映像を遠隔地側に対して配信し，作業視点と文脈視点を提供する．加えて，現地側と遠隔地側の双方向で音声通信を行う．さらに，遠隔地側の視点情報を伝達するデバイスを導入する．これらの資源により，遠隔地側はこのシステムを利用して，映像を見ながら会話を行い，現地側と一緒に買い物を行うことができる．
本システムを用いて，実際のスーパーマーケットでの買い物環境での実験を行った結果，スマートフォンカメラ映像により，注目点を共有できたことによるコミュニケーションの促進が見られた．また，遠隔地ユーザの音声を現地側ユーザの手持ちスマートフォンから出力すると，買い物カートが現地側ユーザの操作領域（人が対象物を取り扱うための領域）の外に配置され，遠隔地ユーザの音声を買い物カートに取り付けた全天球カメラ付近から出力すると，買い物カートは現地側ユーザの操作領域の中に配置されることが分かった．買い物カートが操作領域の外に配置されると，現地側ユーザの身体によって，買い物カートに取り付けられた全天球カメラから注目対象を見ることができなくなり，円滑なコミュニケーションに支障をきたすことが分かった（2.2も参照）．これは，F陣形（Kendon 1990）とよばれる操作領域の重ね合わせ（O空間）を作ろうとする身体配置が映像通信デバイスを介しても形成されることを示しており，本プロジェクトで見出された重要な知見である．
本稿では，エスノメソドロジー的視点に基づくテクノロジー開発について，人々が働く場（ワークプレース）での相互行為の開発に基づくロボット開発と，遠隔相互行為の分析と遠隔的共同作業システムの開発について述べた．また，そうした分析視点から現在開発中の，購買促進ロボットやロボット買い物カートや遠隔買い物参加支援システムについて説明した．
1986年早稲田大学大学院文学研究科博士後期課程社会学専攻修了.2006年博士（文学）（早稲田大学）取得．埼玉大学人文社会科学研究科部教授．専門は社会学，エスノメソドロジー，会話分析，CSCW，CHI，ロボットヒューマンインタラクション．主な著書として『モバイルコミュニケーション』（編著，大修館，2006年），『社会理論としてのエスノメソドロジー』（ハーベスト社，2004年）．ACM 会員．
1996年京都大学工学部情報工学科卒業．1998年京都大学大学院工学研究科情報工学専攻修士課程修了．同年日本学術振興会特別研究員．2001年京都大学大学院情報学研究科社会情報学専攻博士課程修了．博士（情報学）．同年同専攻助手．2006年より大阪大学大学院工学研究科准教授．空間共有や存在感伝達のためのアバタやロボットに興味を持つ．2002年度情報処理学会坂井記念特別賞．2004年度テレコムシステム技術賞．2006年度科学技術分野の文部科学大臣表彰科学技術賞
2000年電気通信大学大学院情報システム学研究科修士課程修了．2000～2004年三菱電機（株）にて，ソフトウェア生産技術の研究開発に従事．2007年東京大学大学院情報理工学系研究科博士課程修了．博士（情報理工学）．同年，埼玉大学理工学研究科助教．同研究科准教授を経て2020年より同研究科教授．コンピュータビジョン，ヒューマンロボットインタラクションに関する研究に従事．情報処理学会，電子情報処理学会，日本ロボット学会，IEEE，ACM 各会員．
