査読論文
映像認識AIを用いた実店舗の消費者行動分析
― デジタルサイネージの効果検証 ―
2023 年 4 巻 1 号 p. 25-32
詳細
2023 年 4 巻 1 号 p. 25-32
POPは重要な広告ツールとして，長年研究がおこなわれてきた。しかしながら，評価に用いるデータはPOSやアンケートが中心であり，情報の網羅性・客観性に課題が残されてきた。また，これらのデータから得られる情報はほとんどが購買判断後の結果であり，購買判断前の消費者行動はブラックボックスの状態にあった。本研究では，映像認識AIを用いて消費者の行動を分析し，電子POPであるデジタルサイネージが購買判断前の消費者行動に及ぼす影響の解明を試みた。実店舗における実験にて，1万人以上のデータを収集・分析し，POPの存在が当該カテゴリの商品を手に取って確かめる接触行動を促すことを明らかにした。また，AIを用いることにより購買に至るまでの消費者行動が，棚への立ち寄り，棚を見る，棚へ手を伸ばすといった段階で数値化され，店頭におけるカスタマー・ジャーニー管理の可能性が示唆された。
Point of purchase (POP) data have been studied for many years as an important advertising tool. However, the data used for evaluation are mainly from point of sale (POS) surveys and questionnaires, and there are issues with the completeness and objectivity of the information. In addition, since most of these data are obtained after a purchase decision, consumer behavior before the purchase decision remains a black box. In this research, we used video recognition AI to analyze consumer behavior, and examined the impact of digital signage, an electronic POP item, on consumer behavior before purchasing decisions. We collected and analyzed data from over 10,000 consumers in a physical store experiment. The results showed that the POP presence promotes contact with products in the corresponding category. By using video recognition AI, we were able to quantify consumer purchasing behavior such as stopping by a shelf, looking at a shelf, and reaching for a shelf. These results suggest the possibility of customer journey management in physical stores.
近年，多くの論者がカスタマー・ジャーニー管理の重要性を指摘している。たとえば，Kotler, Kartajaya, and Setiawan（2016）では，Awareness，Appeal，Ask，Act，Advocateの5つの段階を想定したうえで，ボトルネックとなる段階を改善する重要性が主張されている。こうした主張の背景には，オンラインでのデータ取得が容易になり，カスタマー・ジャーニーの各段階の数値化や管理の実現可能性が大きく高まった点があるものと考えられる。カスタマー・ジャーニー管理の重要性を考えれば，リアルな店頭で行われる購買行動においても，類似した観点からの管理が有効である。しかしながら，これまでのところ，データの取得や分析の難しさから，多くの店舗や企業において採用されたり，学術的な研究において幅広く議論されたりするまでには至っていない。そこで本研究では，リアルな店頭での消費者の購買プロセスを把握できる映像認識AIに注目し，POPの効果検証を通してその有用性を示していく。
店頭での行動分析の対象としてPOPに注目をした理由として，既存のPOP研究の限界がある。POPの効果を評価する際には，多くの研究においてPOSなどによる売上情報や（e.g. Muller, 1985; Woodside & Waddle, 1975），アンケートから得られる消費者の心理的反応から（e.g. Ishii, 2020; Makino, Takagi, & Hayashi, 1994; Peck & Childers, 2006），分析されてきた。しかしながら，これらのデータには限界が存在する。POSデータは，購買の有無が主要な検討対象となるため，購買者の情報しか存在せず，非購買者がどの段階で購買プロセスを止めてしまったのかの情報はロストしてしまっている。消費者全体の傾向を把握したい場合には，POSデータ固有の偏りを考慮しないと誤った判断を下してしまう可能性がある。また，アンケート調査ではサンプリング時の選択バイアスや回答者による無意識のバイアス（Kahneman, 2011）が混入する可能性が存在し，データの客観性という観点で課題がある。
これらの限界に対処すべく，本研究では映像認識AIから取得された消費者の行動データでの分析を進めた。映像認識AIは近年急速に進歩しており，単純な人物の検出だけでなく，周囲を見回している，しゃがんでいる，棚へ手を伸ばしている等，映像内の人物の特定行動をも検出することが可能になっている（e.g. Liu, Jiang, Kim, & Govindan, 2020; Pareek & Thakkar, 2021）。昨今では，コンビニエンスストアやスーパーマーケットなどの店舗内に監視カメラが設置されることも多く，既存カメラで使用可能なAIであれば，比較的容易に店舗内の消費者行動データを取得・分析することが可能である。
近年のカスタマー・ジャーニーや購買プロセス管理の重要性の高まりを踏まえると，購買前の消費者行動プロセスを捉えたデータは，大変貴重なものになる。しかも，映像認識AIは，基本的に映像内に映るすべての人物を分析対象とできるため，購買者に偏ることのない網羅的な分析が可能になる。また，AIによる行動分析は規定されたルールで行動を判別するため，より客観的な分析も実現できる。AIがデータ取得の自動化も可能にすることを踏まえれば，大量データによる新たな知見の導出に大きな期待が寄せられるであろう。
POPに関する研究は，国内外で様々な研究が行われているが，Sunaga（2010）によると，日本におけるPOP研究は訴求内容の違いによる影響を取り上げたものが多いという。その一方，上述した分析方法の限界もあり，訴求内容の違いがどの程度，消費者の行動自体に影響を及ぼしているのかにまで踏み込んだ議論はほとんど進められていない。
こうした問題意識から先行研究を改めて確認すると，POPと衝動購買の結びつきを調べたPeck and Childers（2000）の調査結果は，興味深い。同調査では，桃やネクタリンの売り場において，“Feel the Freshness”，“See the Quality”，POP無しの条件を設定し，衝動購買が促されたか，また，個人の接触欲求の尺度であるNFT（Need For Touch）の高さによって衝動購買の結果に差があるかどうかを確認している。結果として，商品への「接触」を訴求する内容である，“Feel the Freshness”のPOP条件下で最も衝動購買が促されることが報告されているが，“See the Quality”という「見る」ことを訴求したPOP条件下においても，低NFTの消費者より高NFTの消費者の衝動購買が増えていることが確認できる。同調査の結果を論文として発表したPeck and Childers（2006）では，“See the Quality”条件は取り上げられていないものの，衝動購買が当該製品への接触から生み出されている可能性が指摘されている。商品への接触が当該商品への心理的所有感を高めるとの知見を念頭に（Peck & Shu, 2009），“See the Quality”条件において高NFTの消費者の衝動購買が促進されたという結果を解釈すれば，POPの訴求内容に関わらず，一定数の消費者がPOPの存在自体によって商品への接触を促された可能性がある。
以上の解釈の曖昧さは，上述した既存のPOP研究の限界に起因する。Peckらの研究ではPOPと衝動購買の関係は確認しているが，当該商品への接触が増加したかどうかという購買前のプロセスまでは確認していないからである。そこで本研究では，商品への接触が購買行動に結び付く可能性に着目し（Peck & Shu, 2009），POPが商品接触を促すか否かを改めて検討する。特に，Peck and Childers（2000）の調査結果を重視し，POPの訴求内容以上にPOPの存在自体が商品接触に大きな影響を及ぼすものとして議論を進めることとした。さらに，POPが当該売場全体を活性化させる可能性も考慮し，同一製品カテゴリの別商品への接触に及ぼす影響も同時に検討する。そこで，以下の仮説を設定する。
仮説1：POPでの商品の訴求は，当該商品への接触意図を向上させる。
仮説2：POPで訴求された当該商品は，POPが掲示されていない条件よりも掲示されている条件で接触率が高まる。
仮説3：POPで訴求された商品を含むカテゴリの商品は，POPが掲示されていない条件よりも掲示されている条件で接触率が高まる。
2． 追試Peck and Childers（2000, 2006）では，POPの掲出と接触行動や接触意図の関係が詳細に議論されていなかった。そこで本研究では，Peck and Childers（2000, 2006）の追試を行うことで，POPの掲出や訴求内容と接触の関係を改めて検討することとした。300名を対象としたインターネット調査において，桃のPOPとして「新鮮さを感じてください」「新鮮さを見て下さい」「文章無し」の3条件を設定し，いずれかのPOPが掲出されている画像を見てもらった後，接触意図に関する3つの項目について7件法で回答してもらった。
接触意図3項目の平均値を多重比較した結果，「新鮮さを感じてください」と「文章無し」に有意差が確認されたものの（p=.035），「新鮮さを見て下さい」と「文章無し」との間に有意な差は見られなかった。したがって，仮説1は部分的に支持された。ただし，商品に接触する可能性が高いと考えられる平均値5以上の点数を付けた回答者の割合を検討したところ，「新鮮さを見て下さい」で高く（p<.05），「文章なし」で低いという結果が確認されている（p<.05）。これらの結果を総合的に考えると，訴求内容に関わらず，POPの存在自体が製品接触を促す可能性を示唆するPeck and Childers（2000）と類似した結果が得られたと考えられる。
実験1では環境をリアルな店舗に移し，実際の売り場におけるPOPと商品接触の関係性について検証を行った。その際，追試の結果と実務への応用性の限界から，POPの訴求内容には，接触を促す訴求内容を含まないものを採用した。
株式会社リテールパートナーズ様にご協力頂き，2022年5月から6月にかけて山口県にあるアルク三田尻店にて実験を行った。同店舗は24時間営業のスーパーマーケットであり，生鮮食品から日用品までの幅広い商品を取り扱う店舗である。店内の売り場にデジタルサイネージとIPカメラを設置し，売り場に訪れる消費者の行動を映像認識AIで分析するよう計画した。分析対象の売り場は，チューハイ売り場を選択した。図1左に示す通り，デジタルサイネージをチューハイ棚側面に設置し，図1右の⓪にあたるレモンチューハイのテレビCM15秒バージョンを繰り返し再生させた。CMは商品名の告知と飲酒シーンのみで構成されている。IPカメラはチューハイ棚の上部に設置し，図1右に示す画角で撮影をした。また，仮説3を検討する為，サイネージで訴求されている商品以外にも，周辺に配置されている①から⑤のブランドを調査対象として選定した。
チューハイ売り場設備
5月14日（土）から5月17日（火）午前まではサイネージをOFFにした条件で，5月17日（火）午後から5月24日（火）まではサイネージをONにした条件で計測を行った。
（2） 分析手法撮影した映像は，行動分析技術Actlyzer（Sugimura, Uchida, Suzuki, & Endoh, 2020）を用いて分析を行った。本技術では人物検出，姿勢推定の他，通路や商品棚など任意の注目したい領域へROI（Region of Interest）を設定することができ，「棚ROIに手を伸ばした」や「視線が棚ROIに向いた」といった特定の行動まで検出することが可能である。
本実験では，チューハイ売り場の通路とチューハイ棚へそれぞれROIを設定し，「棚への手伸ばし」に加え「通路通過」，「棚への立ち寄り」，「棚を見る」の4種類の行動を自動検出するようにした。尚，立ち寄りと通過は区別するために動画内での歩行速度に閾値を設け，通路ROIにて閾値以下の速度となった場合立ち寄りと判断した。
2． 実験1の結果 （1） 行動分析結果計測期間中売り場に訪れた11,793人に対し，行動分析を行った。「棚への手伸ばし」の検出結果の内，サイネージの訴求当該商品である⓪に対する手伸ばし人数は，サイネージONでの増加は見られなかった（図2左）。したがって，仮説2は棄却された。しかしながら，分析対象商品6ブランドへの「棚への手伸ばし」は，サイネージON条件で有意な増加が確認され（χ2=8.9, p=.002），仮説3は支持された。
チューハイ売り場対象行動検出結果
また，分析対象商品6ブランドの合計では，手伸ばしに至る前の行動である，「棚への立ち寄り」（χ2=138.3, p=.000），「棚を見る」（χ2=13.2, p=.000）行動においても有意な増加が確認された（表1）。図2右に通過人数を100として正規化し，各行動の検出割合をまとめたグラフを示す。図3は手伸ばし検出箇所を可視化したヒートマップである。
チューハイ売り場特徴行動検出数集計
手伸ばしヒートマップ
続いて，接触と購買の関係を確認する為に，手伸ばし検出結果と，POSデータの購買人数とで比較を行った。曜日と時間帯を合わせ，約3日分のデータを比較した結果，サイネージOFF条件でPOSのチューハイカテゴリ購買者は446人，手伸ばし検出人数は422人であった。サイネージON条件では購買者が543人，手伸ばし検出人数は501人であり，それぞれの数値は完全な一致はしていないが，同様の増加傾向が確認された。チューハイ売り場はAIで分析した棚以外にも，周辺に特設売り場が設置されており，対象領域外からも商品が購買された可能性があることからPOSとAIの結果に差が出たと考えられる。
仮説2は棄却されたものの，サイネージで訴求されている商品の購買行動を詳細に検討するため，同一人物による複数ブランドへの手伸ばし，つまり，ブランド間の比較または複数ブランドを選択している状況の分析を試みた。その結果，サイネージON条件において，サイネージOFF条件では見られなかったサイネージの訴求対象ブランド⓪と別のブランド②との組み合わせが生じていた。図4は，複数ブランド手伸ばし時の組み合わせを線で結んだネットワークグラフである。よく検出された組み合わせ程，辺が太く表示されており，サイネージONで新規に出現した辺は赤で示している。本実験の結果だけでは詳細までは議論できないが，サイネージの掲出によって，従来とは異なるブランドとともに消費者の検討対象に含まれている可能性が示唆されたといえよう。なお，一人当たりの手伸ばし回数については，サイネージOFF条件で平均1.25回，サイネージON条件で平均1.28回と大きな違いは確認できなかった。
チューハイ売り場手伸ばしネットワークグラフ
実験1では映像認識AIを用い，実店舗におけるPOPと商品接触との関係性を検証した。デジタルサイネージON条件で手伸ばしが増加したことから，POPで訴求された商品を含む製品カテゴリの商品は，接触率が高まるという仮説3が支持された。しかしながら，POPで訴求された当該商品の接触率が高まるという仮説2は支持されず，今回の実験においては，当該商品ではなくカテゴリ全体における接触率向上が確認される結果となった。
売場全体の行動分析結果からは，手伸ばしに至る前の立ち寄り，見るといった行動においてもPOPの存在によって各行動が促されていることが確認された。図2右のグラフで示す通り，購買プロセスに関連する行動が数値化されることで，消費者がどの段階で購買プロセスを止めてしまったか考察することが可能となった。また，複数ブランドへの手伸ばし分析では，手伸ばしから購買に至る間に発生する比較・選択状況を数値化しており，複数ブランド間の比較検討への影響をAIで分析できる可能性が示唆された。
ただし，ここまでの議論ではAIの誤差について考慮をしてこなかった。AIは特定のルールに沿って判断をする機械であるため，人間のような柔軟な判断が行えず，時に誤った結果を出力する場合がある。例えば，棚を見る行動を判定するルールとして，「床に設定したROIに人の足が入っており，視線は棚へ向いている」と設定したとしても，2人組が棚前を会話しながら通過をする際に偶然，棚方向に視線が向いていた場合も棚を見る行動と誤って判断してしまう事がある。このような誤検知，または正しい行動の検知漏れがある可能性を考慮し，実験2において人手による分析においても同様の結果が得られるか，検証を行った。
実験2では，映像認識AIによる行動分析の妥当性を確認し，実験1で支持された仮説3の一般化を図るため，別の売り場を対象にした集計・分析を人手で行うこととした。その際，人手での集計・分析の対応可能数の問題を考慮し，売り場は比較的立ち寄り人数が少ない飲料酢の売り場を選択した。
AIでの分析結果と比較する為，飲料酢の売り場においてもIPカメラを設置し，カメラ画角に入った人物を対象に棚前行動を集計した。実験2においても実験1と同様にデジタルサイネージを設置し，サイネージのOFF条件，ON条件それぞれで集計を行った。飲料酢売り場では，売り場面積の問題から，棚に直接設置する小型のデジタルサイネージを使用した。広告内容には，実験1同様，接触を促す訴求内容を含まない60秒間のテレビCMを選択し，サイネージON期間はこれを繰り返し流した。
5月11日（水）から5月17日（火）までをサイネージOFF条件，6月4日（土）から6月10日（金）までのサイネージON条件と設定した。
（2） 分析手法カメラで撮影した映像内の消費者に対し，実験1と同様に通過，立ち寄り，見る，手伸ばし行動が見られるか目視で確認を行った。人手での立ち寄りの判断は，視認可能な範囲で歩行スピードの低下が確認され，かつ，対象人物の体が棚に向いていることを基準に判断した。また，恣意的な判断にならないよう対象行動の有無は4人で分担して集計を行った。
2． 実験2の結果延べ1,263人の行動を確認したところ，実験1同様，デジタルサイネージのON条件で「棚への手伸ばし」（χ2=6.2, p=.012）が有意に増加しており，仮説3が再度支持された。また，「棚への立ち寄り」（χ2=61.1, p=.000），「棚を見る」（χ2=3.8, p=.049）においても，デジタルサイネージのON条件で有意に増加していた。なお，実験2のサイネージON期間中にカメラ不具合により，データが取得できなかった時間帯が存在したものの，分析全体に及ぼす影響は小さいものと判断し，得られたデータによる分析を行った。
3． 実験2のまとめ実験2では，別の売場を対象に人手で消費者の行動を集計し，実験1と同じ傾向が得られるか，AI分析の妥当性について検証を行った。立ち寄り，見る，手伸ばしの行動は，デジタルサイネージのON条件で出現が増加し，実験2においても実験1と同様の結果が確認された。これらの結果から，実験1で導き出されたAIの分析結果には一定の妥当性があると考えられる。
本研究では，POPと商品接触との関係が明確でないことを問題意識として議論を進めてきた。特に，先行研究の限界に対応すべく，実験1で映像認識AIを用いた分析を実施したうえで，実験2でその結果の妥当性を検討した。追試を含む3つの実験からは，POPの訴求内容の違い以上に，POPの存在自体が特定の商品への接触を促すことが示された。特に，その効果は対象商品を含む製品カテゴリの商品への接触率で顕著であった。また，実験1の追加分析では商品への接触者数と購買者数に大きな乖離がないことも確認した。POPが商品接触を促し，その結果として購買行動を促すという先行研究の指摘を補強することができたであろう。
本研究からは，映像認識AIを用いた店舗内購買行動分析の有用性も示唆された。映像認識AIの採用により，映像で捕捉した全ての消費者の行動分析や，アンケートやPOSでの分析では成し得られなかった購買プロセスごとの分析が可能になる。本研究で分析したPOPと商品接触の関係にとどまらず，様々な店舗内でのマーケティングツールと購買前の消費者行動プロセスの詳細な分析の可能性を示すことができたといえよう。
2． 今後の課題課題として，3点を挙げる。1点目は，商品カテゴリによる消費者行動の違いを考慮出来ていない点である。本研究ではこうした限界に対応するため，追試を含めた3つの実験それぞれで別の商品カテゴリを採用しているものの，今後は商品カテゴリによる違いをより詳細に検討する必要がある。
2点目は，実験1や実験2で確認した「棚への手伸ばし」「棚への立ち寄り」「棚を見る」の因果関係に関する整理である。本研究では消費者が「棚への手伸ばし」をするために「棚への立ち寄り」「棚を見る」といった行動を行ったのか，「棚への立ち寄り」あるいは「棚を見る」をした人が多かったために「棚への手伸ばし」をした人が増えたのかについては議論をしていない。AIを用いた詳細な分析が可能になってきたからこそ，今後はPOPの掲出が消費者のどのような行動に大きな影響を及ぼすのか，精緻な議論をしなくてはならない。
3点目の課題として，消費者のNFTレベルを考慮出来ていない点がある。先行研究（Peck & Childers, 2000, 2006）では，NFTの高さも商品接触に影響があると考察しているが，映像からは消費者をNFTの高さで分類することが出来ず，本調査では考慮していなかった。映像認識AIによる分析とNFTレベルの紐づけの検討は今後の課題である。
本研究の実験は，株式会社リテールパートナーズの青木氏，株式会社丸久の松嶋氏，吉村氏に多大なるご協力をいただいた。また，株式会社富士通ローンチパッドの鈴木氏，蓮井氏，齋藤氏には実験計画の策定から推進までご協力をいただいた。ここに記して厚く感謝申し上げる。
