Technical Note
Device Types and Response Quality in an Online Survey: An Aanalysis Focusing on Smartphones
2024 Volume 76 Issue 3 Pages 120-125
Details
2024 Volume 76 Issue 3 Pages 120-125
地理学をはじめ，近年の社会調査ではインターネット調査が多用され，そこではスマートフォン回答が大きな割合を占めるに至っている。しかし，このことが回答の質に与える影響を日本で実証したものは未だ少ない。そこで本研究は，2020年に実施されたインターネット調査のデータを利用して，回答デバイス（パソコン・タブレット・スマートフォン）と回答の質（超短時間回答およびストレートライニング）の関連を検討した。分析の結果，スマートフォン回答は必ずしも回答の質の低下に関連していないことが示された。超短時間回答とは有意な関連がみられず（年齢調整後），また，ストレートライニングはむしろスマートフォン回答者において少ない傾向が確認された。さらにスマートフォン回答の場合，若年層ほど回答の質が低い傾向が緩やかになることも示された。今後は，スマートフォン回答を前提として回答しやすい設計を目指すとともに，地理学研究における利用可能性と課題を検討していく必要がある。
インターネット調査の急速な拡大と学術研究における普及は，社会調査をめぐる大きな変化といえる。とくに2010年代以降はインターネット調査に関する基礎研究の成果（トゥランジョーほか，2019; 山田, 2023; 山田・江利川, 2023）や，日本学術会議の提言『Web調査の有効な学術的活用を目指して』（2020年）が公表されるなど，学術研究利用の土台となる議論も進みつつある。地理学においても近年，非集計データに対する関心が高まり，その中でインターネット調査を用いて個票を収集する研究が増加している（村山, 2014; 埴淵・村中, 2018）。
ただし，インターネット調査はまだ導入から歴史が浅く，かつ技術的な変化が速いこともあり，方法論的な議論が追い付いているとは言い難い。地理的側面についても，モニター登録率や不良回答の発生率，住所記入の応諾率には地域差があることが報告されており（埴淵・村中, 2018），さらなる基礎研究の蓄積が待たれる状況である。そういった中，特筆すべき変化に挙げられるのが，スマートフォンの普及である。近年のインターネット調査においては，パソコンではなくスマートフォン経由で回答する人が若年層を中心に急増している（一般社団法人日本マーケティング・リサーチ協会, 2020）。スマートフォンへの移行は，時間や場所を選ばずに回答できることから，より多くの回答を集めたり，野外観察との組み合わせによるデータ収集を可能にしたりするなどの利点がある。
ところが，スマートフォンは画面サイズが小さく携帯性が高いことから，回答に対する負荷や中断発生の可能性を高めることが考えられる（工藤ほか, 2018; 山田・江利川, 2023）。結果として，これが調査の質を損なうことにつながるとの懸念がもたれてきた。しかし，海外の実証研究では想定されたような回答の質の低下はみられなかったとされ（Tourangeau et al., 2017），日本でも山田・江利川（2023）によって類似の結果が報告されている。ただし，国内のインターネット調査環境においてスマートフォン回答の影響を分析した研究は未だ少ない。調査会社のリソースや調査対象，調査票などは様々であるため，異なる条件での基礎研究を積み重ねることが必要である。回答デバイスや回答時間を記録できることはインターネット調査の利点であり，こういったデータの分析を調査改善に活用することが求められている（松本, 2017）。
そこで本資料では，2020年に実施された大規模インターネット調査のデータを用いて，回答デバイスと回答の質の関連性を分析した結果について報告する。
本研究で使用するデータは，都市的ライフスタイルの選好に関する地理的社会調査（GULP）である。GULPは2020年10月31日～11月30日に実施された公募型インターネット調査であり，ジャパンクラウドパネルの登録モニターに対して回答依頼がなされ，全国21大都市の住民3万人（20-69歳）から回答が収集された（調査委託先:株式会社日本リサーチセンター）。調査はスクリーニングと本調査からなり，回答数の都市・年齢・性別の構成比が母集団に一致するよう住民基本台帳人口に基づく割付が実施された。調査票は全体で約60問，うち約半数を三種類に分割して割り当てたため，各回答者の回答数は40問程度である。同調査の内容は埴淵（2022）に詳しい。また，GULPの回答データはSSJデータアーカイブにて公開されている（調査番号:1468～1473）。
本研究では，GULPにおける回答デバイスと回答時間，および回答内容のデータを分析に使用した。回答デバイスは，パソコン・タブレット・スマートフォンの三種類に分類した。回答の質を評価する指標としては，「超短時間回答」および「ストレートライニング」の二つを用いることとした。回答時間は調査票の種類や設問分岐によって条件が異なるため，調査全体ではなく，全回答者に共通する26問の回答時間のみを合計して用いた。この回答時間が極端に短い2.5パーセンタイル未満を，速度重視で理解や思考が不十分な状態で回答した可能性が高い超短時間回答と定義した1）。またストレートライニングとは，同一の選択肢に連続して回答するパターンであり，最小限化（satisficing）による不良回答の可能性が高いものと考えられる。ここでは近隣環境の10項目（商店・医療機関・公園・駅・空き家などが近所にあるかどうか）に対する認知を「たくさんある」から「まったくない」の5段階で尋ねたマトリックス設問（Q6）において，回答が全て同一である場合をストレートライニングと定義した2）。また，年齢はデバイスと回答の質の両方に強く関連すると想定されるため，20-69歳を5歳階級区分した10段階の値（1～10）を，連続値で統制変数として分析に用いた。
以上の変数を用いて，回答の質と回答デバイス，年齢の関連性をクロス集計および回帰分析により検討した。回帰分析では回答の質にかかわる二つの指標をそれぞれ従属変数，回答デバイスと年齢を独立変数としたロジスティック回帰モデルを作成し，主効果のみのモデル1およびデバイスと年齢の交互作用項を加えたモデル2についてオッズ比（OR）と95%信頼区間（CI）を推計した。
全回答者（n=30,000）のうち，スマートフォン回答が過半数（56.1%）を占め，パソコン（41.0%）がそれに続き，タブレット（2.9%）による回答は少数であった（第1表）。スマートフォン回答者では超短時間回答の割合がパソコン回答者よりも高く，逆にストレートライニングの割合は低い。ストレートライニングに該当したのは全体の5.1%であるが，その割合は超短時間回答者において著しく高く（23.5%），これら二つが強く関連していることが窺える。また，年齢階級別の集計値をみると，スマートフォン回答，超短時間回答，ストレートライニングのいずれも若年層ほど多くなる傾向があり，とりわけ超短時間回答の場合に顕著である3）。
第2表は，超短時間回答（上段）およびストレートライニング（下段）を従属変数としたロジスティック回帰分析の結果である。主効果（モデル1）については，いずれの従属変数の場合でも年齢との間には有意な負の関連がみられ，年齢が高くなるほど超短時間回答およびストレートライニングは減少することが示された（超短時間回答:OR=0.679, CI=0.656-0.704, ストレートライニング:OR=0.891, CI=0.873-0.909）。またデバイスについて，スマートフォンは超短時間回答とは有意な関連を示さず，ストレートライニングとは有意な負の関連を示した（OR=0.683, CI=0.611-0.763）。
さらに，デバイスと年齢の交互作用項を追加したモデル2の結果をみると，いずれの従属変数の場合でもスマートフォンと年齢の間には有意な正の交互作用がみられた（超短時間回答:OR=1.077, CI=1.000-1.159, ストレートライニング:OR=1.068, CI=1.024-1.113）。年齢が高いほど回答の質が高いという傾向は，スマートフォン回答の場合に弱くなることを意味する。言い換えると，若年層における回答の質の低さはパソコン回答の場合に顕著であり，スマートフォン回答の場合はそういった年齢による差が小さくなると理解される。
| n | % | スマートフォン（%） | 超短時間（%） | ストレートライニング（%） | ||
| 全サンプル | 30,000 | 100 | 56.1 | 2.6 | 5.1 | |
| 回答デバイス | パソコン | 12,296 | 41.0 | － | 1.7 | 5.6 |
| タブレット | 877 | 2.9 | － | 2.3 | 5.9 | |
| スマートフォン | 16,827 | 56.1 | － | 3.2 | 4.7 | |
| 回答時間a） | 超短時間 | 766 | 2.6 | 70.2 | － | 23.5 |
| 中間 | 28,484 | 94.9 | 55.4 | － | 4.6 | |
| 超長時間 | 750 | 2.5 | 67.5 | － | 4.4 | |
| ストレートライニング | 非該当 | 28,475 | 94.9 | 56.3 | 2.1 | － |
| 該当 | 1,525 | 5.1 | 51.7 | 11.8 | － | |
| 年齢 | 20-24歳 | 1,845 | 6.2 | 77.1 | 7.4 | 7.4 |
| 25-29歳 | 3,276 | 10.9 | 75.3 | 5.5 | 6.6 | |
| 30-34歳 | 2,731 | 9.1 | 73.2 | 4.9 | 4.8 | |
| 35-39歳 | 3,249 | 10.8 | 69.3 | 3.8 | 6.6 | |
| 40-44歳 | 3,324 | 11.1 | 62.0 | 2.9 | 5.3 | |
| 45-49歳 | 4,058 | 13.5 | 54.3 | 1.6 | 5.7 | |
| 50-54歳 | 3,150 | 10.5 | 48.5 | 0.5 | 4.4 | |
| 55-59歳 | 3,139 | 10.5 | 40.3 | 0.3 | 3.9 | |
| 60-64歳 | 3,111 | 10.4 | 35.2 | 0.1 | 3.2 | |
| 65-69歳 | 2,117 | 7.1 | 25.1 | 0.0 | 2.8 |
a）超短時間:2.5パーセンタイル，中間:2.5-97.5パーセンタイル，超長時間:97.5パーセンタイル
出典:アンケート調査に基づき筆者作成
| モデル1 | モデル2 | |||
| （従属変数=超短時間回答） | OR | 95% CI | OR | 95% CI |
| 回答デバイス（参照:パソコン） | ||||
| タブレット | 1.283 | (0.802-2.052) | 1.977 | (0.765-5.113) |
| スマートフォン | 1.091 | (0.923-1.290) | 0.839 | (0.615-1.145) |
| 年齢 | 0.679*** | (0.656-0.704) | 0.652*** | (0.615-0.691) |
| タブレット×年齢 | 0.889 | (0.701-1.128) | ||
| スマートフォン×年齢 | 1.077* | (1.000-1.159) | ||
| n | 30,000 | 30,000 | ||
| Nagelkerke R2 | 0.099 | 0.100 | ||
| AIC | 6505.000 | 6503.001 | ||
| （従属変数=ストレートライニング） | OR | 95% CI | OR | 95% CI |
| 回答デバイス（参照:パソコン） | ||||
| タブレット | 1.037 | (0.775-1.388) | 1.540 | (0.787-3.014) |
| スマートフォン | 0.683*** | (0.611-0.763) | 0.494*** | (0.390-0.625) |
| 年齢 | 0.891*** | (0.873-0.909) | 0.866*** | (0.841-0.891) |
| タブレット×年齢 | 0.927 | (0.823-1.043) | ||
| スマートフォン×年齢 | 1.068** | (1.024-1.113) | ||
| n | 30,000 | 30,000 | ||
| Nagelkerke R2 | 0.014 | 0.015 | ||
| AIC | 11931.316 | 11922.409 | ||
OR:オッズ比，CI:信頼区間，***:p＜0.001, **:p＜0.01, *:p＜0.05
出典:アンケート調査に基づき筆者作成
以上の結果から，スマートフォン回答が回答の質を低下させるとはいえず，その意味では先行研究に沿うものといえる4）（山田・江利川, 2023; Tourangeau et al., 2017）。むしろ，若年層に限ればスマートフォンのほうがパソコンよりも回答の質を維持しやすいという傾向も示唆された。こういった結果を説明する要因として，スマートフォンの画面サイズが従来に比べて大型化したことや，マルチデバイスに最適化した画面表示の設計（レスポンシブデザイン）が普及したという技術的な側面が考えられる。また，若年層を中心にスマートフォンの利用が日常的になり，操作に習熟した人が増えたという回答者側の変化も理由に考えられる5）。
ただし，GULPでは回答負荷を最小化するため非常にシンプルな調査票を用いており，このことがスマートフォン回答に有利に働いた可能性もある。同様の指摘は山田・江利川（2023, p.221）においてもなされている。逆にいうと，より分量が大きく長文の設問などが含まれる調査票の場合には，パソコン回答が有利になるかもしれない。たとえば，一般社団法人日本マーケティング・リサーチ協会（2020）は，マトリックス設問による離脱率がパソコンよりもスマートフォン回答者で高いことを指摘している。GULPは10項目×5件法のQ6が最大であり，質問文などの文字数も少ないため，スマートフォンの小さい画面であっても負担なく回答できた可能性がある。また，スマートフォンにおけるタップ操作がストレートライニングを回避する非直線的な不良回答（たとえば，1,2,1,2…といった同一選択肢ではない回答パターン）に結び付いている可能性も否定はできない。したがって，今後は調査票あるいは個々の設問との組み合わせまで考慮した分析が課題となる。
本研究から導かれる示唆としては，スマートフォン回答を前提とすることでデバイスによらず回答しやすい設計を目指すことが挙げられる。むろん，こういった指針は調査会社・業界においてもすでに示されているが（一般社団法人日本マーケティング・リサーチ協会, 2020），本研究の結果はその方向性に実証的な根拠を付け加えるものである。ただし，本研究で用いた指標は二つに限定されるため，より多くの観点から回答の質を評価する必要がある。また，回答時間の計測において中断の影響は考慮できていないため，この点も今後の課題である。
スマートフォン回答へのさらなる移行は，地理学研究に何らかの影響をもたらすのだろうか。この点については今後の推移を見守る必要があるものの，いくつかの論点を列挙しておきたい。まず，スマートフォンは携帯可能なデバイスであるため，写真撮影や各種センサーを利用した野外調査の社会調査における利用可能性を拡大する。時間的な制約が小さくなることも想定されるため，自宅以外の様々な環境・状況において断続的に意識や感情を尋ねるような調査（経験サンプリング法）も実施しやすい。一方，外出先や移動中の回答が増えることで，居住地を想定した質問への回答内容などに何らかの偏りを生じさせる可能性もある。また，インターネット調査のモニター登録率には地域差があり（埴淵・村中, 2018），スマートフォンへの移行がそれを拡大させるのか，それとも縮小させる方向に作用するのかは未知数である。さらに，GULPの3年後追跡調査では，スマートフォン回答者の脱落率がパソコン回答者よりも高い傾向がみられており，継続調査への負の影響も懸念される。スマートフォン回答の拡大がおそらく不可避であることに鑑みると， 今後はここで挙げたような様々な可能性と課題を検証しつつ， インターネット調査の研究利用を進める必要がある。
本研究の実施にはJSPS科研費JP17H00947，JP18KK0371，JP24K00176の助成を受けた。
1） 短時間回答は様々に定義されうるが，ここでは山田（2023）が「超短時間回答」と操作的に定義した2.5パーセンタイル値を採用した。こうした速度違反（speeding）は，謝礼を目的として短時間で回答を完了させようとする場合などに起こりやすいと考えられ，質問を十分に理解して注意深く回答しておらず回答の質にとって好ましくない前兆行動とされる（トゥランジョーほか, 2019）。
2） 正しく回答した場合でも同一回答になることは論理的にありうる。ただしこの10項目の中には「魅力的に見える建物や景観」と「老朽化した空き家など荒廃した建物」といった相反する性質のものが含まれており，全項目が同一の評価となる可能性は低いと考えられる。なお，マトリックス設問をスマートフォンで表示する際に別の形式（たとえばアコーディオン形式とよばれる，項目ごとに折りたたんだ選択肢を次々に表示していくもの）を使用する場合もあるが，GULPの調査画面ではパソコン同様のグリッド形式が採用された。
3） ここから窺えるように，回答時間が若年層ほど短い背景には，最小限化だけでなく，動作速度が速いといった不良回答とは別の要素も含まれる。ただし本稿の主眼は回答デバイスと回答の質の関連にあり，年齢は統制変数として用いているため，年齢に応じて「超短時間」の定義を変えるといった操作は行っていない。
4） 海外の研究ではスマートフォン回答が長時間化する傾向も指摘されているが，本研究では回答時間そのものではなく超短時間回答のみを指標としている。第1表から読みとれるように，スマートフォン回答の場合は回答中断が影響すると思われる超長時間回答の割合も高い。
5） たとえば若年層の場合はスマートフォンを右手で持つ場合が多い（インテージ, 2021），画面スクロールが短い（博報堂生活総合研究所, 2021）など，閲覧や操作方法には年齢による違いが指摘されている。
