サーベイリサーチにおいては、調査項目の回答形式として、一連の項目リストから複数選択で回答を求める複数回答(multiple answer: MA)形式が多用されている2)。しかし、項目リストの一覧提示が困難な電話調査や特に必要がある場合などには、個別の項目ごとに該当の当否を判断させる個別強制選択回答(forced choice: FC)形式が採用される。
こうしたMA形式とFC形式については、両者を機能的に互換可能と仮定して調査が実施されることも少なくない。しかし、MA形式は項目リストの中からの選択であり、FC形式は個々の項目ごとの判断であるため、両者を異なる回答作業とする立場もある。なかでもSudman & Bradburn (1982)は、MA形式では非選択の意味が不明であることを重視し、MA形式よりもFC形式の使用を強く推奨している。確かに彼らの主張通り、MA形式で選択されなかった項目は、当てはまらないのか、当てはまるかどうかわからないのか、それとも、見落としなのかが不明なままであり、そのような点だけを見てもMA形式の採用には議論の余地があることがわかる。ただし、そうしたSudman & Bradburn (1982)の主張は実証結果を示しながら行われたものではなく、FC形式とMA形式の回答の差異が実際にどの程度あるのか、具体的な数値は示されていない。
これに対し、MA形式とFC形式の回答傾向の違いに関する実証研究として広く知られるのがRasinski, Mingay, & Bradburn (1994)である。彼らはアメリカ連邦教育省・国立教育統計センターの高校生パネル調査(NELS: 88)を分析して、教育や家庭環境に関する3つの質問のそれぞれでFC形式よりもMA形式の項目選択数が有意に少ないことを示し、その原因が最小限化(satisficing)であることを示唆している3)。
サーベイリサーチにおける最小限化とは、質問意図を理解して記憶から関連情報を検索し、その情報を単一の判断に統合して選択肢に応答するという、回答に必要な一連の認知的努力を回答者が怠ることを指し、そうした認知的努力が不十分な回答行動を「弱い最小限化」、質問意図の表面的な理解だけで記憶検索や判断を行わずに応答する回答行動を「強い最小限化」と呼ぶ(Krosnick, 1991, 1999)。そうした視点からFC形式とMA形式を比較すると、MA形式では、途中で項目選択の検討が打ち切られたり、項目リストを見渡した後に相対比較による回答が行われるなど、FC形式に比べて最小限化が起こりやすいと考えられる。
こうしたMA形式での最小限化について、質問紙調査とWeb調査の両方でRasinski et al. (1994)の追試を行ったのがSmyth, Dillman, Christian, & Stern (2006)である。彼女らは、ワシントン州立大の学生を対象とする質問紙調査とWeb調査のデータを分析して、FC形式よりMA形式で項目選択数が少ないことや回答時間が短くなることを示し、そうした結果が生まれる原因として次の2つの心理機制を挙げている。1つはMA形式における弱い最小限化の促進であり、もう1つはFC形式における深い情報処理の促進である。FC形式は全ての項目について深い情報処理を促すため、最小限化が妨げられて回答に時間がかかる(Sudman & Bradburn, 1982)とともに、項目が該当する理由を思いつきやすくなるため項目選択数が多くなると考えられる4)(Sudman, Bradburn, & Schwarz, 1996)。
もしこうした傾向が一般的な現象であれば、同一内容の質問であっても、どちらの回答形式を採用するかで調査結果が大きく異なる可能性があることになる。特にマーケティング・リサーチでは、財の所有やサービスの利用経験(事実・行動)、商品評価や購買態度(意識・意見)などを測定する際に、複数選択で回答を求めることが少なくないため、こうした傾向の有無や程度の確認は重要な事前検討点となる。同様の検討が世論調査についても必要であることは言うまでもない。
しかも、現在日本ではWeb調査の利用が増加傾向にあるにもかかわらず5)、Web調査の回答形式に関する基礎研究はほとんど行われていない。英語圏で行われているような実証研究を日本においても実施することが急務と考えられる。
そこで本研究では、日本のWeb調査において、FC形式とMA形式の間にどの程度の回答差が生じるのか、そして、MA形式でFC形式よりも弱い最小限化が生起しているかを検証する。その際、行動の想起による回答となる「行動質問」と意見の当否の判断による回答となる「意識質問」を設定し、回答に要する情報処理(認知的努力)の性質が異なる両者で同じように最小限化が起こるかを検討する。
なお、本研究はRasinski et al. (1994)やSmyth et al. (2006)の追試でもあるが、それらの先行研究のように学生を対象とするのではなく、現在の日本で商業利用を中心に普及している公募型Web調査6)において、調査モニターの成人男女を対象とし、先行研究の知見のさらなる一般化可能性について検討するものである。
本研究では、公募型Web調査における最小限化について、Smyth et al. (2006)に依拠し、以下の4つの仮説を検証する。仮説1:FC形式よりMA形式で項目選択数が少ない。仮説2:FC形式よりMA形式で回答時間が短い。仮説3:FC形式では回答時間の長短で項目選択数に差はないが、MA形式では回答時間が短いほど項目選択数が少ない。仮説4:MA形式では同一項目でも、項目リストの前半で提示するほうが後半で提示するよりも選択率が高くなる。
まず、仮説1では、項目リストからの項目選択数はFC形式よりMA形式で少ないという先行研究の知見を確認するとともに、個々の項目レベルでもFC形式とMA形式で選択率に差異が見られるかを検証する。同様に、仮説2では、FC形式よりもMA形式で回答時間が短いという先行研究の知見を確認する。
回答時間の長短については、Smyth et al. (2006)が、FC形式の項目選択数を回答時間の長短2群で比較しても差が見られないのに対し、MA形式では短時間回答群のほうが長時間回答群より項目選択数が少ないことを報告し、それをMA形式での弱い最小限化の生起を支持する結果と解釈している。一方、FC形式では短時間の回答といっても全項目をより深く処理するのに十分であり(1質問あたりMA形式より7~41秒の増加)、それが選択項目減にはつながっていないと述べている。これは、FC形式における短時間回答は弱い最小限化の生起が疑われるほど短いものではなく、それゆえ、非該当の選択肢が選択されやすくなってもいない、という主張であると考えられる。
こうした主張は概ね説得的であると考えられるが、彼女らの分析では超長時間回答者(平均回答時間より+2SD超)を除外しているものの、超短時間回答者(-2SD未満)が除外されていない可能性がある点に注意が必要である(Smyth et al., 2006, Table 2の注を参照)。仮に除外されていなければ、「全て該当」「全て非該当」「該当・非該当を交互に選択」など、強い最小限化が疑われる回答が混入する可能性があり、項目選択数と最小限化の生起の有無を関連させて考えることが困難となる。そこで、本研究では、Smythらの議論に依拠するとともに、超短時間回答者(-2SD未満)と超長時間回答者(+2SD超)を除外したうえで、同様の傾向が認められることを仮説3として取り上げ、検証を試みる。
なお、仮説4については、最小限化が項目リストの途中で検討を打ち切るという形でも生起すると考えられるため、こうした順序効果が予想される。本研究では、同一項目リストを正順で提示した場合と逆順で提示した場合の選択率を比較してこの仮説を検証する。
最後に、行動質問と意識質問の差異については特に仮説を設けず、それぞれの質問における上記仮説の検証を通じて両質問間の差異の有無を検討する。
東京・埼玉・千葉・神奈川在住の男女20~69歳を対象にWeb調査を実施した。調査会社の登録モニターから事前調査で回答者を抽出し、総数1,500人程度を目途に人口比例させた性年代人数を本調査に割り当てた。事前調査は2010年3月25日(木)~26日(金)に実施し、26,000人に配信して5,891人から回答を得た。ここから、無効回答、回答に利害の影響が懸念される特定業種(調査業と広告代理業)の従事者、および通信速度が著しく遅いダイヤルアップ接続者を除外して5,465人を抽出した。これを性年代で層化して1,986人をランダムに抽出した後、本調査を2010年3月26日(金)~28日(日)に配信し、割当人数分の回答回収時点で調査を終了して1,559人の有効回答を得た。調査では1画面に1質問を表示し、未回答存在時の警告表示により無回答を許容しない仕様とした。
回答形式比較項目下記の3種類の回答形式条件を設定し、回答者をWeb調査のプログラム管理によりいずれか1条件にランダムに振り分けた(スプリット法)。設定した回答条件は、①FC形式(以下、FC)、②FC形式と項目が同順のMA形式(MA正順)、③FC形式と項目が逆順のMA形式(MA逆順)である。回答者数はFC522名、MA正順519名、MA逆順518名であった。質問は行動質問として「インターネット利用行動」、意識質問として「ノートPC購入重視点」を設定し、質問文は前者が「あなたはインターネットをどのようなことに使っていますか」、後者が「あなたがノートパソコンを買うとしたら、どのような点を重視されるでしょうか」7)である。Table 1に行動質問、Table 2に意識質問の項目(各19個)の内容を示した。なお、質問の表示画面は3条件とも1画面に19項目を縦方向に1列で表示し、MA形式は各項目の冒頭に選択用チェックボックスを配置し、FC形式は各項目の右側に該当と非該当のラジオボタンを横方向に配置した8)。
インターネット利用行動(正順) | FC(%)N=495 | MA正順(%)N=494 | MA逆順(%)N=482 | FC–MA正順 | ||
---|---|---|---|---|---|---|
1.電子メールのやり取り | 92.7 | > | 85.8 | > | 66.6 | 6.9 |
2.自分のホームページやブログの開設・更新 | 30.1 | 22.9 | 18.7 | 7.2 | ||
3.SNS (mixiなど) | 33.7 | > | 23.3 | 24.7 | 10.4 | |
4.個人のホームページやブログを見る | 61.0 | > | 40.7 | 44.0 | 20.3 | |
5.公共機関や企業のHPやサイトを見る | 83.2 | > | 52.0 | > | 41.1 | 31.2 |
6.商品・サービスのHPやサイトを見る | 88.7 | > | 61.3 | 56.2 | 27.4 | |
7.価格比較サイト(価格.comなど)を見る | 78.0 | > | 60.5 | 59.3 | 17.5 | |
8.レストラン・飲食店の検索(ぐるなびなど) | 73.7 | > | 52.4 | 50.0 | 21.3 | |
9.チケットやホテルの予約 | 65.1 | > | 40.1 | 42.9 | 25.0 | |
10.クーポンなどの割引券入手 | 58.2 | > | 33.4 | 34.4 | 24.8 | |
11.ネットショッピング | 86.1 | > | 70.9 | 66.8 | 15.2 | |
12.ネットバンキング | 66.9 | > | 51.0 | 48.3 | 15.9 | |
13.ネットオークション | 42.8 | > | 32.2 | 37.8 | 10.6 | |
14.動画投稿サイト(YouTubeなど)を見る | 63.2 | > | 44.5 | 39.6 | 18.7 | |
15.電子掲示板(2ちゃんねるなど)を見る | 42.2 | > | 24.5 | 25.1 | 17.7 | |
16.事典・辞書(Wikipedia、goo辞書など) | 76.6 | > | 44.7 | 50.6 | 31.9 | |
17.地図・乗り換え・運転ルートの検索 | 91.9 | > | 75.5 | 78.4 | 16.4 | |
18.天気予報を見る | 86.5 | > | 69.6 | 69.3 | 16.9 | |
19.ニュースを見る | 90.7 | > | 65.0 | 70.5 | 25.7 |
注:FCとMA正順の比較、および、MA正順とMA逆順の比較で5%水準の有意差に不等号を表示。有意水準は表全体をBonferroni法で5%水準に調整。右端はFCからMA正順を引いた差分。
回答者(N=1,559)の基本属性として、性別(男性49.9%、女性50.1%)、年齢(M=44.65, SD=13.52)、未既婚(未婚35.6%、既婚64.4%)、子供の有無(子供あり54.0%、子供なし46.0%)、最終学歴(高校卒以下25.9%、短大専門学校卒24.6%、4年制大学卒以上46.7%、在学中1.7%、NA1.0%)について回答を得た。
PCストレス項目回答環境に対する心理的ストレスについて回答形式条件間で差がないかを検討するために、回答者が回答に用いたと考えられる「ふだん使っているパソコン」について、下記3項目への該当を2件法で尋ねた。すなわち、「ふだん使っているパソコンは処理速度が遅いので、いつもストレスを感じている」(該当30.0%)、「ふだん使っているパソコンはディスプレイ画面が狭いので、いつもストレスを感じている」(該当5.6%)、「インターネットを使うとき、ふだん使っているブラウザの表示が遅いので、いつもストレスを感じている」(該当25.1%)である。
回答時間質問ごとに回答時間(質問画面提示時間)を計測し(単位ms)、その自然対数変換値を分析に用いた。以下では、各回答条件の行動質問または意識質問について個別に回答時間対数変換値の分布を検討し、平均値から-2SD未満は不正回答の可能性が高い超短時間回答者、平均値から+2SD超は回答中断の可能性がある超長時間回答者と見なして、分析から除外した。
分析に先立ち、回答形式3条件間で基本属性とPCストレス項目の回答分布を比較した。その結果、性別(χ2(2)=0.12, ns)、年齢(F(2, 1490)=0.03, ns)、既未婚(χ2(2)=0.66, ns)、子供の有無(χ2(2)=1.11, ns)、最終学歴(χ2(8)=6.73, ns)の各属性やPCストレスの各項目(「処理速度が遅い」χ2(2)=0.70、「ディスプレイ画面が狭い」χ2(2)=0.03、「ブラウザの表示が遅い」χ2(2)=4.19、それぞれns)において有意差は見られなかった(いずれもN=1,559)。これにより、各条件の回答者は同質であると判断した。
続いて、仮説1を検討した結果、行動質問も意識質問もFCよりMA正順での項目選択数が有意に少なく、仮説1が支持された(Table 3)。
また、個々の項目について、FCの項目選択率からMA正順の項目選択率を引いた差分(FC–MA正順)を計算すると、行動質問(Table 1)で平均19.0 pt(範囲6.9 pt~31.9 pt)、意識質問(Table 2)で平均27.7 pt(範囲8.4 pt~45.8 pt)であった。
ノートPC購入重視点(正順) | FC(%)N=496 | MA正順(%)N=493 | MA逆順(%)N=491 | FC–MA正順 | ||
---|---|---|---|---|---|---|
1.処理速度 | 93.3 | > | 71.2 | > | 52.3 | 22.1 |
2.ハードディスクの容量 | 86.7 | > | 57.4 | 59.1 | 29.3 | |
3.メモリーの容量 | 91.7 | > | 63.3 | 64.0 | 28.4 | |
4.画面の大きさ | 74.0 | > | 50.3 | 46.4 | 23.7 | |
5.画面の解像度 | 70.4 | > | 28.8 | 30.1 | 41.6 | |
6.無線LAN機能の内蔵 | 62.3 | > | 38.7 | 33.2 | 23.6 | |
7.テレビチューナーの内蔵 | 21.4 | > | 13.0 | 9.2 | 8.4 | |
8.拡張性 | 38.7 | > | 8.9 | < | 16.7 | 29.8 |
9.DVDなどのドライブの有無や性能 | 72.6 | > | 33.9 | 40.9 | 38.7 | |
10.バッテリー駆動時間 | 64.7 | > | 37.1 | 37.1 | 27.6 | |
11.重さ | 62.5 | > | 46.5 | 40.5 | 16.0 | |
12.落としたときなどの耐久性 | 62.5 | > | 20.1 | 16.9 | 42.4 | |
13.保守サポートの内容 | 66.1 | > | 20.3 | 23.4 | 45.8 | |
14.OSの種類 | 74.0 | > | 40.8 | 47.9 | 33.2 | |
15.付属ソフトの種類 | 42.7 | > | 13.4 | < | 38.7 | 29.3 |
16.メーカーやブランド | 58.5 | > | 33.7 | < | 47.0 | 24.8 |
17.デザイン | 59.7 | > | 39.1 | 38.7 | 20.6 | |
18.本体の色 | 52.2 | > | 26.4 | 29.9 | 25.8 | |
19.価格 | 96.0 | > | 80.1 | < | 90.8 | 15.9 |
注:FCとMA正順の比較、および、MA正順とMA逆順の比較で5%水準の有意差に不等号を表示。有意水準は表全体をBonferroni法で5%水準に調整。右端はFCからMA正順を引いた差分。
次に、仮説2を検討した結果、行動と意識の両質問でFCよりMA正順の回答時間が有意に短く、仮説2が支持された(Table 3)。なお、両形式間の平均回答時間の差は、行動質問(11.9 s)よりも意識質問(16.9 s)で大きかった。
質問 | 平均項目選択数(SD, N) | 回答時間(ms)対数変換値平均[逆変換値] | ||||
---|---|---|---|---|---|---|
FC | MA正順 | t | FC | MA正順 | t | |
行動質問 | 13.1 (3.9, 495) | 9.5 (4.5, 494) | 13.4*** | 10.613 [40.7 s] | 10.268 [28.8 s] | 13.8*** |
意識質問 | 12.5 (4.0, 496) | 7.2 (4.0, 493) | 20.7*** | 10.683 [43.6 s] | 10.194 [26.7 s] | 17.2*** |
注:回答時間(測定単位ms)対数変換値の逆変換値はsに換算。*** p<.001
続いて、仮説3の検討では、行動質問と意識質問のそれぞれで、対数変換した回答時間の中央値を基準に短時間回答者と長時間回答者の2群に分けて、項目選択数を比較した。その結果、Table 4に示すように、意識質問では、MA正順で長時間回答者より短時間回答者の項目選択数が有意に少ないが、FCでは両者に有意差は見られず、仮説3が支持された。しかし、行動質問では、MA正順では長時間回答者と短時間回答者の間に有意差が見られず、FCで長時間回答者のほうが短時間回答者より項目選択数が有意に少なく、仮説3は支持されなかった。
行動質問(SD, N) | 意識質問(SD, N) | |||||
---|---|---|---|---|---|---|
長時間回答群 | 短時間回答群 | t | 長時間回答群 | 短時間回答群 | t | |
FC | 11.9 (3.8, 247) | 14.3 (3.7, 248) | 7.1*** | 12.2 (3.8, 248) | 12.8 (4.2, 248) | 1.7 |
MA正順 | 9.7 (4.2, 247) | 9.3 (4.8, 247) | 1.1 | 8.2 (3.6, 246) | 6.2 (4.1, 246) | 5.8*** |
注:*** p<.001
最後に仮説4を検討した結果、行動質問(Table 1)も意識質問(Table 2)もともに、MA形式では同一項目でも、項目リストの前半での提示のほうが後半での提示よりも選択率が高い項目が複数認められ、仮説4が支持された。なお、有意にそうした傾向を示す項目の数は、行動質問(2項目)よりも意識質問(5項目)で多かった。
以上の結果から、日本の公募型Web調査においても、同一内容の質問もFC形式とMA形式とで調査結果が大きく異なりうることが明らかとなった。
こうした結果について、まず、FCとMA正順で項目選択率に著しい差(意識質問で平均27.7 pt、最大45.8 pt)が認められたことは、Web調査利用者の間で知見として共有されるべきであるとともに、今後のWeb調査を有益なものとするためにも、いろいろな質問内容・調査条件での追試が必要であることを示唆していると考えられる。なお、そうした差はRasinski et al. (1994)の結果よりもはるかに大きいが9)、これが調査様式(質問紙/Web)、質問内容、回答者属性(高校生/成人、アメリカ/日本、非公募/公募)のいずれに起因するかは不明であり、この点は今後の研究課題であると考えられる。
次に、FC形式とMA形式の間にこうした差が生じる原因として考えられてきたのは、MA形式における弱い最小限化の発生であるが、上述の通り、仮説1、仮説2、仮説4が支持されたことにより、弱い最小限化が発生している可能性は、経験的にある程度裏付けられたと考えられる。
ただし、こうした結果の解釈には、以下の反論も考えられる。すなわち、MA形式で回答が少ないのではなく(あるいは、それとともに)、FC形式で黙従傾向による回答増が生じているのではないか、という反論である。確かに、FC形式には「はい/いいえ」を意味する一対の選択肢が設定される点がMA形式と決定的に異なっており、黙従傾向の危険性も指摘されている(Schuman & Presser, 1981)。
この点について、Smyth et al. (2006)は、同一内容質問の回答形式で「はい/いいえ」条件と「はい/いいえ/中間/わからない」条件を設定・比較し、後者で「はい」回答が減らないことを報告している。しかし、本研究では調査実施上の制約から、このような検証は行っていない。したがって、今回の結果をMA形式における弱い最小限化発生の論拠と考えるには、厳密には「日本の公募型Web調査でもSmyth et al. (2006)と同様に、FC形式に黙従傾向が認められない」ことの確認が必要である。
ただし、本研究のFC条件で黙従傾向が著しいとは言いがたい論拠もいくつか考えられる。まず、本研究のFC条件では全項目該当者は行動項目で4.8%、意識項目で3.8%を占めるに過ぎない点である。FC形式での黙従傾向の影響については「FC形式での全項目該当という回答パターンによって回答形式間に差が生じている」という極端な議論もありうるが、本研究で示された項目選択数や個々の項目選択率についての回答形式間の差は、そうした議論だけでは説明できないほど大きいと考えられる。
また、本研究で扱った質問の話題がインターネット利用行動とノートPC購入重視点に関するものである点も挙げられる。一般に黙従傾向は質問内容や回答者の意見・態度が曖昧な場合に生じると考えられているが、本研究の質問項目は、Web調査の回答モニターにとって日常的で身近な内容であり、場面想定法のように仮想状況について尋ねる質問でもなければ、回答者があまり考えたことのない社会状況について推測させるような質問でもない。また、本研究の質問項目は、政治経済に関する世論調査などに比べれば、回答が困難なほど難解な質問であるとも言いがたく、そのような点では、相対的には、黙従傾向の発生が強く疑われる質問内容であるとも言いがたい。
もちろん、FC形式における黙従傾向とその生起条件については、必ずしも実証が十分ではなく、今後さらなる研究が必要である。ただし、このことは同時に、FC形式における黙従傾向の発生という反論にもさらなる実証が必要であることを示唆しており、その点には注意が必要である。
また、別の論点として、回答者ごとに回答状況(画面サイズ、質問項目一覧性、通信速度など)が異なっている可能性がある、という批判も考えられる。本研究では回答者の使用PCのタイプ、画面サイズ、使用OSなどの情報を収集しておらず、それらの点については不明である。しかし、通信速度については、ダイヤルアップ回線使用者や不正回答の疑いがある超長時間および超短時間回答を分析から除外し、PCストレス度を測定して群間に有意差がないことを確認している。加えて、実施したスプリット法で各条件に約500名規模の回答者をランダムに割り当てており、回答状況の差は相殺されていると考えられる。これらのことから、本研究の結果の解釈において回答状況の差を考慮する必要性は低いと考えられる。
一方、最小限化の生起について、本研究で扱った質問の項目数が19項目と比較的多かったことの影響は可能性として考えられる。この数は実務的にみて著しく多いものではないが、それでもMA形式とFC形式の調査結果に大きな差異が見られたことを踏まえると、最小限化が生起しやすい項目数に関する検討は今後の重要な研究課題といえる。
また、本研究では仮説3が部分的支持にとどまった。仮説3で不支持となったのは行動質問における結果で、予想と異なり、MA正順では回答時間の長短で有意差が見られず、FCでは長時間回答者のほうが短時間回答者より項目選択数が有意に少なかった。
こうした結果の原因として、行動質問の内容が一部の回答者に下記のような回答方略を促した可能性が考えられる。すなわち、「インターネット利用行動を尋ねる行動質問では、日常的な行動頻度ではなく、過去経験の有無(1回でも利用経験があるか)が問われている」という解釈である。そして、そうした解釈がなされれば、FC形式でもMA形式でも、短時間に多くの項目の利用が想起される可能性がある。そうした回答が両形式に同程度含まれていたと仮定した場合、そうした回答を除けば、行動質問でも仮説3を支持する結果が得られた可能性があったと考えられる。
なお、上記の議論の「過去経験の有無による回答」は、質問内容の解釈に起因し、回答形式とは無関係に生起する現象であって、質問内容の解釈後に短時間回答方略として行われる回答(最小限化回答)とは性質を異にするものと想定されている。
ただし、上記の議論は実際に起こりうることとして想定可能ではあっても、現時点では推測に過ぎず、今後の研究課題と言わねばならない。しかし、ここで重要なのは、そうした説明が不可能でない以上、本研究の行動質問における仮説3の不支持によって最小限化の生起が否定されるわけではないと考えられる点である。
なお、最小限化の生起に関し、行動質問と意識質問の差異について仮説は設けなかったが、本研究では全体として、意識質問で個々の項目の選択率が高く、項目選択数が多く、回答時間が長くなる傾向が認められた。これについては、行動質問での想起より意識質問での判断のほうが回答に必要な認知的負荷が高く、それを反映して差異が生じたのではないかとも推測されるが、想起にも判断にもそれぞれに難易度の高低があること(例:現在の事実の想起と長期間にわたる頻度想起、印象判断と意思決定)を考慮すると、今回の結果を一般化するには想起・判断の難易度を統制したうえで同様の結果が得られるかを確認する必要があると考えられる。ただし、本研究は、調査回答時の認知的情報処理機制の解明だけでなく、今後のWeb調査の有効利用に資する知見の公開も目的としている。そのような意味では、最小限化回答が意識質問でも行動質問でも起こりうるという知見がまず重要であり、そうした結果はWeb調査の安易な利用に注意を促すものであると考えられる。
以上のように、本研究ではほとんどの仮説が支持され、FC形式とMA形式とでは調査結果が大きく異なること、および、その原因が弱い最小限化である可能性が高いことが示された。また、先行研究と異なり、本研究の調査対象者が成人男女であることから、先行研究の結果の一般化可能性が高まったと考えられる。
もちろん、本研究のデータは、インターネット利用者の無作為抽出標本ではなく、調査会社の登録モニターを利用したものであり、厳密には統計的検定が行えず、その点では結果の一般化可能性には制約があることになる。さらに、他の質問内容で同様の傾向が確認されるか今後の検証も必要であるが、そうした傾向が頑健なものであれば、少なくともWeb調査の回答形式に関しては、相対的には、MA形式よりもFC形式の採用が推奨されることになるだろう10)。
Web調査は商業利用が先行する形で既に広く普及しているが、日本においては、Web調査の方法論的基礎研究は必ずしも十分とは言えない状況である。特に、本研究で検討したような、回答形式に起因する結果の差については、ほとんど研究が行われていないようである。サーベイリサーチの黎明期には、日本においても、後の礎となる重要な方法論的基礎研究が実施されていたが、今、Web調査に必要とされているのは、そのような基礎研究の積み重ねである。