JSMDレビュー
Online ISSN : 2432-6992
Print ISSN : 2432-7174
投稿論文
レプリケーション研究の方法
髙田 英亮
著者情報
ジャーナル フリー HTML

2017 年 1 巻 2 号 p. 65-71

詳細
Abstract

戦略経営分野のトップ・ジャーナルの1つであるStrategic Management Journalにおいて,現在,レプリケーション研究や結果なしの研究が歓迎され掲載されるようになっている。また,2016年,ハイクオリティなレプリケーション研究を行うためのガイドラインも示された。そこで本稿では,その議論を踏まえた上で,マーケティング・チャネルに関する1つの研究を例として用いながら,レプリケーション研究の1つの方法・手順を整理して示す。本稿の内容は,日本のマーケティング研究者が今後,レプリケーション研究を行うにあたって,1つの道標となるであろう。

1  はじめに

2015年,戦略経営分野のトップ・ジャーナルの1つであるStrategic Management JournalSMJ)において,新しい編集方針が示された。そこでは,戦略経営分野において,理論を開発しテストする研究,興味深い現象を探究する研究,および多くの方法を評価する研究に加えて,レプリケーション研究(replication studies)や結果なしの研究(studies with nonresults)を歓迎し掲載することが記されている(Bettis et al., 2016a)。ここでレプリケーションとは特定の既存研究の結果が再現されうるかどうかを評価することであり(Bettis et al., 2016b),結果なしとは具体的な仮説または研究命題に関して特定のサンプルにおいて統計的支持が得られないことを意味する(Bettis et al., 2016a)。

それではなぜ(1)レプリケーション研究や(2)結果なしの研究が歓迎されるようになったのであろうか。(1)レプリケーション研究については,既存研究と同様の分析を,たとえば,より大きなサンプル・サイズやより洗練された分析手法を用いて再度行ってみると,同様の結果が得られないことが結構あることが関係している1)。(2)結果なしの研究については,結果なしの研究よりも結果あり(特に新しい結果あり)の研究のほうが査読付きジャーナルに掲載されやすい現在の制度的状況において,研究の過程で,p-hacking2)やHARKing3)とも呼ばれる,統計的に有意な結果(特に新しい結果)を強く探し求める行為がとられやすくなることが関係している。Bettis et al.(2016a)は,査読付きジャーナルが(1)や(2)の研究を掲載しない一方で,統計的に有意な結果を示す研究のみを掲載することは,われわれが知識を繰り返し検討する中でより確からしい知識を累積的に得ていくという知識の確立プロセスと矛盾すると指摘している。こうして,(1)や(2)の研究が歓迎されるようになった背景には,既存研究の結果や過程の信頼性に対する一定の懸念があり,そうした懸念を払拭するための丁寧かつ冷徹な研究の蓄積が現在われわれに求められているといえる。

こうした中で,2016年,SMJ上でBettisらによってハイクオリティなレプリケーション研究を行うためのガイドラインが示された。本稿では,そこでの議論を踏まえて,レプリケーション研究の1つの方法・手順を整理して示す。またその際,マーケティング・チャネルに関する1つの研究を例として用いながら説明を加える。本稿の内容は,日本のマーケティング研究者が今後,レプリケーション研究を行うにあたって,1つの基礎となるであろう。

2  2種類のレプリケーション

Bettis et al.(2016b)は,ハイクオリティなレプリケーション研究を行う上で大別して2種類のレプリケーションがあることを理解しておくことが重要であると述べている。そこでここではまず,その2種類のレプリケーションについて説明する。

1を見てほしい。Bettis et al.(2016b)は,この図を用いて2種類のレプリケーションを説明している4)。1つは同一ないし同様のレプリケーション(narrow replication)であり,図1における(1)と(2)が含まれる。具体的には,(1)既存研究と全く同じデータ・サンプルと全く同じ研究デザインを用いて,既存研究の結果の誤りや改ざんをチェックすることと,(2)既存研究と同じ母集団(同じコンテクスト)であるが異なるサンプルと同じ研究デザインを用いて,既存研究のデータの信頼性と代表性をチェックすることである。

図1 

2種類のレプリケーション

出所:Bettis et al. (2016b), p. 2196.

もう1つは準レプリケーション(quasi-replication)であり,図1における(3)~(6)が含まれる。具体的には,(3)既存研究と異なる母集団(異なるコンテクスト)から得られたサンプルと同じ研究デザインを用いて,新しい母集団(対象,産業,国,期間など)における既存研究の結果の一般化可能性(generalizability)を検討すること,(4)既存研究と同じデータ・サンプルと異なる研究デザインを用いて,異なる測定尺度,分析手法,モデルを用いた場合の既存研究の結果の頑健性(robustness)を評価すること,(5)既存研究と同じ母集団であるが異なるサンプルと異なる研究デザインを用いて,既存研究の結果の頑健性を評価すること,そして(6)既存研究と異なる母集団から得られたサンプルと異なる研究デザインを用いて,既存研究の結果の一般化可能性と頑健性を検討することである。

3  レプリケーション研究の方法

Bettis et al.(2016b)は,ハイクオリティなレプリケーション研究を行うためのガイドラインとして,(1)レプリケーションの焦点は重要な結果であるか,(2)目的は同一ないし同様のレプリケーションか準レプリケーションか,(3)レプリケーションは元の研究とどの程度よく一致するか,(4)元の研究の公表以降に研究上進展したことを取り入れるのは有益・重要か,そして(5)結果は研究の確立に資するように解釈されるか,という5つのディメンションを示す。彼らは,これらの5つのディメンションを通じて,(1)重要な結果のレプリケーションを行う,(2)同一ないし同様のレプリケーションと準レプリケーションの目的・要求の違いを理解する,(3)レプリケーションの第1段階として,元の研究と可能な限り同様の研究デザインで分析を行う,(4)その後,研究上進展したことを取り入れた分析(たとえば,内生性の問題を考慮した分析や新しい推定手法を用いた分析)を行う,そして(5)レプリケーションの結果を累積的な研究の確立に資するように評価する,ということを指摘している。

Bettis et al.(2016b)はこうしてレプリケーション研究を行うにあたっての重要な点と概念的なロードマップを示しているが,その方法・手順やさまざまな注意点を研究例を用いながら具体的にわかりやすく説明しているわけではない。以下では,彼らの議論と上記の2種類のレプリケーションの違いを踏まえた上で,日本の研究者がレプリケーション研究を行い,海外の研究者に向けて発表することを想定して,そのための1つの方法・手順とさまざまな注意点をマーケティング・チャネルに関する研究例を用いながらより具体的に説明する。その方法・手順は,以下に示すように5つのステップからなるものとして整理されるであろう。

3.1  重要な問題を取り上げる

レプリケーション研究を行うにあたっての最初のステップは,重要な問題を取り上げることである。重要な問題としては,ある問題を考える上で1つの基礎となる理論的に重要な仮説や実務的に重要な仮説,さらに既存の実証分析において仮説を支持するものもあれば支持しないものもあるという混合的な結果が見いだされている問題などが挙げられるであろう。

マーケティング研究にはもちろんのこと,多くの重要な問題があるが,レプリケーション研究の方法・手順をより具体的に説明する上で,ここでは「資産特殊性が高くなることによって,チャネル統合度が高くなる」,または「資産特殊性が高くなることによって,独立チャネルよりもむしろ統合チャネルが選択される可能性が高くなる」といったマーケティング・チャネル形態の選択問題における取引費用経済学の資産特殊性仮説を取り上げたい5)Oliver E. Williamson(1975, 1985, 1986, 19996)によって提示された取引費用経済学は,過去30年間のマーケティング・チャネル研究における重要な理論の1つであり,チャネル形態の選択やガバナンスの問題を検討する際に用いられている(Watson et al., 20157)。資産特殊性仮説は,取引費用経済学におけるきわめて重要な仮説であり,実際,Williamson(1999)は「取引費用経済学の説明力の多くがこの要因(資産特殊性)にかかっている」(p. 1089)と述べている。

また,取引費用経済学の資産特殊性仮説に対してはこれまで多くの統計的分析が行われていて,全体的に見てその仮説を支持する結果が多いが,他方で支持しない結果もある。たとえば,David & Han(2004)はその包括的レビューを行い,取引費用経済学に関する実証分析において,資産特殊性は最も頻繁に検討された説明変数であり,107の独立の統計的テストが行われ,そのうち60%(64)が支持されていると述べている。Crook et al.(2013)はそのメタ・アナリシス8)を行った結果,資産特殊性の統合度に対する影響に関して,既存研究は取引費用経済学の予測を支持しているが,ただしその影響(rc = 0.12)は大きくはないと述べている。

3.2  既存研究を丁寧にレビューする

レプリケーションを行う問題が定まったら次に取り組むべきは,その問題と関連する既存研究を丁寧にレビューすることである。より具体的には,既存研究のひとつひとつを丁寧に確認し,それぞれの実証分析におけるサンプルの特徴,サンプル・サイズ,分析単位,被説明変数と説明変数,測定尺度,分析手法,分析結果などを整理することである。

マーケティング・チャネル形態の選択問題における取引費用経済学の資産特殊性仮説と関連する既存研究としては,Anderson(1985)Anderson & Coughlan(1987)Anderson & Schmittlein(1984)Aulakh & Kotabe(1997)Bello & Lohtia(1995)Brettel et al.(2011a)Brettel et al.(2011b)Dutta et al.(1995)He et al.(2013)John & Weitz(1988)Kabadayi(2011)Klein et al.(1990)Krafft et al.(2004)Shervani et al.(2007)などが挙げられる。これらの研究はサーベイ・データを用いて統計的分析を行っている。これらはまた評価の高い(あるいはある程度評価の高い)英文のジャーナルに掲載された論文である9)

上記の14本の論文を確認し,押さえておくべき点を挙げると次のとおりである。それらのうち,9本の論文がアメリカにおいて得られたサンプルを用いている。その産業としては電子・電気関連を含むものが多い。その対象財は生産財が多い。サンプル・サイズについては最大が346,最小が87であり,平均は189である。分析単位は,製品(製品ライン),販売地域における製品,海外市場における製品,ビジネス・ユニット,ニュー・ベンチャーなど,さまざまである。被説明変数であるチャネル形態の選択に関して,販売代理店か直接的な販売員か,流通業者か販売代理店か,流通業者か販売代理店/ジョイント・ベンチャーか本国からの直接輸出/海外販売子会社か,直接チャネルによる売上高の割合,直接チャネルの程度などが含まれ,こちらもさまざまである。他方,焦点の説明変数である資産特殊性に関しては人的資産特殊性を考慮する研究が多く,8本の論文が資産特殊性を代表するものとして人的資産特殊性を取り上げている。その測定尺度の主なソースは,Anderson(1985)Klein et al.(1990)である。なお,人的資産特殊性に比べて,物的資産特殊性を考慮する研究は少ない。既存研究で用いられている分析手法は,ロジット・モデル,多項ロジット・モデル,重回帰分析(最小二乗法),PLS-SEM(partial least squares structural equation modeling)などである。最後に,資産特殊性仮説をめぐる分析結果については,14の分析のうち,10が支持,2が部分的支持,2が不支持という結果になっている。

3.3  特定の分析の同一ないし同様のレプリケーションを行う

既存研究の詳細を把握したら次に取り組むべきは,それらの研究の中から特定の分析を選んで,その同一ないし同様のレプリケーション(可能な限り同様の分析)を行うことである。特定の分析を選ぶ際には,その分析で考慮されている被説明変数や説明変数の組み合わせ,測定尺度,分析結果を中心に,その論文が掲載されているジャーナルのレベルや引用数なども勘案すると良いであろう。

チャネル形態の選択に関する既存研究の中で,この同様のレプリケーションの対象となる分析はいくつかあるが,その候補の1つはShervani et al.(2007)によるものであろう。その理由としては,説明変数の組み合わせや被説明変数と焦点の説明変数の測定尺度に関して,彼らが既存研究を踏まえてよりよいものを選択していると思われることが挙げられる。彼らは具体的に,被説明変数として直接チャネルによる売上高の割合,説明変数として資産特殊性(人的資産特殊性),外部の不確実性,内部の不確実性,流通費用,企業規模,財務成果などを取り上げ,アメリカ市場における電子・電気通信製品の40の製造業者から得られた109の製品市場に関するサーベイ・データを用いて重回帰分析を行っている。そして,それぞれの説明変数の主効果を検討するモデルにおいて,資産特殊性(人的資産特殊性)は,取引費用経済学の予測と一致して,直接チャネルによる売上高の割合と正の関係にあること(β = 0.16, p < 0.05)が示されている。

この分析の同様のレプリケーションでは,既述のようなアメリカ市場における同様のサーベイ・データと同じ研究デザインを用いて,その結果をチェックすることになる。また,この分析を行う際にあらかじめ入手しておきたいものは,元の分析で実際に使用された調査票である。調査票の各セクションで具体的な質問(記述)に入る前に提示される説明文やコントロール変数に関する質問への回答の仕方など,論文には示されておらず,実際の調査票を見なければわからない情報が結構ある。サーベイ・データを用いた分析の同様のレプリケーションを行うためには,そうした情報も含めて,できる限り同様の調査票を作成することが必要である。ただし,ここで新たなサーベイ・データを得る年は既存研究とは異なり,その何年か後ということになる。この点,アーカイバル・データを用いた分析の同様のレプリケーションとは違って,「同様」といっても限界があることに留意する必要がある10)

3.4  準レプリケーションを行う

特定の分析の同一ないし同様のレプリケーションの次に行うべきは,準レプリケーションである。上記の例のようによくあることであるが,特定の分析が海外のデータに基づく場合,われわれ日本の研究者は,準レプリケーションを以下の2つの分析によって構成し,段階的に実施することができる。1つは,特定の分析と異なる日本のデータと同じ研究デザインを用いて,その結果の一般化可能性を検討することである。日本のデータを用いた分析では海外のデータを用いた分析と同様の結果が見られることもあれば異なる結果が見られることもあり(Kim et al., 2009; Takata, 2016),日本は結果の一般化可能性を確認するコンテクストとして有用であろう。また,ここで特定の分析とは異なる対象や産業からデータを得ることも考えて良いであろう11)。もう1つは,特定の分析とは異なる研究デザインを用いて,その結果の頑健性を評価することである。ここで重要な点は,異なる研究デザインを用いて,より厳密な分析を試みることである(Bettis et al., 2014)。そして,このより厳密な分析を試みる際に注目すべき点の1つは,内生性(endogeneity)の問題である。内生性の問題は,欠落変数,欠落セレクション,同時性,コモン・メソッド・バリアンス,測定誤差を含む多様な要因から生じうるが(Antonakis et al., 2010, 2014),ここでは同時性による内生性の問題に注目したい12)

Shervani et al.(2007)も含めて,既述の14本の論文における資産特殊性仮説の分析結果は,この同時性による内生性の問題をはらんでいる可能性がある。これは,たとえば,資産特殊性とチャネル統合度の関係のように,説明変数が被説明変数の規定要因であると同時に,被説明変数も説明変数の規定要因になっている可能性がある場合に注意を払うべき問題であるが,わかりやすくいうと,資産特殊性がチャネル統合度に及ぼす影響を検討するにあたり,既存研究は,ある時点のサーベイ・データを用いて,(A)「資産特殊性が高くなることによって,チャネル統合度が高くなる」という関係だけでなく,(B)「チャネル統合度が高くなることによって,資産特殊性が高くなる」という逆の関係も同時に考慮してしまっているために,本来検討したい(A)の関係を特定できていない可能性が考えられるのである。それではこの問題を軽減するために準レプリケーションにおいてどうすればいいのかというと,ここでの分析例のように説明変数(資産特殊性)が複数の項目によって測定される潜在的な構成概念である場合,分析手法として,たとえば,構造方程式モデリング(structural equation modeling: SEM)を用いた操作変数・2段階最小二乗法(instrumental variables two-stage least squares: IV-2SLS)のアプローチを採用することが考えられる13)。これは,測定誤差の問題によりよく対応しながら,説明変数に影響を与えるが,被説明変数からは直接影響を受けない複数の操作変数を用いて,2段階の推定を行うことにより,説明変数が被説明変数に及ぼす影響を検討する分析手法である。この分析手法を用いてさまざまな検討を行うことで,われわれは,上記の(A)の関係の特定により近づくことができるであろう14)

この他,準レプリケーションの研究デザインでは,先に行った既存研究のレビューを踏まえて,測定誤差の問題を軽減するべく,潜在的な構成概念である焦点の説明変数に関して,元の分析よりも内容の充実した測定尺度を用いることや,欠落変数の問題に対応するべく,元の分析では取り上げられていないが,被説明変数の規定要因であり,焦点の説明変数と関係する外生的な説明変数をモデルに新たに加えることなども考えるべきである。また,分析では,ここでも先の既存研究のレビューを踏まえて,何らかの新しいアイディアや概念を付加して,当該分野において理論的・実務的な貢献を行うことも試みるべきである。ここでの分析例では,たとえば,人的資産特殊性に加えて物的資産特殊性の効果も検討することや,人的資産特殊性と物的資産特殊性がチャネル統合度に及ぼす影響をアメリカと日本において比較検討することが考えられる。さらに,日本のサーベイ・データを用いて海外の分析結果を確認する際には,確立されたバック・トランスレーションの手続き(Boyd et al., 2013)にしたがって,日本と海外の調査票・質問項目の同等性を確保することも忘れてはならない。

3.5  分析結果を適切に解釈し,次なるレプリケーションのための課題を示す

準レプリケーションの次は最後のステップであり,そこでは以下の2つのことを行うべきであろう。1つは,2種類のレプリケーションの分析結果を適切に解釈することである。その際,分析が特定のデータと特定の研究デザインに依拠していることを念頭に置いて,謙虚さをもって,言い過ぎないように注意し,仮説の適用範囲や結果の境界条件について慎重に議論をする必要がある。Bettis et al.(2016b)が指摘するように,レプリケーションの目的は,既存の仮説の支持・不支持を総体的に示すエビデンスのバランスに対して追加的なエビデンスを提供することであり,既存の仮説の支持・不支持を決定づけることではない。また,分析結果が既存研究と異なるのであれば,その原因がデータにあるのか,測定尺度にあるのか,分析手法にあるのか,モデルにあるのか,それともそれ以外にあるのかを,レプリケーションを段階的に行うことによって特定する必要がある。もう1つは,次なるレプリケーションのために,考えられる課題を正直に記すことである。データや研究デザインの課題について,差し障りのないことを書くのではなく,実証分析を実際に行った者にしかわからない気になる点やあいまいであったと思う点を,同様の分析を行う後の研究者のために,具体的に示すことが重要である。

4  おわりに

本稿では,Bettis et al.(2016b)の議論を基にして,マーケティング・チャネルに関する1つの研究を例として取り上げ説明を加えながら,レプリケーション研究の1つの方法・手順を整理して示した。それは,前節で述べたように,(1)重要な問題を取り上げる,(2)既存研究を丁寧にレビューする,(3)特定の分析の同一ないし同様のレプリケーションを行う,(4)準レプリケーションを行う,そして(5)分析結果を適切に解釈し,次なるレプリケーションのための課題を示す,という5つのステップから構成される。本稿ではまた,(3)の特定の分析としてアメリカのサーベイ・データを用いた分析を取り上げ15),そのレプリケーションとして,まず,アメリカのサーベイ・データを用いてその分析と可能な限り同様の分析を行い,次に,日本のサーベイ・データを用いて結果の一般化可能性を確認し,その後,内生性の問題を考慮した上で,(3)の特定の分析とは異なる分析手法(たとえば,SEMを用いたIV-2SLSアプローチ)を通じて結果の頑健性を評価する,という流れを示した。さらにその流れの中で,(2)の既存研究のレビューを踏まえて,当該分野においてまだわかっていないことを明らかにする分析も試みるべきである。こうした方法・手順に沿って丁寧に行われるレプリケーション研究は,詳細な記述的レビューや適正なメタ・アナリシスと同等に,既存の結果を整理し検討する研究として有意義であろう。

これまでわれわれマーケティング研究者は,マーケティング現象をよりよく説明するために,多くの仮説・新しい仮説を提示し,実証分析を行い,多くの結果・新しい結果を発表してきた。われわれは今後,そうした研究を続けながら,同時に,より確かなマーケティング知識を求めて,レプリケーション研究を行い,既存の仮説・結果をチェックする必要がある。また,このチェックを後の研究者が繰り返し行うことができるように,そのための情報を論文の本文・付録においてできる限り公にする必要がある。現在われわれに求められていることの1つは,個々の分析とレプリケーション研究を繰り返すことによって,より確かな累積的なマーケティング知識を作り上げていくことである。

謝辞

本稿の作成にあたり,本誌編集長の近藤公彦先生とお二人の匿名レフェリーの先生方から貴重なコメントをいただきました。ここに記して深くお礼申し上げます。

1)  既存研究と同様の分析を再度行ってみると,同様の結果が得られないことが結構あることは,生物医学や心理学の分野におけるレプリケーション研究において指摘され,現在その他の分野でも話題になっている(Bettis et al., 2016a)。

2)  p-hackingとは,アスタリスク(たとえば,0.05未満のp値)を伴う統計的に有意な結果を探し求めて,データを多くの計算や操作にさらすことを意味する(Bettis et al., 2014; Starbuck, 2016)。

3)  HARKingはHypothesizing After Results are Knownからくるものであり,これを行う人をHARKerという。HARKerは,まずデータを集め,統計的分析を行い,その後仮説を立て,最後にその新しく立てた仮説を支持する,またはそれと矛盾する理論や既存研究を探す(Starbuck, 2016)。

4)  この図の基になっているのは,Tsang & Kwan(1999)の表2(レプリケーションのタイプ)である。

5)  消費者行動論,製品開発論,価格論,広告論,マーケティング・チャネル論といった各論から構成されるマーケティング研究の中で,筆者の主要な研究領域はマーケティング・チャネル論であり,本稿では,そのうち,重要な問題の1つであるマーケティング・チャネル形態の選択問題における取引費用経済学の資産特殊性仮説をレプリケーション研究の考察対象として取り上げたい。

6)  Williamsonは,2009年にノーベル経済学賞(正式には,アルフレッド・ノーベル記念経済学スウェーデン国立銀行賞)を受賞している。

7)  Watson et al.(2015)は,過去30年間のマーケティング・チャネル研究における重要な理論として,取引費用経済学,エージェンシー理論,ゲーム理論,資源ベース論(以上,経済的アプローチ),パワー-依存・コンフリクト論,関係的規範論,コミットメント-信頼論,ネットワーク理論(以上,行動的アプローチ)を挙げている。

8)  メタ・アナリシスの結果はその基礎をなすデータの質によって影響を受ける。そのため,われわれがメタ・アナリシスの結果を見る際には,その分析に含まれている研究やそれぞれの研究で用いられている方法を注意深くチェックする必要がある。

9)  ここで挙げた14本の論文は,ABDC(Australian Business Deans Council)Journal Quality List 2016においてA*またはAと評価されたジャーナルで発表されたものである。そのうち8本の論文は,FT 50に含まれるトップ・ジャーナル(Financial Times Top 50 Journals)で発表されたものである。

10)  サーベイ・データを用いた既存研究と同様の分析を試みる場合,既存研究と同じ国・同じ産業の同様の企業からデータが得られたとしても,データを得る年は既存研究とは異なり,その何年か後ということになる。この場合,研究の内容やデータの状況にもよるであろうが,コンテクストが異なると考えられるために,その分析は同様のレプリケーションというよりも,準レプリケーションとして捉えるべきであるという考え方もあるだろう。

11)  ここでの特定の分析とは異なる対象や産業からデータを得ることも考えて良いであろうという点は,日本のデータのみならず,海外のデータに関しても当てはまることである。

12)  内生性の問題とそれへの対応について詳しくは,Antonakis et al.(2010, 2014)を参照されたい。

13)  SEMを用いたIV-2SLSアプローチを採用している研究として,Eshima & Anderson(2017)が挙げられる。

14)  SEMを用いたIV-2SLSアプローチやIV-2SLSは,説明変数と被説明変数に関するデータが同じ評価者から得られることによって生じうるコモン・メソッド・バリアンスの問題に対応する上でも有効であるとされる(Antonakis et al., 2010, 2014)。

15)  本稿では,(3)の特定の分析としてアメリカのサーベイ・データを用いた分析に注目したが,(1)の取り上げる問題によっては,その特定の分析が日本のデータを用いた分析になることもあるだろう。その場合,レプリケーションでは,まず,日本のデータを用いてその分析と可能な限り同様の分析を行い,次に,何らかの準レプリケーションを通じて結果の一般化可能性や頑健性を検討するという流れになるであろう。

参考文献
 
© 2017 日本商業学会
feedback
Top