研究論文
日本人英語学習者の批判的思考力を測定する試行テスト作成
―探索的因子分析による妥当性検証―
2022 年 7 巻 p. 37-54
詳細
2022 年 7 巻 p. 37-54
In recent years, critical thinking has become increasingly important in English education in Japan. However, there has been little research conducted on the measurement of critical thinking skills. Thus, this study aimed to examine the validity of a pilot test to measure the critical thinking skills of Japanese EFL learners to obtain useful information for further research. In reference to the Courses of Study and previous research on critical thinking, the construct of critical thinking skills was organized into three categories: (a) clarification－identifying the main points of content, (b) basis of inference－judging the reliability of information, and (c) inference－inferring facts and conclusions from content. Based on this construct, this study developed a multiple-choice-items English test and analyzed the test items using item analysis and factor analysis. The result indicated that the item difficulty of this test was appropriate for the test takers whose English proficiency was at the A2 level of the CEFR. In addition, three factors were extracted, which were the same as the construct of critical thinking skills defined in this study. This study also provides suggestions for developing a critical thinking test with higher validity and reliability.
情報化やグローバル化の進展によって社会が大きく変化している現在，教育システムもこの変化に対応することが求められている（Griffin et al.,2012; 文部科学省, 2018a）。そこで海外では，情報化社会に対応できる人材の育成を目的として発足したAssessment and Teaching of Twenty-First Skills Project（ATC21S）において，これからの時代に必要となるリテラシーをまとめた21世紀型スキルが提唱された。このスキルは「思考の方法」「仕事の方法」「仕事のツール」「市民生活」の4つのカテゴリから成り，「思考の方法」の1つに批判的思考を挙げている（ATC21S, 2022）。また日本でも，国立教育政策研究所が21世紀型能力を提案した。これは「基礎力」「思考力」「実践力」から成る能力であり，その中の「思考力」の１つに論理的・批判的思考を挙げている（国立教育政策研究所, 2013）。
このような流れを受けて，日本の英語教育においても，情報を鵜吞みにせずに精査して自分の考えを形成したり，多面的多角的に思考して考察したりする能力を育成する必要性が高まっている（文部科学省, 2018a）。そして，このような能力を育成する手段として批判的思考力が挙げられる（文部科学省, 2016）。英語に触れる機会が多くある現在，英語の情報を取捨選択したり，英語で説得力のある意見を述べたりする際に発揮される批判的思考力は必要不可欠である。そのため，日本の英語教育ではリーディングやスピーキングなどの活動を通して，大学生や高校生を対象とした批判的思考力の育成を目指す実践研究が多く行われている（e.g., 今井・峯島, 2017）。しかし，日本人英語学習者を対象とした批判的思考力の測定・評価に関する研究は十分に行われていない。
そこで本研究では，日本人英語学習者を対象とした，批判的思考力を測定する試行テストの開発を行う。具体的には項目分析や因子分析によって試行テストの妥当性を検証する。そして，妥当性や信頼性の高い批判的思考テストを開発するための示唆を得ることを目指す。
初期の先行研究によると，批判的思考とは「何を信じ，何を行うかの決定に焦点を当てた合理的で反省的な思考」と定義される（Ennis, 1987, p.10）。また近年では，「証拠に基づく論理的で偏りのない，内省的思考」とも定義されている（楠見, 2018, p.130）。つまり，これらの先行研究をまとめると，批判的思考とは物事を否定することではなく，物事を正確に捉えて，自分の思考過程を吟味しながら考えを形成していくことだと言える。
この批判的思考力は，主に「明確化（clarification）」「推論基盤の検討（basis of inference）」「推論（inference）」の3つの領域によって構成される（Ennis, 1987; 楠見, 2018）。「明確化」とは，情報や図表などの内容を正確に理解することで，結論や話題などの内容の要点を特定する領域である（Ennis, 2011）。次の「推論基盤の検討」とは，情報の信頼性を判断したり，他の情報や既存知識と比較して情報の内容を精査したりする領域である（Ennis, 2018）。最後の「推論」とは，根拠となる情報から正しい結論や仮説を導き，様々な視点から捉えてその判断が正しいのかどうか吟味する領域である（Ennis, 1987）。
Ennis（2015, 2018）や楠見・道田（2016）は，これら3つの領域の下位スキルを定義しており，批判的思考力の構成概念を提唱している（表1）。批判的思考の最初の領域である「明確化」について，この領域は特に「推論基盤の検討」と「推論」の2つの領域とも関連し合って行われる，複雑で幅広いスキルで構成されている（Ennis et al., 2005；楠見・道田, 2015）。そのため，この2の領域と関連する場合には，要点を特定する「明確化」以上のスキルが求められることから，表1に示すように「高次の明確化（advanced clarification）」として区別される。例えば，「高次の明確化」の下位スキルである「用語の定義」は，内容から推測して用語の曖昧性を特定して意味を定義するスキルであり，「前提の特定」は根拠と結論の一貫性を精査して書き手や話し手の隠された考えや立場を推測するスキルである（Ennis, 2011）。これらの下位スキルでは，情報を精査する「推論基盤の検討」や，内容から推測して事実や結論を導き出す「推論」の領域との関連が見られるため，先行研究では「高次の明確化」として設定されている。
| 領域 | 下位スキル | 定義 |
|---|---|---|
| 明確化 | 焦点化 | 主張や結論，根拠，問題点を特定する |
| 議論分析 | 要約や表などで内容を整理する | |
| 図表やグラフなどの統計資料を理解する | ||
| 高次の 明確化 |
用語の定義 | 曖昧な用語の意味を定義する |
| 前提の特定 | 暗黙の前提を特定する | |
| 推論基盤 の検討 |
情報源の信頼性判断 | 情報源の信頼性を判断する |
| 情報の内容判断 | 情報の内容を判断する | |
| 推論 | 推論 | 演繹的，帰納的に結論を導く |
| 価値判断 | 様々な要因を考慮して偏りのない判断を行う |
現行学習指導要領（平成30年告示）では，児童生徒に「生きる力」を育むことを目標としている。このような資質・能力の育成のため，既存の知識と結び付けたり情報を精査したりして考えを形成していく深い学びを通して，「確かな学力」を育成する授業を行うことが求められている。この「確かな学力」とは，知識や技能を基に自ら課題を発見し，学び，主体的に判断してよりよく問題を解決する能力のことである（文部科学省, 2018b）。
上述した資質・能力を有する生徒を育てる手段の1つとして，文部科学省（2016, 2018a）は，日本の英語教育において批判的思考力を育成することを挙げている。よって『高等学校学習指導要領（平成30年告示）解説 外国語編』では，批判的思考力と親和性の高い能力を育成することの重要性が記されている。表2は，批判的思考力を構成する「明確化」「推論基盤の検討」「推論」の各領域に，学習指導要領における批判的思考力に関する文言を当てはめたものである。
| 領域 | 学習指導要領における文言 |
|---|---|
| 明確化 | ・情報や考えなどの概要や要点を的確に理解する（p.24） |
| ・理由や根拠を明らかにする（p.26） | |
| ・内容を整理して表などにまとめる（p.68） | |
| 推論基盤 の検討 |
・読んだ内容を他の情報と比べるなど目的に応じて情報を精査する（p.15） |
| ・事実と意見を区別する（p.44） | |
| ・論理の一貫性に注意する（p.26） | |
| 推論 | ・話し手や書き手が伝えようとしている意図を把握する（p.23） |
| ・聞いたり読んだりして得た事実や情報，意見などに基づいて自分の考えをまとめる（p.41） | |
| ・より深く多面的・多角的に考察する（p.18） |
海外では，大学生や社会人を対象とした批判的思考力を測定する英語テストの開発が行われている（e.g., Ennis et al., 2005）。また，日本でも平井他（2020）が日本人大学生を対象に，批判的思考力を測定する試行テストの開発を行った。以下では，3つの代表的な批判的思考テストの概要について説明する。
2.2.1 コーネル批判的思考テストコーネル批判的思考テストとは，批判的思考研究において最も引用されている論文の著者Ennisが主体となって作成した，批判的思考力を測定する多肢選択テストである。このテストでは，（1）帰納的推論，（2）意味・誤謬，（3）観察・確実性，（4）帰納的推論，（5）語の意味判断，の5つの下位尺度を通して受験者の批判的思考力を測定している。それぞれの下位尺度の特徴をまとめたものと，大学院生40名を対象に行った信頼性検証の結果を表3に示す。Ennis et al.（2005）によると，このテストの正答率は55％から61％であり，下位尺度ごとの問題の信頼性としてクロンバックのα係数を算出した結果，α = .55からα = .76であった。
また，平山他（2010）は，日本語版のコーネル批判的思考力テストを作成し，大学生43名を対象に難易度を検証した結果，正答率は56％であった。内的整合性の検討では，折半法を用いた結果，有意な高い相関が見られたため（r = .64, p < .01），このテストの信頼性が確認された。
| 下位尺度 | 関連する領域 | 問題形式 | α |
|---|---|---|---|
| 演繹的推論 | 推論 | 与えられた事実から結論を導けるか判断する | .76 |
| 意味・誤謬 | 推論基盤 の検討 |
結論と根拠の繋がりが妥当なものか判断する | .66 |
| 観察・ 確実性 |
推論基盤 の検討 |
提示された情報のから最も信頼できるものを判断 する |
.60 |
| 帰納的推論 | 推論 | 実験結果から提示された結論を導けるか判断する 仮説検証のために適切な実験デザインを判断する |
.55 .72 |
| 語の意味 判断 |
推論基盤 の検討 推論 |
討論における意見が妥当なものか判断する 認識が一致していない単語の意味を特定する |
.65 .65 |
ワトソン・グレイザー批判的思考尺度とは，Watson and Glaser（2002）が作成した批判的思考力を測定する多肢選択テストである。この尺度の初版は1964年に出版されているが，ここでは2002年に出版された最新の尺度について説明する。このテストは，（1）推論，（2）仮説検証，（3）演繹的推論，（4）解釈，（5）議論評価，の５つの下位尺度で構成されている。表4は，それぞれの下位尺度の特徴をまとめたものである。Hassan and Madhum（2007）がこのテストの妥当性と信頼性の検証を行っている。妥当性検証のために探索的因子分析を行ったところ，一次元性が認められたため，下位尺度ごとではなくテスト全体の信頼性としてクロンバックのα係数を算出した結果α = .79であり，高い信頼性が確認されている。
また，久原他（1983）はワトソン・グレイザー批判的思考尺度を日本語に訳し，日本語版批判的思考テストとして公開している。この日本語版テストの妥当性や信頼性の検証に関する先行研究は見当たらないが，批判的思考力の育成を目指した指導の効果を検証するために，いくつかの研究（e.g., 伊佐地, 2015）で用いられている。但し，このテストはワトソン・グレイザー批判的思考尺度の下位尺度である推論のみを翻訳したものとなっている。
| 下位尺度 | 関連する領域 | 問題形式 |
|---|---|---|
| 推論 | 推論 | 事実からどの程度結論を導くことができるか判断する |
| 仮説検証 | 推論 | 事実から導き出せる書き手の結論の前提を特定する |
| 演繹的推論 | 推論 | 与えられた前提から導き出せる結論を特定する |
| 解釈 | 推論 | 情報から指定された結論が導き出せるか判断する |
| 議論評価 | 推論基盤の 検討 |
議論における結論の根拠が妥当なものか判断する |
英語版批判的思考テストとは，平井他（2020）が日本人大学生を対象に作成した，批判的思考力を測定するための多肢選択式の英語テストである。このテストでは測定する批判的思考力の下位尺度を，批判的思考力の構成概念の中でも次の3つのスキルに絞っている：（1）一貫性，（2）分析，（3）推論。それぞれの下位尺度の特徴とクロンバックのα係数をまとめたものを表5に示す。
このテストは大学生81名を対象に4セットに分けて，約140分で実施された。そして項目分析を行った結果，正答率は64％であった。また，妥当性検証のために因子分析を行ったところ，一貫性と推論に関する因子，英文理解から一貫性を測る因子，情報分析や算術に関する因子の3因子に分かれた。このことから，同じ下位尺度を測定するテスト項目のみで因子を構成することにはならなかったものの，テスト得点は3つの概念に分かれるという想定していた結果が得られた。
| 下位尺度 | 関連する領域 | 問題形式 | α |
|---|---|---|---|
| 一貫性 | 推論基盤の検討 | 文と文の結束性や文章の一貫性を明らかにする | .61 |
| 分析 | 推論基盤の検討 | 情報を分析し，その信頼性を判断する | .52 |
| 推論 | 推論 | 情報の内容から推測して結論を導く | .40 |
上述したように，既に様々な先行研究で批判的思考力の構成概念について定義がなされている。しかし，これまでの先行研究では，裁判や議論の場面を想定し，英語母語話者を対象としているため，より高次の思考レベルである論理学や哲学に焦点を当てて，批判的思考力について考案している（Ennis, 1987；楠見・道田, 2016）。そのため，表1中の「前提の特定」や「推論」などの下位スキルでは高度な思考スキルが求められる。英語を通してこれらのスキルを発揮することは，英語を外国語として学ぶ日本人にとっては困難であることが予想される。よって，日本の英語教育において特に育成が求められる批判的思考力の構成概念について整理することで，段階的に英語による批判的思考力を育成・評価していく必要があると考える。
次に海外で開発された批判的思考力を測定するテストに関して，日本人英語学習者に使用するには以下3点の理由で困難である：（a）日本人には馴染みのないトピック（e.g., 移民問題）が使用されている点，（b）日本からの入手が困難であり，テストを受験するための費用が高額である点，（c）英語母語話者を対象に作成されたもので，論理学に焦点を当てたテスト項目が多くある点。また，日本の英語教育では，平井他（2020）が日本人大学生を対象に批判的思考テストの開発を行ったが，以下3点から更に検証する必要があると考えられる：（1）テストの実施に多くの時間を要する点，（2）代表的な批判的思考テストで使用された問題形式とは異なる点，（3）批判的思考力の構成概念を十分に網羅できていない点。
上記の課題点を踏まえ，日本の英語教育において育成が求められる批判的思考力を測定する，妥当性や信頼性の高い英語テストの開発を目指す。そのために本研究では，批判的思考力を測定する試行テストを作成し，その妥当性を検証することで，今後のテスト開発においてどのようなテスト項目が批判的思考テストとして適切であるかに関して示唆を得ることを目的とする。検証課題（Research Questions；RQs）は以下の通りである。
RQ1：本テストの難易度はCEFRのA2レベルの受験者にとって適切か。
RQ2：本テストで使用したテスト項目から批判的思考力のどのような因子が抽出されるか。
3.2 本研究で実施する批判的思考テスト先行研究の限界点で挙げたように，日本の英語教育で育成が求められる批判的思考力の定義と構成概念を明らかにする必要がある。そのため，表1（先行研究が明らかにした批判的思考力の構成概念）と表2（学習指導要領における批判的思考力に関する文言）を基に，批判的思考力の定義を行い，そして批判的思考力の構成概念を整理した（表6，表7）。
本研究では，批判的思考力を以下のように定義する：（a）論理的に判断・分析して内容を正確に捉えようとする合理的思考，（b）自分の思考過程を吟味し，根拠に基づいて意見の形成や結論の特定をしようとする反省的思考。また，多様なスキルから成る批判的思考力の構成概念を十分に網羅するため，本研究では表6に示すように，先行研究と同様の「明確化」「推論基盤の検討」「推論」の3つを下位尺度として設定した。そして，これら3つの下位尺度を測定するための問題形式を表7にまとめた。表7に示した問題形式は，代表的な批判的思考テストであるEnnis et al.（2005）とWatson and Glaser（2002）を基に作成した。
批判的思考力の構成概念について，表1で「高次の明確化」として分類された下位スキルは，内容から推測して答えを導き出す必要があるため，「推論」の領域と親和性が高い。そのため，本研究では「高次の明確化」に分類される下位スキルを「推論」の下位尺度に設定した。また，「明確化」の下位尺度を測定する方法として統計的資料を理解する問題を含めた。統計的資料の要点を捉えるスキルは，学習指導要領では関連する文言は見られなかったものの，表1に示すようにEnnis（2015, 2018）が近年新たに批判的思考力を構成するスキルとして加えたことから，重要視されていることが読み取れる。また文部科学省（2016）においても，言葉が含まれる図表を理解するための能力の必要性を述べている。さらに，大学入学共通テストのリスニングとリーディングの問題や，大学で必要とされる英語運用能力を測定するTEAPなどのハイステークテストでも統計資料の問題が出題され始めている。以上のことから，英語による統計的資料の要点を理解する能力は日本人英語学習者にとって必須であると言える。
| 下位尺度 | 定義 |
|---|---|
| 明確化 | 図表やグラフ，情報内容の要点を捉える |
| 推論基盤の検討 | 内容を精査して，より妥当な情報を選択する |
| 推論 | 内容から導き出せる事実・結論・仮説を特定する |
| 下位尺度 | 問題形式 |
|---|---|
| 明確化 | ・図表やグラフなどの統計資料を理解する ・主張や結論，話題などの要点を捉える |
| 推論基盤の検討 | ・複数の情報からより信頼性の高いものを選択する ・根拠と結論のつながりが一貫したものか判断する |
| 推論 | ・提示された内容から導き出せる事実・結論を特定する ・提示された内容から特定の用語の意味を推測する |
参加者は，日本の大学1年生60名（男性27名，女性33名）である。入学時にTOEIC L&R（M = 459.75, SD = 72.52）を受験しており，CEFRのA2レベルの英語力と想定される。
本テストは，それぞれの下位尺度に9問ずつ，計27問の多肢選択式テストであり，SECTIONⅠからSECTIONⅤで構成される（付録1参照）。計65分でテストを実施した後，解答と解説を提示し，内省の機会とした。
3.4 分析方法RQ1ではテスト項目の性質を調査するため，項目分析によって下位尺度ごとに弁別力と正答率，信頼性の検証を行った。点双列相関係数によって弁別力を算出し，項目分析の際の弁別力の基準は.10と設定した。これは，受験者にとって言語形式に関する問題には馴染みはあるが，CTスキルを測定する問題形式には不慣れであることが想定され，且つ本テストには批判的思考力だけでなく，英文を理解するためのある程度の英語力も求められるためである（平井他, 2020）。また，信頼性の指標としてクロンバックのα係数を算出した。そして，弁別力の基準を満たしていない項目，削除することによって信頼性係数が高くなる項目を削除し，分析の結果残ったテスト項目を対象としてそれぞれの下位尺度とテスト全体での正答率を算出した。批判的思考テストの先行研究結果から，正答率が55から65％であれば本テストは受験者にとって適切な難易度であると判断できる（Ennis et al., 2005; 平井他, 2020; 平山他, 2010）。
RQ2では，最尤法によるプロマックス回転を用いた探索的因子分析を行った。探索的因子分析によって，批判的思考力の構成概念を探ることが可能となる。本テストでは批判的思考力だけでなく英語力も関わるため，因子負荷量の基準は.20と低く設定した（平井他, 2020）。パターン行列の検証では，（a）負荷量が基準の.20を越えていない項目，（b）負荷量が１を超える項目，（c）因子へ最も貢献する負荷量がマイナスの値である項目を削除し，再分析を行った。
それぞれの下位尺度における信頼性と正答率を算出した結果を表8，表9，表10に示す。「明確化」のテスト項目では5項目を削除し，表8に示す4項目となり，正答率は61％であった。しかし，信頼性係数はあまり上昇せず，α = .41であった。
「推論基盤の検討」のテスト項目では2項目を削除し，表9に示す7項目となり，正答率は61％であった。多くのテスト項目で高い弁別力が確認され，信頼性係数はα = .60であった。先行研究では，「推論基盤の検討」に該当する信頼性係数の範囲はα = .52 からα = .66であるため，批判的思考テストとして十分な信頼性を得ることができたと言える。
「推論」のテスト項目では4項目を削除し，表10に示す5項目となり，正答率は65％であった。いくつかのテスト項目で高い弁別力が見られたが，α = .40と十分な信頼性を得ることができなかった。
| 項目 | c1 | c2 | c3 | c17 | Mean | α | |
|---|---|---|---|---|---|---|---|
| 正答率 | .68 | .82 | .48 | .47 | .61 | .41 | |
| SD | .47 | .39 | .50 | .50 | |||
| 弁別力 | .21 | .10 | .16 | .12 |
注. cは「明確化（clarification）」を指す。
| 項目 | b5 | b6 | b7 | b9 | b10 | b11 | b20 | Mean | α | |
|---|---|---|---|---|---|---|---|---|---|---|
| 正答率 | .67 | .80 | .63 | .67 | .52 | .57 | .38 | .61 | .60 | |
| SD | .48 | .40 | .49 | .48 | .50 | .50 | .49 | |||
| 弁別力 | .48 | .37 | .51 | .54 | .21 | .41 | .10 |
注. bは「推論基盤の検討（basis of inference）」を指す。
| 項目 | i15 | i18 | i19 | i26 | i27 | Mean | α | |
|---|---|---|---|---|---|---|---|---|
| 正答率 | .50 | .72 | .90 | .37 | .78 | .65 | .40 | |
| SD | .50 | .45 | .30 | .49 | .42 | |||
| 弁別力 | .17 | .37 | .14 | .34 | .25 |
注. iは「推論（inference）」を指す。
項目分析の結果をまとめると，27項目中11項目を削除し，テスト項目数は計16項目となり，テスト全体の正答率は62%であった（表11）。テスト全体の正答率と各下位尺度の正答率は55％～65％に収まっているため，本テストはCEFRのA2レベルの受験者にとって適切な難易度であったと言える。しかしながら，テストの信頼性を十分に満たすことはできなかった。
| 下位尺度 | 明確化 | 推論基盤の検討 | 推論 | 合計 |
|---|---|---|---|---|
| 項目数 | 4 | 7 | 5 | 16 |
| Mean | 3.27 | 4.23 | 2.45 | 9.95 |
| SD | 1.19 | 1.81 | 1.13 | 2.33 |
| 正答率 | .61 | .61 | .65 | .62 |
| α | .41 | .60 | .40 | .39 |
RQ1の結果残った16項目を対象として，批判的思考力のどのような因子が抽出されるかを検証するために探索的因子分析を行った結果の概要を表12に示す。
| 項目 | 問題形式 | 因子負荷量 | 共通性 | ||
| 1 α = .60 |
2 α = .37 |
3 α = .34 |
|||
| b7 | 根拠と結論の一貫性の精査 | .79 | -.06 | -.22 | .58 |
| b6 | 根拠と結論の一貫性の精査 | .56 | -.04 | .29 | .47 |
| b9 | 根拠と結論の一貫性の精査 | .46 | .04 | -.04 | .21 |
| i27 | 内容から推測できる事実や結論の特定 | -.24 | .99 | -.13 | .99 |
| i26 | 内容から推測できる事実や結論の特定 | .12 | .27 | .05 | .10 |
| c1 | 統計的資料の理解 | -.09 | .15 | .57 | .34 |
| c17 | 要点の特定 | -.02 | -.11 | .40 | .16 |
| 因子間相関 | |||||
| 因子1 | - | ||||
| 因子2 | .13 | - | |||
| 因子3 | .23 | .05 | - | ||
注. bは「推論基盤の検討（basis of inference）」，iは「推論（inference）」，cは「明確化（clarification）を指す。
標本の妥当性検定について，KMO = .55であり，不十分であると判断される.50を上回っていた。また，Bartlettの球面性検定の結果も問題がなかった（χ ² (21) = 35.14, p = .027）。以上のことから，因子分析の前提を満たしていると言える。パターン行列の検証によって再分析を行う過程で9項目を削除し，固有値とスクリ―プロットの結果から3因子モデルが妥当であると判断した。
因子分析の結果，表12に示すように，第１因子には「推論基盤の検討」のテスト項目，第２因子には「推論」のテスト項目，第３因子には「明確化」のテスト項目に分かれた。よって，テスト項目は本研究で設定した下位尺度ごとに分けられ，先行研究（e.g., Ennis, 1987）が提唱する批判的思考力の構成概念とも一致する結果となった。しかし第2因子と第3因子では，１つの因子を定義するのに十分なテスト項目数を得ることができなかった。
分析の結果，本テストはCEFRのA2レベルの受験者にとって妥当なレベルであることが明らかになった。文部科学省（2018c）によると，CEFRのA2レベル相当の英語力を有すると思われる高校生の割合は43.6%である。よって，高校生を対象とした本テストの利用可能性について示唆を得られた。また，因子分析の結果から，抽出された因子は先行研究が提示する批判的思考力の構成概念と一致することが示された。しかし，本研究ではテストの信頼性を十分に得ることができなかった。また，因子分析では9項目が削除されることとなり，1つの因子おいて十分なテスト項目を得ることができなかった。この原因として以下3点が考えられる。
第1に，テスト項目間で英文や語彙のレベルに大きな差があり，統制できていなかった点である。項目分析によって削除されたテスト項目と，条件を満たしたテスト項目での英文レベルをComputer-based Vocabulary Level Analyzer version 2.0（CVLA; https://cvla.langedu.jp/）を用いて比較した。CVLAとは，分析対象とする英文のCEFR-Jレベルを推定するものである（内田・根岸, 2021）。その結果，信頼性や弁別力が満たされている項目では，英文レベルはCEFR-JのB2.1であった。それに対して，信頼性や弁別力を十分に満たさずに削除された項目では，英文レベルはCEFR-JのC2であり，英文レベルが大きく異なっていた。そのため，項目分析によって削除されたテスト項目を解く際には，多くの受験者は英文内容を十分に理解することができずに問題に取り組んだことによって，信頼性係数や弁別力が低くなったことが考えられる。
また，CVLAの結果から，信頼性や弁別力を満たしたテスト項目であってもAverDiffとBperAという語彙の難易度を示す指標が特に高いことが分かった。実際に因子分析で除外されたテスト項目には，cyberbullyingやanonymityなどの専門的な単語を含むものもあった。そのため，因子分析で除外された項目には英語の語彙力という要因からの影響も受けていたと考えられる。
第2に，本テストでは問題を解く際に英語力や思考力など多様なスキルを必要とした点である。「明確化」の下位尺度では，信頼性係数がα = .41であり，「明確化」のテスト項目から成る第3因子の信頼性係数もα = .34であった。「明確化」の統計資料の要点を捉える問題では，計算の能力や多くのデータを比較することを必要とするテスト項目も作成した。これらのテスト項目では，算術や情報の比較など「明確化」以外のスキルも影響するため，信頼性係数や弁別力が低くなったと考えられる。因子分析においても，これらの項目が除外されることとなった。
「推論」の下位尺度では信頼性係数はα = .40，「推論」のテスト項目から成る第2因子の信頼性係数もα = .37であり，「明確化」同様に十分な信頼性を得られなかった。本テストの「推論」のテスト項目では，内容を正確に理解するだけでなく，書き手や話し手の意図を推測したり，多面的・多角的に考察したりする必要がある。また，問題を解く際に英文内容に関する背景知識も影響を与えた可能性もある。例えばi19とb20のテスト項目について，生物分野に関する英文を基に問題を出したが，これらの項目では弁別力が十分ではなかった。これは，理系の学生にとっては批判的思考力を発揮することなく，理科の基礎的な知識で推測することが可能であったことが原因として予想できる。このように，問題に取り組む際に様々な要因が関連したため，信頼性係数が低く，「推論」のテスト項目で構成された第2因子に集まるテスト項目も少なくなったと考えられる。但し，先行研究では平井他（2020）の「推論」に該当するテスト項目の信頼性はα = .40であったものの，Ennis et al.（2005）の「推論」に該当するテスト項目ではα = .55からα = .76と比較的信頼性が高く算出されている。これは論理学のテスト項目が多くを占めるセクションであり，母語である英語によって問題に取り組んだことで信頼性係数が高くなったと考えられる。また，各セクション10項目ほどで構成されており，十分な項目数があったことも信頼性が満たされている要因として挙げられる。
一方「推論基盤の検討」では，信頼性係数はα = .60であり，「推論基盤の検討」のテスト項目から成る第1因子の信頼性もα = .60であった。先行研究の「推論基盤の検討」に該当するテスト項目の信頼性と比較すると，Ennis et al.（2005）ではα = .60からα = .66であり，平井他（2020）でもα = .52であることから，十分に信頼性を満たしていると言える。この「推論基盤の検討」のテスト項目では，英文内容の一貫性や信頼性の観点から，情報を精査するスキルを発揮することが必要とされる。内容の一貫性では，根拠と結論のつながりが妥当なものかを判断するスキル，内容の信頼性では，根拠の内容の一貫性や個人の感想や誤った内容を根拠にしていないか判断するスキルがそれぞれ求められる。これらのテスト項目では，英文内容を吟味する能力を発揮することで得点に直結するため，測定スキルが絞られている。そのため、「明確化」と「推論基盤の検討」と比較して，信頼性係数が高くなったと考えられる。
第3に，因子分析を行うにあたってサンプルサイズの妥当性を十分に満たすことができていない点である。因子分析で除外された項目には，因子負荷量が１を超えるものもあった。しかし，これらの項目の弁別力は.37から.41と十分に満たしていたため，受験者数が少なかったことが原因であると考えられる（平井, 2017）。また，因子分析の前提条件である標本の妥当性検定ではKMO = .55であったが，この数値は因子を抽出すべきでないとされる.50の基準を少し上回る程度である（Kaiser, 1974）。このKMOの数値が1に近づくほど，項目数や受験者数などのサンプルサイズの妥当性が高いことが示される。よって，より信頼できる因子を抽出するために，今後の研究では受験者数やテスト項目数を増やし，サンプルサイズの問題を改善することが求められる。
本研究では批判的思考力を測定する試行テストを作成し，その妥当性を検討することで，今後の批判的思考テスト開発の示唆を得ることを目的とした。その結果，本研究で作成した試行テストの難易度はCEFRのA2レベルの受験者にとって適切であることが示された。また，探索的因子分析の結果、本研究で作成した批判的思考テストから「明確化」「推論基盤の検討」「推論」の3つの因子が抽出された。これらの因子は先行研究（e.g., Ennis, 1987）が提唱する構成概念と一致するため、この結果は本テストの妥当性が確認されたことの裏付けとなるだろう。一方で，本研究の課題として次の2点が挙げられる。まず，「明確化」「推論」の下位尺度において批判的思考テストとして十分な信頼性を得ることができなかった点である。次に，項目分析や因子分析によって多くのテスト項目を削除することとなり，各因子に十分なテスト項目数が残らなかった点である。
しかし，これらの課題点の原因を考察することにより，今後の批判的思考テスト開発を行う上で以下4つの示唆が得られた。第1に，CVLAによってテストの英文レベルを調整することである。項目分析で削除されたテスト項目は英文レベルがかなり高いことが明らかになった。よって，受験者にとって適切な英文レベルに調整することで全体的にテスト項目の質が改善することが期待される。第2に，語彙レベルやテキストのトピックに関する背景知識の偏りを統制する必要性が示唆された。本研究の受験者は大学生であったが，専門的な分野を学び始めているため，専攻分野の知識が豊富であることが想定される。そのため，専門的な語彙やトピックの背景知識による影響を防ぎ，テストの公平性を保つことによって，特に「推論」の下位尺度の信頼性や弁別力の改善が期待される。第3に，想定する下位尺度に求められるスキルにできるだけ焦点を当てて、テスト項目を作成する必要性が示唆された。例えば、「明確化」の下位尺度での統計資料問題では，複雑な計算を求める項目や大量のデータ比較を求める項目は分析の過程で削除された。そのため、内容の要点を捉えるスキルに焦点を当てたテスト項目を作成することで，「明確化」の下位尺度の信頼性や弁別力の改善が期待される。第4に，サンプルサイズの問題である。受験者数とテスト項目数を更に増やし，サンプルサイズの妥当性を十分に満たすことで，因子分析の際により多くのテスト項目が各因子に振り分けられることが予想される。
以上のことから，本研究は限界点があった一方で，今後の批判的思考力の評価に関する研究に対して多くの重要な示唆を与えた。今後は，上述した改善点を踏まえて，より妥当性や信頼性の高い批判的思考テスト開発を行い，学校現場に広く還元すること目指す。
本研究は2021年度外国語教育メディア学会関東支部 研究プログラム（若手支援の部）による助成を受けたものである。
| セクション | 問題形式 | 問題数 |
|---|---|---|
| SECTION Ⅰ | ・図表やグラフなどの統計資料を理解する | 4問 |
| SECTION Ⅱ | ・主張や結論，根拠，話題などの要点を捉える ・根拠と結論のつながりが一貫したものか判断する |
8問 |
| SECTION Ⅲ | ・複数の情報からより信頼性の高いものを選択する ・提示された内容から特定の用語の意味を推測する |
4問 |
| SECTION Ⅳ | ・複数の情報からより信頼性の高いものを選択する ・提示された内容から特定の用語の意味を推測する |
4問 |
| SECTION Ⅴ | ・主張や結論，根拠，話題などの要点を捉える ・提示された内容から導き出せる事実・結論を特定する |
7問 |
（17） What is the main point the author wants to tell in this passage?
The following three people from (5) to (7) are discussing a common topic. Each item presents a set of statements and a conclusion. Examine the connection between the conclusion and the statements and choose the most appropriate number from 1 to 3, mentioned below.
（5）I think that … （一部省略）
付録4：「推論」の内容から導き出せる結論を特定するテスト項目の例Make a judgment on whether you can draw the following conclusions from this passage. Choose the most appropriate number from 1 to 3.
（26）Most advanced countries have developed … （一部省略）
