2017 年 6 巻 1 号 p. 83-99
大学で学ぶための基本的能力を「言語運用力」と「数理分析力」という2つの分野で測定しようとする試験に関して,2値の得点データの多重対応分析によって問題項目の特徴を検討した.各問題項目には,測定しようとする能力を分類したラベルを付し,多重対応分析の3次元解と対応させて,各次元を解釈した.1 次元目は総合的な学力評価を表す次元,2次元目は,数や式の扱いや比較的単純な法則を理解する能力を要する項目と,論理性の強い問題を解決する能力を要する項目を区別する次元と解釈した.3次元目は,より高次の思考を要する項目かどうかを区別する次元と解釈した.3次元までの累積説明率は低く,データの縮約はあまり効率よく行えていないものの,全体として,測定しようとする能力の分類に沿った解釈が可能であり,分析対象とした問題冊子は妥当な構成になっていると思われる.本研究は,試験の開発サイクルの一端を担うものであり,試験の改良のためには,難度の高い項目の開発や,幅広い能力のモニター受検者の解答データの収集を行うことで,受検者の能力の識別に貢献する問題を増やす必要がある.
Multiple correspondence analysis is applied to binary data encoded from examinees’responses to test items, which compose prototypes of tests with the intention of measuring university applicants’basic academic abilities of two areas:“Practical Reading”and“Mathematical Thinking”. The abilities to be measured in each area are further classified into a lower level and each test item has classification labels attached in advance. A three-dimensional solution is obtained and compared to the labels of the classified abilities attached to each item. The first dimension is interpreted as general basic academic abilities. The second dimension divides the items that require the handling of numbers and formulas or understanding of relatively simple rules, and the items that require the handling of logical problems. The third dimension expresses the necessity of higher-order thinking. The interpretation supports the validity of the prototype, although the cumulative percentage of eigenvalues up to the third dimension is low and the efficiency of dimensional reduction is moderate. The test quality could be improved by the development of more difficult items and/or collecting data of examinees with a wide range of abilities, so that more items contribute to differentiate the abilities of collected examinees.
2000 年11 月の大学審議会の答申「大学入試の改善について」では,受験生の履修歴が多様化する中で,一定の履修歴を前提にできない状況を想定して,マークシート方式により基礎的,総合 的な能力を適切に判定するための出題について検討を行う必要が指摘された( 大学審議会, 2000). 当時,「総合問題」を個別試験で導入する割合が医学系の学部で比較的高かったこともあり( 伊藤, 2006),異なる履修歴を持つ多様な志願者が受検する医学部の学士編入学試験を想定して「第1部: 情報把握・論理的思考」と「第2 部: コミュニケーション・読解・表現」の2 つの領域の多枝選択式 問題が試作された( 伊藤・林・椎名・大澤・石井・柳井・田栗・岩坪・赤根・麻生・岩堀・内田・ 川・齋藤・武田, 2006).これらの試作問題を用いたモニター調査で得たデータの分析結果から は,2 つの領域が適度な相関を保ちつつも領域固有の異なる能力を測定していることや,問題解 決や課題遂行に必要な基本的な能力と関係していること等が示唆されたものの( 伊藤他, 2006; 伊 藤・林・椎名・田栗・小牧・柳井, 2010),第2 部についてはα 伊藤他, 2006).
中央教育審議会高大接続特別部会審議経過報告(2014) においても,「達成度テスト(発展レベル (仮称))」の内容の1 つとして,「複数の教科・科目にまたがった内容に基づきその活用や応用力を 測る『合教科・科目型』や,教科の枠組みにとらわれない『総合型』の導入」について触れられている.
多様な背景の志願者を対象とした能力の評価の必要性は,法科大学院の入学者選抜に関しても 指摘されており, 司法制度改革審議会(2001) は,法科大学院における履修の前提として要求され る判断力,思考力,分析力,表現力などの資質を測定する適性試験を志願者に課すことを提言し た.平成15~22 年度に実施された大学入試センター法科大学院適性試験は, 司法制度改革審議会(2001) が提言した「判断力,思考力,分析力,表現力」を,第1 部「推論・分析力問題」と第2 部 「読解・表現力問題」の2 つの下位テストに投影して,様々な専門分野を修めた様々なレベルの受 検者の能力を識別しようとするものであった( 椎名・杉澤・櫻井, 2007).大学入試センター法科 大学院適性試験の妥当性については,新司法試験合格率との関係( 椎名他, 2007; ( 椎名・杉澤・小 牧・櫻井, 2008) や他の尺度との関係( 杉澤・内田・椎名, 2009),問題項目の正誤データの因子分 析( 椎名・荒井・小牧, 2011) などから検討が行われている.
1.2. 「言語運用力」と「数理分析力」の測定を意図する試験の開発本稿で分析する「言語運用力」と「数理分析力」の問題は,大学で学ぶための基本的能力を既存の 教科・科目別の学科試験とは異なる観点から評価する目的で開発された試験( 椎名・宮埜・伊藤・ 荒井・桜井・小牧・田栗・安野, 2014) を構成するものである.この試験は「新しい試験」(椎名他, 2014) という名称で開発されたもので,アドミッション・オフィス入試(以下「AO 入試」)や推薦 入試による大学入学者数が,教科科目型の試験を主体とする一般入試による入学者数と同程度の 規模に増加している状況( 教育再生実行会議, 2013) を背景としている.
AO 入試は「詳細な書類審査と時間をかけた丁寧な面接等を組み合わせることによって,入学志 願者の能力・適性や学習に対する意欲,目的意識等を総合的に判定する入試方法」であり,推薦入 試は「出身高等学校長の推薦に基づき,原則として学力検査を免除し,調査書を主な資料として判 定する入試方法」である( 文部科学省, 2016).「新しい試験」の受検者として想定されるのは,AO 入試や推薦入試による大学入学者であり,得点を入学者選抜に用いるのではなく,大学で学ぶた めの基本的能力が備わった程度を評価・把握する道具として用いることを想定している.「新しい 試験」では,測定しようとする能力の枠組みの検討を経て,難度の異なる複数種類の問題冊子が試 作された.試験の開発では,モニター調査を実施して問題の難度や識別力を確認すると共に,意図した能力が測定されているかどうか(妥当性)に関する検討を行って,問題の改良や類題の作成 に繋げるための知見を蓄積する必要がある.
比較的低い学力の受検者を想定した難度で試作された「新しい試験」については,モニター調査 で得たデータの分析によって,上位群と下位群をある程度識別できる問題になっていることが示 されている( 伊藤・荒井・椎名・宮埜・桜井・小牧・田栗・安野, 2015; 桜井・田栗・安野・小牧・ 荒井・伊藤・椎名・宮埜, 2015).「言語運用力」については,主成分分析により,測定しようとす る能力に対応する因子構造が確認され( 伊藤他, 2015),「数理分析力」については,多重対応分析 により,出題内容や出題形式の特徴が抽出 される可能性が示唆されている( 桜井他, 2015).
比較的高い学力の受検者を想定した難度で試作された「新しい試験」についても,想定に近い受 検者を対象とするモニター調査が実施され,「言語運用力」と「数理分析力」の分野別の正答項目数 (分野得点)や,各分野得点と大学入試センター試験(以下,センター試験)の得点との相関に関す る分析が行われた( 椎名・桜井・荒井・伊藤・宮埜・小牧・田栗・安野, 2016).その結果,「数理 分析力」は想定する受検者にとってかなり易しい問題であることが示されたものの,「言語運用力」 と「数理分析力」の分野得点は,それぞれ,センター試験の国語,数学,英語の得点と適度な相関を 示し,特定の科目に偏らない能力測定の可能性が示唆された( 椎名他, 2016).本稿では, 椎名他 (2016) の解答データを用いて問題項目間の関係に着目した分析を行って,比較的高い学力の受検 者を想定した「新しい試験」に,測定を意図した能力がどのように反映されているかを検討する.
「新しい試験」は,大学で学ぶための基本的能力を「言語運用力」と「数理分析力」という2 つの分 野で測定しようとするものである.「言語運用力」は,「一定の意味を有する言葉のまとまりである テキスト(文章,または発話を文字として提示したもの)から必要な情報を読み取り,その情報を 運用して知的活動に結びつける能力」( 伊藤・宮埜・椎名・荒井・桜井・田栗・小牧・安野, 2014) であり,テキストを論理的に読む能力が求められる.「数理分析力」は,数理的な理解力,思考力, 問題解決能力を測定するために,数と式,関数に関する計算の能力に加えて,定義・ルールの理解 と適用,グラフや数表からの内容の読み取り,数理的な思考力による問題解決に関する能力をみ ようとするものである( 桜井・田栗・安野・小牧・荒井・伊藤・椎名・宮埜, 2014).表 1 に,「新 しい試験」を構成する「言語運用力」と「数理分析力」の各分野で測定しようとする能力の分類ラベル を示す.
伊藤他(2015) は,「言語運用力」のL1~L3 の能力の例を以下のように説明している.「問題文 中に提示されている個々の具体的事実((中略)文脈によって意味が変化しない事項)などを正しく 読み取る能力はL1 に該当する.」「問題文の文脈を把握し,その内容を別の表現に置き換えたり, 図表を対応づけたりする能力などはL2 に該当する.」「問題文から得られた情報と既に身につけ ている知識との関連づけ,条件や程度の評価,複数の可能性の比較などを通して,相対的により 適切な判断を行う能力などはL3 に該当する.」.表 1 に示す能力はこれらの例に限定されるもの ではないが( 伊藤他, 2015),L1 よりL2,L2 よりL3 のほうが,高次な能力と想定されている.
桜井他(2015) は,「数理分析力」が既存の数学の試験と異なる点として,数と式,関数に関わる 計算ができたり(M1),定義・ルールを理解し,適用できる(M2)といった出題だけではなく,グ ラフや数表から内容を読み取ったり(M3),数理的な思考力を働かせて問題を解決する(M4)とい う出題も重視する点を挙げている.すなわち,M1 やM2 を基本とした上で,M3 やM4 を測定 の枠組みに入れることで,数理的な理解力,思考力,問題解決能力の測定を意図している.

分析対象とする問題冊子は,2.1 節に示す測定の枠組みを比較的高い学力の受検者の能力測定に 適用可能かどうかの示唆を得るために試作されたものである( 椎名他, 2016).問題冊子を構成す る大問は,「大学入試センター法科大学院適性試験」 1 やセンター試験の「情報関係基礎」「工業数理 基礎」の過去問の中から,「言語運用力」と「数理分析力」の測定の枠組み(表 1)に合致すると思われ る問題が選ばれている.各問題項目は多枝選択式または空欄に数字を入れる形式である.
法科大学院適性試験は,法科大学院入学志願者を想定したものであるが,専門的な知識を前提 としていないことから,比較的高い学力の大学入学志願者の「言語運用力」および「数理分析力」を 測定する問題の候補として用いることにした.「情報関係基礎」は,職業教育を主とする学科で設 定されている情報に関する基礎的科目を出題範囲としているが,問題解決能力や論理的思考力を 問う問題が含まれていることから( 大学入試センター, 2016),「数理分析力」を問う問題の候補と した.「工業数理基礎」は,平成18 年度からセンター試験の数学② の1 科目として出題されてき たもので 2 ,「特定の専門分野の知識を個別に問うのではなく,その根底にある工業に関する基礎 的・基本的な数理処理能力を中心に問う」という方針( 大学入試センター, 2016) で出題されてき たことから,「数理分析力」を問う問題の候補とした.
表 2 に,問題冊子の構成および各問題項目で測定しようとする能力の分類ラベルを,大問の出 典と共に示す.「(追)」と付されたものは追試験で出題されたものである.表 2 に示すのは,問題 冊子を構成する大問9 つのうち,全受検者に共通して解答させた大問8 つである 3 .問題冊子全体 (大問9 つ)の解答時間は80 分である.問題の具体的な内容は,「新しい試験の開発に関する調査 研究」の別冊報告書( 大学入試センター研究開発部, 2016) にαβ 1 に示すL1~L3,M1~M4 のラベルを付した.これらのラベルは,各問題項目の内容に基づき,著者らが判断して付けたも のである.複数のラベルを付けた問題項目もある.


各問題項目に付すラベルの判断のしかたの例として,すべての項目に言語運用力のラベルが付 された第7 問と,すべての項目に言語運用力と数理分析力の両方からラベルが付された第8 問を 取り上げる.第7 問と第8 問の問題は付録に収録する.表 3 には,各大問の項目番号と付録に収 録した設問の対応を示す.
第7 問の問1 では,化石として適当でないものを選択枝から選ぶことが求められるが,これは 与えられた文章に提示された具体的な事実を正しく読み取ることで正答を得られると考えられる ことからL1 のラベルが付された.問2 では,選択枝が文章の表現そのままではないため,文章の 内容を理解して選択枝の表現を対応づける必要があることからL2 のラベルが付された.問3 で は,問いかけ文の中で新たな主張が提示されて,最初に読んだ文章の内容と関連づけた判断が求 められることからL3 のラベルが付された.
第8 問は,どの設問も文脈を把握して回答する必要があるため,すべての設問にL2 が付され た.また,どの設問も表から内容を読み取る必要があるため,すべての設問にM3 が付された. 問1 は,冒頭に示された表から4 つのモデルの内容を理解する必要があることからL1,モデルが 示す内容を理解して選択枝の会話文に適用する必要があることからM2 も付された.問2 は,新たに与えられた表を理解した上で,そこから読み取ることができないことを推論する必要がある ことからL3 とM4 も付された.
2.3. 各問題項目の得点データ平成27 年1 月25 日にモニター調査を実施して,2.2 節で示した問題冊子を,東京都内の5 つの 国立大学の1 年生276 名に解答させた.276 名のうち,文系学部に所属する者は128 名(46.4%), 理系学部に所属する者は148 名(53.6%)である.受検者には拘束時間に応じた謝金が支払われた. すべての問題項目は多枝選択式または空欄に数字を入れる形式であり,正答を1,不正答を0 と する2 値の得点データを作成した.組採点は,表 2 の出典に準じて行った.分析対象とする問題 項目数は,31 項目である.
2.4. 分析方法2 値の得点データは項目反応理論(IRT)によって分析されることが多いが,一次元IRT モデル では能力の1 次元性と項目の局所独立性が仮定されている.分析対象とする問題冊子は「言語運用 力」と「数理分析力」という2 つの分野の問題項目で構成されており,測定される能力は必ずしも1 次元とは言えない.また,大問から構成されているため,問題項目の局所独立性を仮定すること もできない.近年ではテスト冊子の得点データに多次元IRT モデルを適用した研究もなされてい るが( 坂本, 2016),本稿で分析しようとするデータの受検者数や項目数を考えると,多次元IRT モデルを適用しても十分な精度の推定値が得られるとは考えにくい.一次元IRT の2 パラメタ・ ロジスティックモデルでさえ,少なくとも500 人の受検者と20 個以上の問題項目数の場合に正 確な項目パラメタの推定値が得られるという目安を示す研究者もいる( de Ayala, 2009).
2 値の得点データは,値が2 つしかない計量データと見て主成分分析(PCA)をすることもでき るし,カテゴリカルデータと見て多重対応分析(MCA)をすることもできる.2 値データのPCA とMCA は共に,標準得点化されたデータ行列の特異値分解に基づいており,MCA で得られる 個人の尺度値は主成分得点と等しいことが証明されている( 山田・西里, 1993 ).ここでは,正答 を1,不正答を0 とする2 値の得点データをカテゴリカルデータと見て,データに強い制約条件 を課さずに適用可能なMCA による分析を行った.すなわち,標準化した得点データのPCA を 行い,その結果からMCA の解を求めた.本稿の分析は,SPSS Ver.22 を用いて行った.
MCA におけるデータの説明率は,PCA と同じように,変数間の相関係数行列に相当する行列 の固有値から計算することができる.表 4 に,最初の8 個の固有値および各次元までの累積説明 率を示す.固有値の減少は緩やかで,累積説明率が0.5 を越えるのは7 次元目である.本稿では最初の3 つの次元に着目して,解釈を試みる.

MCA によって得られる受検者の尺度値の分布として,第1 主成分得点から第3 主成分得点までのヒストグラムを図 1 に示す.表 5 には,各主成分得点の最大値,最小値,歪度,尖度を示す.図 2 には,第1~第3 主成分得点間の散布図を示す.第1 主成分得点は,左裾の重い分布となっており,高得点の受検者が多数いる一方,極端に低得点の受検者がいることを示している.第2主成分得点は,右裾の重い分布であり,極端に高得点の受検者の存在が示される.第3 主成分得点は,左右対称に近い分布である.
受検者が所属する5 つの大学のうち2 つは,文系学部と理系学部の両方を持つ大学である.図 3 は,2 つの大学(A 大学,D 大学と呼ぶ)の受検者をそれぞれで文系学部と理系学部の受検者に分けて,第1 主成分得点から第3 主成分得点までのヒストグラムを示したものである.表 6 には,各主成分得点の受検者群別の平均値と標準偏差を示す.第1 主成分得点と第2 主成分得点については,同じ大学どうしで比較すると,理系学部のほうがやや高得点寄りに分布しているものの,最頻値には大きな違いはみられない.また,どの主成分得点も,同じ大学どうしでは文系学部のほうが分布範囲が広い.第3 主成分得点は,D 大学において理系学部のほうが文系学部より標準偏差が大きいが,これはD 大学の理系学部で極端に低得点の受検者がいる影響である.これらの傾向は,いわゆる文系/理系という枠組みでは捉えきれない能力が反映されていることを示唆しており,大学で学ぶための基本的能力を既存の教科・科目別の学科試験とは異なる観点から評価する( 椎名他, 2014) というこの試験の目的に合致した出題がなされている可能性を示している.





2値データの分析では,複数次元の主成分得点が無相関ではあっても独立ではなくその間に非線形な関数関係が現れることで,難しさの因子が余剰次元として抽出されることがあると指摘されている( McDonald and Ahlawat, 1974; 足立・村上, 2011).余剰次元を発見するための方法としては,主成分得点のヒストグラムが極端に偏った分布かどうかをチェックすることが挙げられている( 足立・村上, 2011).図 1 を見ると,第1 主成分得点の分布は極端に低得点の受検者がいることを示しているが,表 7 に示すように,第1 主成分得点は冊子全体の正答項目数と非常に高い相関を持つ.第1 主成分得点が左に歪んだ分布になっているのは,正答項目数の分布を反映したものである.第2 主成分得点と第3 主成分得点の分布は,第1 主成分得点ほどは極端な偏りはみられない.

次に,問題項目間の関係に着目する.表 8 に,正答を1,誤答を0 とした場合の各項目の尺度値を,正答率および分類ラベルと共に示す.次元1 と次元2 の正負は解釈の便宜のために逆転させてある.次元1,次元2,次元3 のCronbach のα

表 8 をみると,1 次元目はすべて符号が同じであり,総合的な学力評価を表す次元と解釈してよいであろう.正答率の高い項目に対する尺度値の絶対値は小さく,ほとんど総合評価に影響していない.正答率の高い項目は総合評価における受検者間の違いに貢献しないことを考えれば,自然なことである.表 7 に示すように,各項目の尺度値の1 次元目の値から算出される各受検者の第1 主成分得点と,各受検者の正解項目数との相関係数は0.902 であり,総合評価と解釈することの妥当性を与えている.
図 4に,各項目の尺度値の1 次元目と2 次元目の散布図を示す.


2次元目が負の項目は,第2 問と第4 問で占められている.これら2 つの大問は,「数理分析力」の問題である.第2 問では,面積の等しい5 つの扇形に分割されたルーレットの各区画の色に関して,塗り替えの規則が与えられる.第2 問の各項目では,規則を整理したり,規則に従って色を塗り替えた状態を把握したり,与えられた配色になるための条件を考えたりすることが求められており,M2(数理的な概念・法則性の理解)のラベルが付されている.第4 問は,地震の震源の位置の求め方に関する説明文の空欄に式や数値を入れる問題であるが,地震波の伝わり方などに関する知識がなくても,説明文の誘導に従えば解答できる問題であり,主にM1(数理的な表現・原理の理解)のラベルが付されている.
2次元目が正の項目の多くは,言語運用力のL1~L3 のラベルが付されている.絶対値の大きな9−3 と9−2 が属する第9 問は,5 つの要素の包含関係に関する3 つの説が与えられ,すべての説を満たす場合について述べた文の正誤を判定したり,説を1 つ加えた場合の包含関係のパターンを数えたりすることが求められる問題であり,L 系のラベルに加えてM3(資料からの情報抽出・整理)のラベルも付されている.第7 問は,与えられた説明文の記述や条件に合わないものを選んだり,ある主張のために更に行う必要があることを選んだりする問題である.第7 問の項目のうち絶対値が相対的に大きな7−3 には,L3(推論と推察)のラベルが付されている.第1 問は,A君の立論に対するB 君の反論の有効性・適切性について述べた文章として妥当なものを選ぶ問題であり,L3(推論と推察)のラベルが付されている.
ただし,M2(数理的な概念・法則性の理解)のラベルのみが付された第6 問の項目も,2 次元目が正の値であり,言語運用力のラベルが付された項目と区別されていない(図 4).第6 問は, x - y 平面上の点A に関する3 種類の命令(動径方向の移動距離,原点まわりの回転角,繰り返し回数)が提示され,問題文に与えられた図形が描かれるような命令の組合せを選んだり,与えられた命令の組合せによって描かれる図形を選んだりする問題である.第6 問は,情報処理アルゴリズムの問題であることを考えると,数理的な法則性を論理的に理解することも求められるように思われる.
以上より,2次元目は,数や式の扱いや比較的単純な法則を理解する能力を要する項目と,論理性の強い問題を解決する能力を要する項目を区別する次元と解釈できる.
図 5に,各項目の尺度値の2 次元目と3 次元目の散布図を示す.
2次元目が正の項目については,3 次元目で(3−1, 3−2) と(9−2, 9−3, 7−2, 6−4) が区別されている.3−1 と3−2 にはL3(推論と推察)のラベルが付されており,いずれも,誤った推論の例が与えられ,例と同じパターンの誤りを選択枝の中から選ぶことが求められる項目である.
一方,9−2 にはL1(情報の把握)とL2(内容の理解),9−3 にはL2(内容の理解)とL3(推論と推察)のラベルが付されている.これらの項目が属する第9問では,前述したように,5 つの要素の包含関係に関する3 つの説が題材として与えられており,第3 問に比べて把握すべき情報が複雑で分量も多く,それらを正確に理解した上での判断が求められる.また,L 系のラベルに加えてM3(資料からの情報抽出・整理)のラベルも付されている.7−2 にはL2(内容の理解)のラベルが付されており,選択枝として与えられた条件のうち適当でないものを選ぶ問題である.本文で記述されている条件に合うものではなく,異なるものを選ぶことが求められているため,内容を深く理解する必要がある.6−4 に付されているのはM2(数理的な概念・法則性の理解)のラベルのみで,L 系のラベルは付されていないが,第6 問の最後の問題であり,前述したように,数理的な法則性を論理的に理解することが求められる.すなわち,2 次元目が正の項目では,より高次の思考を要する項目で3 次元目が正になる傾向がみられる.
2次元目が負の項目については,3 次元目で第2 問と第4 問の項目が区別されている.第2 問の項目にはM2(数理的な概念・法則性の理解)のラベルが付されているが,最後の項目である2−7では,2−2~2−6 との類似性に気づいた上で,与えられた規則を適用して考えることがポイントとなる.一方,第4 問の各項目には主にM1(数理的な表現・原理の理解)のラベルが付されており,説明文の誘導に従えば解答できる問題である.よって,数式の扱いや法則の理解を要する項目の中でも,より高次の思考を要する項目で,3 次元目が正になっている.
以上より,3 次元目は,高次の思考を要する項目を区別する次元と解釈できる.
「言語運用力」と「数理分析力」の測定を意図した問題項目の得点データに関して多重対応分析を行った結果,各次元は以下のように解釈できた.
•1次元目: 総合的な学力評価を表す次元.
•2次元目: 数や式の扱いや比較的単純な法則を理解する能力を要する項目と,論理性の強い問題を解決する能力を要する項目を区別する次元.
•3次元目: より高次の思考を要する項目かどうかを区別する次元.
全体として,「言語運用力」と「数理分析力」で測定する能力の分類(表 1)に沿った解釈が可能であり,分析対象とした問題冊子の構成の妥当性が示唆される.
試験の開発では,測定の枠組みの検討,項目の開発,項目の統計的特徴の把握,項目の改良から成るサイクルを経て,試験が改良されていく.本稿で行った分析は試験の開発サイクルの一端を担うものであり,今回の分析結果だけをもって一般化することには慎重であらねばならないが,多重対応分析によって問題冊子の構成や能力の分類ラベルの妥当性がある程度確認できたのは収穫である.表 1 の分類ラベルのうち,少なくとも「言語運用力」のL系のラベルについては,次元の解釈に有効に機能することが確認された.「数理分析力」のM系のラベルについても,次元の解釈は分類ラベルと矛盾はしていない.
ただし,M系のラベルが付された第2 問や第4 問には正答率が0.9 を超える項目が多く,そのような項目は今回のモニター調査の受検者には易しすぎて,能力の違いを把握する目的を果たしていない.一般に,正答率が極端に高い項目や低い項目は能力の識別に寄与しないため,多重対応分析の尺度値の絶対値が小さくなる.そのような項目が多すぎると,尺度値の散布図の原点の近くにプロットが集中して,次元の解釈が困難になる問題が生じる.本稿の分析でも,項目の尺度値の1 次元目と2 次元目の散布図(図 4)に,第2 問と第4 問のうち正答率が非常に高い項目が原点近くに集中するという問題が現れている.それでも,2 次元目と3 次元目の散布図(図 5)では,第2 問と第4 問の項目に関して,原点に近いものの,より高次の思考を要する項目かどうかという区別をある程度反映したプロットが得られている.また,正答率が極端に高い項目ばかりではないこともあり,項目の尺度値の散布図(図 4 および図 5)では比較的広い領域にプロットが広がっている.
第2問と第4 問は,「数理分析力」の測定を意図して,モニター調査の受検者になじみの薄い科目である「情報関係基礎」や「工業数理基礎」の過去問から選んだものだが,今後,もっと難度の高い問題を開発する必要がある.項目の正答率の天井効果が軽減されれば,「数理分析力」のM系のラベルがさらに有効に機能することが期待される.また,今回のモニター調査の受検者のうち,理系学部の1 年生が53.6%を占めていることも,「数理分析力」の問題の正答率が極端に高くなった一因と考えられる.多重対応分析による3 次元までの累積説明率は0.32 で,データの縮約はあまり効率よく行えていないが,能力を測定する試験の2 値データであり問題項目の冗長性が高くないことを考慮すると,やむを得ないと思われる.
第2問と第4 問は,「数理分析力」の測定を意図して,モニター調査の受検者になじみの薄い科目である「情報関係基礎」や「工業数理基礎」の過去問から選んだものだが,今後,もっと難度の高い問題を開発する必要がある.項目の正答率の天井効果が軽減されれば,「数理分析力」のM系のラベルがさらに有効に機能することが期待される.また,今回のモニター調査の受検者のうち,理系学部の1 年生が53.6%を占めていることも,「数理分析力」の問題の正答率が極端に高くなった一因と考えられる.多重対応分析による3 次元までの累積説明率は0.32 で,データの縮約はあまり効率よく行えていないが,能力を測定する試験の2 値データであり問題項目の冗長性が高くないことを考慮すると,やむを得ないと思われる.
試験の改良のためには,難度の高い問題の開発や,幅広い能力のモニター受検者の解答データの収集を行って,より多くの問題項目が受検者の能力の識別に貢献することを目指す必要がある.「言語運用力」と「数理分析力」を測定するための新しい項目を開発したり,既存の項目の難度を変更したりする際には,問題冊子を構成する項目の得点データの多重対応分析の結果に関して,表 1 の分類ラベルに沿って今回と同様に各次元を解釈できるかどうかを改めて確認する必要がある.分類ラベルについても,測定の意図に合致した問題冊子を安定的に作成する上で有効に働くかどうかを常に吟味して,試験の開発サイクルの中で微修正を重ねていくことになるだろう.また,試験の改良のサイクルと並行して問題項目の作成方法を文書化することで,「新しい試験」の利用場面が広がるものと期待される.




本稿を作成するにあたり,有益なコメントをくださった査読者の皆様に御礼申し上げます.