Article
A Study on the Answer Type of Math Test
—Analysis Focusing on Answer Strategy in Free-Response Math Questions—
2017 Volume 6 Issue 1 Pages 47-61
Details
2017 Volume 6 Issue 1 Pages 47-61
記述形式の数学試験において，どのような解答方略であっても，正解までの論理的な筋道が示されていれば，同じ評価（得点）が与えられる．しかし，採点過程で，誤答や解に至らなくても，数学的思考力・判断力・問題解決能力等を評価するに値する解答があることは採点者間では既知の事実である．そこで，本研究では，記述形式の数学試験の解答方略に着目し，「得点」とは異なる評価を探ることを目的とし，記述形式の答案を解答方略別に分類し再分析を行った．その結果，解答方略によって，学力レベル（得点）に違いがある問題や，問題の正誤よりも解答方略の方が学力レベル（得点）に違いがある問題が観察できた．
For free-response questions (longer answer non-multiple choice questions) in mathematics, as long as logical reasoning leading to the correct final answer is indicated, independent of the particular choice of problem-solving strategy, the same evaluation (scores) is assigned. However, we all know, in the course of grading exams, that there are responses worthy of certain evaluation because of their mathematical thinking, decision making skills, and problem-solving skills, etc., even if the final solution is not correctly reached. In this research, to search for means of evaluation different from the usual “scoring”, focusing on problem-solving strategies, we reanalyzed students' answers in free-response questions by classifying them by their problem-solving strategies. As a result, we observed a stronger correlation between the choice of problem-solving strategy and overall academic performance in mathematics (e.g. scores on the mathematics section of the National Center for University Entrance Examination) than between the correct answer ratio of a particular question and overall academic performance in mathematics.
わが国の数学試験は，大学入学者選抜試験をはじめとして，半世紀以上の間，欧米で多用されている多肢選択形式（以下，選択形式とする）（Multiple Choice）の試験ではなく記述形式（ConstructedResponse）の試験が多用され，一定の評価を得ている．共通第1 次学力試験の導入(1979) にあたって，国立大学協会入試改善調査委員会による4 年間の調査研究を経て，機械式採点による試験を前提とし，まぐれあたりによる正解を含む選択形式を避けるための非常に有効な方法として，現在の大学入試センター試験においても採用されている穴埋め形式（Student-Produced Respopnse（Grid-In））が開発された( 国立大学協会, 1974; 国立大学協会, 1975; 国立大学協会, 1976; 国立大学協会, 1977)．この形式は， 村上・三宅・藤村・浪川・鈴木・鈴木・田栗・内田・安野(2008) の研究によって，一定の有効性があることが示されているが，解答を得るまでに複数の段階を経る必要があったり，解答方略が一通りでない問題には不向きであったりすることが指摘されている．また， 安野・浪川・森田・三宅・西辻・倉元・林・木村・宮埜・椎名・荒井・村上(2013) の研究において，選択形式・穴埋め形式・記述形式の3 形式の比較を行った結果，受験者層のレベルによってその有効性は異なることが指摘されている．また， 安野・浪川・三宅・森田(2016) の研究において，出題文や選択肢を工夫することにより，選択形式や穴埋め形式でも従来記述形式でしか測れないとされてきた要素まで測定できる可能性があること，選択形式が穴埋め形式より適切になり得る場合があることが実証されている．いずれにしても，数学の特定の科目に限定された出題ではなく，高等学校の数学全ての科目あるいは数学Ⅰ・数学Ⅱ・数学A・数学B といった広範囲による出題の場合には，記述形式のほうがより広汎な能力を測ることができることはいうまでもない．そして，広範な出題であると，解答方略が多岐になる場合が見られることが多い．近年の大学入試改革において，教科の知識偏重の入試から「意欲・能力・適性等の多面的・総合的な評価へ」という方向性が示され，その中に，「思考力・判断力・知識の活用力等を問う新たな共通テストの開発」の必要性が指摘されたり，1 点刻みでない入試にすべきであるという提言がなされたりしている．知識偏重とは言い難い「数学」の教科型の試験も，他教科と同様に変革を迫られている．
一般に，大学入学者選抜試験の個別試験に代表されるような数学の記述形式の試験において，受験者は与えられた試験時間内に正確に解答をするために，最適な解答方略を決定し解答を行う．そして，それらの解答が基本的にはどのような解答方略であっても，正解までの論理的な筋道が示されていれば，同じ評価（得点）が与えられる．しかし，採点の過程で，誤答であっても，解に至らなくても，数学的思考力・判断力・問題解決能力等を評価するに値する解答があることは採点者間では既知の事実である．部分点の付与はあるものの，問題で解法を指定していない以上，解答方略によって優劣はつけていない．言い換えれば，記述形式の数学試験の答案は，従来型の採点方式による得点（以下，「得点」とする）という評価指標に現れない情報が多く含まれているといえる．そこで，本研究では，「得点」に現れない情報の中で，解答方略に着目して「得点」とは異なる新たな評価法を探ることを目標に，解答方略に着目した分析を行うことを目的とする．
本研究では，2011 年度および2012 年度に数学試験の選択形式・穴埋め形式・記述形式の3形式の比較調査を行ったデータを用い，特に，記述形式の答案の解答過程に示されている解答方略の特徴を分類し，従来型の採点基準で付した正誤データや得点データとの関連についての分析を行う．具体的には，以下の(1)～(8) に示す調査データを用いる．
(1) 調査対象：調査年度の4 月以降に大学に入学した，調査実施時点で大学1 年次の学生（短大からの編入学者は除く）で，調査年度の3 年度前以降に日本の高等学校（中等教育学校後期課程を含む）を卒業した者（現役～2 浪）のうち，募集に応じて調査モニターを希望した者．
(2) 調査内容：高等学校の学習範囲の数学（数学Ⅰ・数学Ⅱ・数学A・数学B）の筆記試験．表 1 に示すように，1 受験者に2 種類の数学の試験を課している．1 種類は，各年度の大学入試センター追・再試験数学①〔数学Ⅰ・数学A〕であり，共通問題冊子として受験者全員に対して課している．これらの問題は，調査モニターである大学1 年生が実際に解いた可能性が殆どないと想定される問題である．もう1 種類は，表 2 に示す両年度同一内容の問題で，3 形式を織り交ぜて難易度が均等になるよう作成した3 冊子（A，B，C 冊子）である．1 受験者に対しては，3 冊子のうち指定された1 冊子を課している．2012 年度調査は，2011 年度調査問題と同一であるが，一部改訂を行っている．
(3) 調査日時：2011 年6 月～10 月（全国のべ12 会場）及び2012 年6 月～11 月（全国12 会場）の土曜日あるいは日曜日．
(4) 調査対象人数：調査対象人数は，1 冊子あたり200 人以上，のべ600 人台を目途とし，最終的に表 3 の人数に示すとおりである．
(5) 問題冊子の割り当て：各会場ごとに募集に応じた大学1 年生からなる母集団に対して，氏名の五十音順に，個人単位で，形式比較の3 冊子（A，B，C 冊子）を循環させて割り当てられている．また，調査日ごとに，開始する冊子の位置は変えられている．これにより，形式比較の冊子は，無作為に3 群に分けられた受験集団に割り当てられると考えられる．
(6) 採点処理：選択形式及び穴埋め形式の問題は，マークシート解答用紙への解答とし，機械読取採点が行われている．記述形式は，A4 版の解答用紙（1 枚/大問）への解答とし，4 名の採点者によって採点が行われている．本調査では3 形式による比較を行うことを目的にしていることから，記述形式の採点は，他の2 形式と同様の基準とし，部分点を設けていない．
(7) 調査データ：表 3 は冊子ごとの基本統計量，図 1，図 2 は共通問題（センター追・再試験）と形式比較問題の得点の関係を散布図に表したものである．2011 年度と2012 年度で，共通問題冊子も，受験者集団も異なるため，一概に比較はできないが，いずれの冊子も平均得点率が53%～64%に収まっていて，受験者集団にとってはちょうどよい難易度であったと考えられる．しかし，図 1 からもわかるように，2011 年度調査ではすべての冊子において得点分布が2 峰性を示している．このことは受験者の所属大学の偏り 1 によるものと判断し，2012 年度調査では受験者の所属大学の偏りがないように旧帝国大学・私立大学所属のモニター生を減らし，それ以外の国公立大学所属のモニター生を増やすよう調整 2 を行い，結果(図 2) においても2 峰性が消失している．また，上述のように，両年度とも母集団が等質になることを仮定して，無作為に3 群に分けているが，3 群が等質であったかどうかの確認は，バートレット（Bartlett）検定及びレーベン（Levene）検定で3 群の分散の均一性の確認を行った上で，一元配置分散分析（one-way analysis of variance ; one-way ANOVA）を用いて，平均値の比較を行っている．さらに，二元配置分散分析（two-way analysis of variance ; two-way ANOVA）による検定も行っており，こちらからも各群の母平均に差があるとはいえないという結論が導かれている( 安野, 2015; 安野他, 2016)．
(8) 調査結果の概要：図 3 は2011 年度，図 4 は2012 年度の形式別正答率を問題番号順（小問20問）にグラフに示したものである．これらから，全体傾向として，記述形式が選択形式及び穴埋め形式よりも正答率が低いことはいうまでもないが，両年度とも同じ傾向を示す問題は以下の(a)～(c) に分類できる．
(a) 形式の書き換えで質的に変わらない問題：3 形式が同程度（例えば，第1 問〔2〕，第1 問〔3〕，第3 問〔2〕(1)）
(b) 選択肢の工夫によって，選択形式が穴埋め形式と同程度のパフォーマンスを示す問題：記述形式のみ正答率が低い（例えば，第1 問〔1〕(2)，第2 問〔1〕(2)，第3 問〔1〕(2)，第4 問(1)(2)）
(c) 穴埋め形式が条件過多で易化する問題：穴埋め形式のみが正答率が高い（例えば，第5 問(1)，第6 問(1) a,b,c ）
これらのことから，正答が提示されている選択形式が無作為に選択肢を選んで正解する確率を含むことによって正答率が高くなる，とは必ずしもいえないという結論が導かれている( 安野他, 2016)．
本研究では，2 に示したデータであることを踏まえた上で，記述形式の答案を精査し，解答方略別に類型化し分析を行う．表 2 に示す大問6 題のうち，記述形式で解答方略が多岐にわたる問題は，第1 問〔1〕〔2〕〔3〕，第2 問〔1〕，第3 問〔2〕(2) であった．数学Ⅰ 及び数学A の学習内容が中心で，逆に，対数関数，三角関数，ベクトル，微分といった数学Ⅱ 及び数学B に含まれる学習内容についての問題は，解答方略が1 通りであるものがほとんどであった．解答方略別に分類し，人数・割合を算出した結果が表 4～表 6 である．以下で，それぞれの問題を仔細にみていくことにする．
習内容についての問題は，解答方略が1 通りであるものがほとんどであった．解答方略別に分類し，人数・割合を算出した結果が表 4～表 6 である．以下で，それぞれの問題を仔細にみていくことにする．
3.1 問題と解答方略第1問：図 5 は第1 問の問題で，いずれも1 問1 答の基本的な問題である．表 4 は，解答方略別の8 カテゴリーに分類し人数・割合を算出した結果である．〔1〕〔2〕〔3〕とも，複数の解答方略が存在するものの，解答ステップが少ない問題であり，いずれも1 つの解答方略（解法1）に集中する傾向が見られる．
〔1〕整式の除法：解法1 は筆算で求める解法，解法2 は剰余の定理や因数定理を利用して求める解法，解法3 は解法1，2 に分類できない解法である．この問題は，問題そのものが単純であり，データ分析の理論と応用Vol. 6, No. 1 (2017)剰余の定理や因数定理を用いたとしても，計算処理に大きな差違が生じることがなく，両年度とも大多数が解法1 を採用していた．
〔2〕展開式（虚数単位）：解法1 は
の展開による解法，解法2 は
を利用する解法，解法3 は
を求めてから
を求める解法であるが，60～70%が解法1による解答であった．〔1〕と同様に，問題が単純であり，いずれの解法であっても，計算処理に大きな差違が生じることはないが，両年度とも，解法2 を採用した集団の正答率が解法1，3 を採用した集団の正答率よりも低い．
〔3〕確率：解法1 は和の法則・積の法則を利用する解法，解法2 は数え上げによる解法，解法3 は余事象の利用による解法である．この問題も解法1 に集中しているが，解法1，解法2 とも正答率が70%～80%で，どちらの誤答も，問題条件の読取りができていない，数え上げの抜け落ちがある等様々であった．数え上げによる解法よりも和の法則・積の法則を利用する解法のほうがよりスリムな解法であることが多いが，本問題は全事象の場合の数が10 通りで，そのうちの6 通りの確率であるため，数え上げ自体がそれほど煩雑ではない．したがって，問題の条件の読取りが主となってしまい，解法1 と解法2 における正答率に違いが現れなかったといえる．また，2012年度のみ解答方略が解法3 であるものが9 人いたが，この問題は余事象を使った方が解答ステップが少なくなるという類の問題ではなく，正答率は解法1，解法2 よりも低い．
第2 問〔1〕図形と式（領域）：図 6 は第2 問〔1〕の問題で，表 5 は解答方略別の8 カテゴリーに分類し人数・割合を算出した結果である．
(1)(2) とも，解法1（関数のグラフと点の位置関係による解法：図 7），解法2（座標系における点の位置関係による解法：図 8）の2 通りの解答方略が存在したが，表 5 から，1 受験者が(1) と(2)で必ずしも同じ解答方略で解答したとは限らないことがわかる．そこで，(1)(2) の解法パターン別に調べると，表 7 のとおりである．「(1)(2) とも解法1」，「(1) 解法2・(2) 解法1」は一定数以上いるが，それ以外のパターンは少ない．さらに，各解法パターン別の正答率をみると，「(1)(2)とも解法1」及び「(1) 解法2・(2) 解法1」の場合は，(1)(2) ともに正答している割合がほぼ85%以上であるが，「(1)(2) とも解法2」，「(1) 解法1・(2) 解法2」のパターンの正答率はこの順に低くなる．つまり，この問題は(1) はどちらの解答方略でもあり得るが，(2) では解法1 の方が解きやすかったようである．
また，この問題は(1)(2) とも解自体はA からE のうちから1 つを選んで答えるものであるが，記述形式であることからその解となる理由を論理的に示す必要があり，記号が正解していても解のみの場合は誤答として扱っている．ところが，解のみの受験者が両年度とも8～9% 存在している(表 5)．このことは，形式比較における選択形式・穴埋め形式の正答率と記述形式の正答率との差として，現れているといってよいであろう(図 3，図 4)．
第3問〔2〕放物線とグラフ：図 9 は第3 問〔2〕の問題で，表 6 は，(2) について解答方略別に分類し人数・割合を算出した結果である．(2) は，解法1（2 次方程式の解とグラフの関係による解法：図 10），解法2（放物線と直線のグラフの交点の関係による解法：図 11），解法3（2 次方程式の解の関係での解答：図 12），解法4（2 次方程式の解と係数の関係による解法：図 13）の4 通りの解答方略が存在したが，表 6 から特定の解法に集中していないことがわかる．解法1，2 は幾何と代数を織り交ぜた論理展開であり，解法3，4 は代数的な論理展開のみの解法であるが，この問題はどの解法がよりよいかというのは一概に言い難い問題である．
3.1 で述べたように，解答方略が多岐にわたり，また，1 つの解答方略に集中しない問題は，第2 問〔1〕(1) 及び(2) と，第3 問〔2〕(2) の3 問である．そこで，これ以下では，この3 問についてみていくことにする．まず，解答方略と得点との関係についての分析を試みる．図 14～図 19 は，共通問題冊子であるセンター試験数学①の得点の平均値を横軸に，形式比較の問題冊子の得点の平均値を縦軸にとり，解法別の正答者群及び誤答者群等の人数をバブルの大きさで表した相関図（バブルチャート）である．ただし，同じ解法は同色で示し，正答のみ吹き出しを付してある．
第2問〔1〕図形と式（領域）：図 14，図 15，図 16，図 17 から，正答，誤答に関わらず解法1 で解答した受験者群の方が，解法2 で解答した受験者群よりも得点が高い傾向にあることがわかる．2011 年度の方が2012 年度よりも差が大きいのは，図 1 の分布の違いに起因するものと推察される．つまり，数学の得点の高い受験者ほど解法1 による解法で解答する傾向が強いといえる．また，2012 年度の(1) 及び2011 年度の(2) については，解法1 の誤答者群が解法2 の正答者群よりも，どちらの試験においても得点の平均値が上回っていることが観察される．解法1 の誤答者群の実数が少ないが，特定の問題の正誤よりも解答方略の方が数学の能力を評価している可能性がうかがえ，興味深い結果である．さらに，解のみの解答（すべて誤答）である受験者群は，無解答の受験者よりも得点が低い傾向にあることは特筆すべきことかと思われる．前述のように，この問題は，解自体はA からE のうちから1 つ選択して答える問題である．記述形式において解のみ解答の受験者は当て推量で答えていることが多く，逆に，無解答の受験者は記述形式において論理的な道筋を示せなければ解のみを適当に答えても得点に結びつかないと判断し，解のみを記すことをしないと推察される．後者のほうが学力レベルが高いことは，採点者が感覚的に感じていたことが，実際のデータで実証できていると考えられる．
第3問〔2〕放物線とグラフ：第2問〔1〕と同様に，図 18 及び図 19 により解答方略と得点との関係について分析をする．両年度共通して，正答群における2 つの試験の得点の平均値は，解法4が高く，解法2 が低い傾向が見られるが，誤答群に関しては解法（解法1～解法4）による傾向は観察できなかった．作題側の立場からすると，解法3 は出題では意図していない力技的な解法であるといわざるを得ないが，問題の数値が単純であったことから計算が煩雑になることがなく，解法と得点との関係に傾向が見えにくくなってしまったと思われる．9
3.3 同時対応分析最後に，2011年，2012年の第2問〔1〕(1)(2)，および第3問〔2〕(2) について，学力レベル，問題に対する主観的難易度，解答方法の3 つのカテゴリー変数間の関係を同時対応分析（JCA）を用いて分析する．JCA は，多重対応分析（MCA）ではBurt 行列の対角ブロックの推定が誇張されるという欠点を克服するために考えだされた方法であり，変数間の関係を表す非対角ブロックの推定を対角ブロックを無視して行う方法である( Gower & Hand, 1996; Greenacre, 2007)．JCAでは固有値がネストしていないために，各次元の説明率は厳密には得られない．しかし，全体としての説明率は厳密に得られること，および各次元の固有値は近似的な説明率を与えることが知られている．
学力レベルは共通問題冊子の得点により5 分位分割した“低得点”(L 1) から“高得点”(L 5) の5 カテゴリーである．調査問題と併せて質問紙調査も実施しているが，その中で各問題の難易度について尋ねている項目がある．そこで，主観的難易度はその質問項目の“手を付けなかった”(D b ) を含む“難しい”(D 1) から“易しい”(D 5) までの6 カテゴリーである．解答方法のカテゴリーは問題により異なり，第2 問は表 5 に示した“解のみ”(M b )，“解法1 誤答”(M1 w )，“解法1 正答”(M1 c )，“解法2 誤答”(M2 w )，“解法2 正答”(M2 c )，“解法不明”(M u )，“その他誤答”(M w )，“無解答”(M na )の8 カテゴリーである．また，第3 問は表 6 に示した“解法1 誤答”(M1 w )，“解法1 正答”(M1 c )，“解法2 誤答”(M2 w )，“解法2 正答”(M2 c )，“解法3 誤答”(M3 w )，“解法3 正答”(M3 c )，“解法4 誤答”(M4 w )，“解法4 正答”(M4 c )，“その他誤答”(M w )，“無解答”(M na ) の10 カテゴリーである．
JCA により求められた2次元解の説明率は，2011 年第2問〔1〕(1) 87.9%，2012 年第2問〔1〕(1) 80.1%，2011 年第2問〔1〕(2) 86.7%，2012 年第2問〔1〕(2) 74.5%, 2011 年第3 問〔2〕(2) 86.3%，2012 年第3 問〔2〕(2) 79.4%である．また，5 次元目までの固有値は，上の説明率と同じ順に(0.458,0.133, 0.014, 0.008, 0.003)，(0.217, 0.055, 0.006, 0.004, 0.002)，(0.481, 0.104, 0.018, 0.008,0.003)，(0.316, 0.095, 0.010, 0.006, 0.005)，(0.552, 0.126, 0.023, 0.007, 0.003)，(0.379, 0.108,0.025, 0.008, 0.005) である．これらの結果から分かるように，いずれの問題においても変数間の関係は1 次元性の強い2 次元解でほぼ80%以上説明される．
図 20～図 25 は，2次元解を表したものであり，カテゴリーを表す点はいずれも馬蹄形に分布している．ただし，2012 年度第2問〔1〕(2)（図 23）については，解法1 に集中し，解答2 が少ないため，解答2 については正答群・誤答群とも信頼性に欠ける．これらの結果は，3.2 で概観した結果と同じような結果を示しており，特に，学力レベルと主観的難易度は強い関係があること，第2 問の解法1 による正解群は学力レベルの比較的高い群に見られ“易しい” と判断する一方，解法2 の正解群は学力レベルのより低い群に見られること，第3 問の解法4 による正解群は高学力レベルであり，解法4 は中程度の学力レベルでは誤答になりやすいことなどが分かる．
本研究で用いたデータは，サンプル数がそれほど大きくないデータであり，さらに解答方略についての分析を行うことを主眼とした調査データではないにもかかわらず，第3 問〔2〕(2) のように，解答方略によって，学力レベル（得点）に違いがある問題や，第2 問〔1〕のように，問題の正誤よりも解答方略の方が学力レベル（得点）に違いがある問題が観察できた．一方，第1 問〔1〕(1)(3)のように，様々な法則や定理を適応して解くことができる内容でも，そうでない解答方略と解答ステップや解答の複雑さに差違が見られないと，解答方略別に言及する意味合いが薄れることが再認識できた．
記述形式の数学試験の評価において，問題の中で解法を指定していない以上同じ評価をしてきているが，本研究で観察されたような事例を多く収集し，学力レベルが高い層が採用する解答方略の特徴付けができれば，解答及び解答に至るまでの論理的な記述以外に，解答方略によるプラスの評価を提案することも考えられなくもない．つまり，「得点」に現れない解答方略に言及した多面的・総合評価というようなことを検討できる可能性が示唆できたと考えられる．
本研究はJSPS 科研費JP21240069, JP26560110 の助成を受けたものである．
