データ分析の理論と応用
Online ISSN : 2434-3382
Print ISSN : 2186-4195
6 巻, 1 号
選択された号の論文の9件中1~9を表示しています
論文
  • —能研テスト昭和39 年・40 年連続受験者の得点分析—
    木村 拓也, 安野 史子, 荒井 克弘
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 3-19
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    本稿の目的は,臨時教育審議会から議論が繰り返されてきた大学入学者選抜制度における「複数回受験」について実データで分析することにある.「複数回受験」の是非を吟味する分析視角は,「複数回受験」した場合,1. 入学者選抜が総合順位で決定されるため,その成績間において相関関係が担保されているか否かの検証(順序性の評価),2. 得点変化がみられた場合,それが真に得点の伸長や低下を表すのか,それとも回帰効果に過ぎないのかの検証(回帰効果の評価),3.「複数回受験」の成績が大学入学後の成績をどれほど効率よく説明するのかに関する検証(予測的妥当性の評価)である.過去の能研テスト成績を分析した結果,1. 事前テスト(高校2年時)の成績と事後テスト(高校3 年時)の成績との相関が決して低くなく,順位でみても7 割の確率で結果が入れ替わらない,2. 2 回のテスト得点の差分があったとしても最大4 割2 分,平均で2 割6 分程度が回帰効果で説明可能である,3. 事前テスト(高校2 年時)の成績を組み入れても入学後成績の説明率(寄与率)は向上せず低下することが分かった.

  • —テスト理論の活用を目指して—
    水本 篤, 脇田 貴文, 名部井 敏代
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 21-29
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    大学入試は受検者の今後に大きな影響を与えるハイステークス・テストであるが,一般的に情報の開示が難しいため,その品質保証のためにテスト理論を活用してテスト自体の改善を行うという取り組みはこれまでに報告されていない.そこで本研究では,現行の関西大学英語入試問題実施データを分析し,その構造的妥当性を検証した.また,受検者の各問題セクションの合計得点が,テストの総合計点にどのように寄与しているかを探った.多次元項目反応理論による分析の結果,一般因子である英語総合能力とセクションや英文素材を反映した下位領域特有の因子による双因子モデルが支持され,現行の英語入試問題形式の構造的な側面の妥当性が確認された.また,特定セクションの合計得点が英語入試における受検者の能力弁別に役立っていることが示された.同時に,現行の英語入試問題作成における課題も明らかになったため,今後の大学入試問題作成や分析でテスト理論をより活用していくことにより,テストの品質改善が可能であることが示唆された.

  • 坂本 佑太朗, 柴山 直
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 31-45
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    テストが測定すべき心理学的な特性が多様化してくるにしたがって,「テスト(項目)はそもそも何を測っているのか」という構成概念に関する精緻な検証が求められている.最近では,その手段として多次元IRTが注目されてきており,これまでそれほど測定論的な関心が注がれてこなかったテストの下位領域についての定量的な検証の必要性も指摘されている.そこで本研究では,わが国の学習指導要領に則って作成された平成18年度新潟県全県学力調査における中学校2年生数学データ (N=9,102)に対して,多次元IRTを使って下位領域特有の影響について定量的に検証した例を示す.その結果,テスト全体が測定する「数学力」よりも下位領域特有の影響を強く受けている項目は25項目中2項目存在し,その内容は定性的な観点からも妥当であることが確認できた.つまり,多次元IRTを用いることにより,テスト項目の測定内容に関して項目レベルで次元に応じた情報が得られることを意味し,今後のテストデータ分析においても,単にIRTモデルを適用するだけではなく,多次元IRT分析にもとづくより精緻な妥当性検証が可能であることが示された.

  • —記述形式の解答方略に着目した分析—
    安野 史子, 宮埜 寿夫
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 47-61
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    記述形式の数学試験において,どのような解答方略であっても,正解までの論理的な筋道が示されていれば,同じ評価(得点)が与えられる.しかし,採点過程で,誤答や解に至らなくても,数学的思考力・判断力・問題解決能力等を評価するに値する解答があることは採点者間では既知の事実である.そこで,本研究では,記述形式の数学試験の解答方略に着目し,「得点」とは異なる評価を探ることを目的とし,記述形式の答案を解答方略別に分類し再分析を行った.その結果,解答方略によって,学力レベル(得点)に違いがある問題や,問題の正誤よりも解答方略の方が学力レベル(得点)に違いがある問題が観察できた.

  • —英語文章読解テストを用いた実証的検討—
    寺尾 尚大, 石井 秀宗, 野口 裕之
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 63-82
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    本研究の目的は,英語文章読解テストにおける錯乱枝(多くの受検者に選ばれ,受検者の典型的な誤りを反映した誤答選択枝)の選択率に対し,キーセンテンス(選択枝に関連する文章中の文)と錯乱枝との語の重複・設問タイプが及ぼす影響を,能力群別に検討することである.本研究で検討した設問タイプは,文章中に明示されている情報についての理解を問う下位レベル設問と,文章の構造やテーマの理解を問う上位レベル設問の2 種類である.大学生460 名に対し,本研究の目的に合わせて作成したテスト冊子への解答を求めた.実験操作を行った項目では,正答選択枝1 つに加え,否定語を含む錯乱枝・対義語を含む錯乱枝・因果関係の取り違えを含む錯乱枝の計3 つを受検者に提示した.階層ベイズモデルによるパラメタ推定の結果,下位レベル設問において,能力低群では語の重複を含む錯乱枝の選択率が高かったが,能力高群では語の重複を含まない否定語錯乱枝・対義語錯乱枝の選択率が高かった.一方,上位レベル設問では,語の重複に関して下位レベル設問とは逆の結果が得られた.本研究の結果から,今後の項目作成の際,下位レベル設問では語の重複を含む錯乱枝を,上位レベル設問では語の重複のない錯乱枝を作成すれば,英語文章読解項目が受検者の認知過程を反映し,識別力を向上できる可能性が示唆された.

  • 椎名 久美子, 宮埜 寿夫, 荒井 清佳, 桜井 裕仁, 伊藤 圭, 小牧 研一郎, 田栗 正章, 安野 史子
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 83-99
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    大学で学ぶための基本的能力を「言語運用力」と「数理分析力」という2つの分野で測定しようとする試験に関して,2値の得点データの多重対応分析によって問題項目の特徴を検討した.各問題項目には,測定しようとする能力を分類したラベルを付し,多重対応分析の3次元解と対応させて,各次元を解釈した.1 次元目は総合的な学力評価を表す次元,2次元目は,数や式の扱いや比較的単純な法則を理解する能力を要する項目と,論理性の強い問題を解決する能力を要する項目を区別する次元と解釈した.3次元目は,より高次の思考を要する項目かどうかを区別する次元と解釈した.3次元までの累積説明率は低く,データの縮約はあまり効率よく行えていないものの,全体として,測定しようとする能力の分類に沿った解釈が可能であり,分析対象とした問題冊子は妥当な構成になっていると思われる.本研究は,試験の開発サイクルの一端を担うものであり,試験の改良のためには,難度の高い項目の開発や,幅広い能力のモニター受検者の解答データの収集を行うことで,受検者の能力の識別に貢献する問題を増やす必要がある.

  • 荒井 清佳, 宮埜 寿夫
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 101-112
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    多肢選択式は,客観式テストにおいて最も多く利用されている問題形式である.その多くはあらかじめ受験生に正答選択肢の数が示されているが,正答選択肢の数があらかじめ示されておらず「適切なものをすべて選べ」と問う問題形式もある.このような形式の問題の採点方法については様々な方法が提案されているが,最適な方法については定まっていない.

    これまで提案されてきた方法の多くは,正しい判断をした選択肢の数や選択した正答選択肢の数などに基づいて部分点を与える方法である.本研究では,受験者による選択肢の選択を0/1 データが並んだ解答パタンとして捉え,正答/誤答選択肢の並びとの関連の強さや類似度に基づいて部分点を与える方法を新たに提案した.2種類の提案手法,MTF 法,NM 法の4 つの採点方法について検討し,その特徴を明らかにした.その結果,これらの中では得点の段階数の多さや計算の簡便さなどからJaccard 係数法の適切さが示された.なお,採点方法により得点の値は異なるものの,高得点となる解答パタンは採点手法間でおおよそ一致していた.

  • 北條 大樹, 岡田 謙介
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 113-125
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    評定尺度を用いたテストや調査は幅広い分野で利用されるが,得られたデータは本来測定したい構成概念だけでなく,回答者の反応傾向をも反映してしまうという問題点がある.この両者を分離可能なデータ収集法として係留寸描法が提案されており,とくに近年,現代テスト理論に立脚した係留寸描データのベイズ多次元IRT 型モデルが提案された.こうした中で,本研究では先行研究を3 点において拡張した.第1 に,数値的なベイズ推定法および予測の観点からみて妥当性の高い情報量規準である,WAIC とPSIS-LOO を用いたモデル選択を導入した.第2 に,項目パラメータと回答者パラメータの双方を含んだ多値型の2 次元IRT モデルのような複雑な構造に適する,ハミルトニアンモンテカルロ法を用いて事後分布からのサンプリングを行った.第3 に,提案手法を2 つの新たな実データに適用し,結果の汎用性を検証した.その結果,いずれのデータにおいても,提案手法を用いた係留寸描法による補正の効果が明確に示された.評定尺度を用いた計量分析における,回答者の反応傾向を用いて素点を補正することの重要性と,現代テスト理論に基づくモデルの有用性が確認された.

  • 小方 博之, 赤間 操, 鈴木 聡
    原稿種別: 論 文
    2017 年 6 巻 1 号 p. 127-139
    発行日: 2017/03/01
    公開日: 2020/04/02
    ジャーナル フリー HTML

    筆者らは,自宅受験のような監督者不在のオンライン試験において,不正行為判別を自動化する方法について検討している.受験時に行われる不正を自動検出できるようになれば,評価への信頼を保つことにつながり,オンライン試験の公平性を高められる.ここでは,受験者の眼球運動に着目し,イヤホンなどを使用した聴覚利用型不正行為をアイトラッカによって判別する手法を提案する.受験者が課題文を読み,解答する形式の試験を想定し,課題文を普通に読解する課題と,読解偽装しながら音声課題を聴取する二重課題を設定して眼球運動特性を比較し,提案手法の有効性を検証する.

feedback
Top