The usefulness of self-evaluation rubric table as a component of a learning management system for a course in statistics

Abstract

薬学統計学の講義にて「内容理解」と「PC演習」の2項目についてルーブリックを作成し，learning management system（Moodle）上で，各講義終了後の学生自己評価に使用した．また，学内授業評価アンケートと同じ内容についてもMoodleのフィードバックにて回収した．自己評価ルーブリックの単純集計では，ソフトウェア使用の初回で「内容理解」「PC演習」の両者とも，他の回よりも低い傾向が認められた．これに主成分分析とクラスター分析を行ったところ，全ての自己評価は同方向のベクトルを示し，学生は評価の順に3グループに分類された．授業評価アンケートでは，「講義への集中度」「教員の講義能力」の2因子が抽出された．さらに，定期試験との関係を調べたところ，自己評価ルーブリックと試験成績の間に良好な相関が認められた．自己評価ルーブリックは，学習進捗を簡便に測定するのに有用と考えられた．

目的

近年，薬学分野における統計学の重要性は飛躍的に増大している．特に，医学統計学の発達に伴い，重回帰分析や主成分分析などの多変量解析手法を臨床データの解析で使用する機会が増大している¹⁾．このような背景から，学部教育においても「統計学」の講義で，より実践的に統計解析を活用できるスキルを身に付けることが必要となってきている．

本学「薬学統計学」の講義では，各回の講義において，教科書を用いた座学と並行して，Learning Management System（LMS）を用いたPCによるデータ解析演習を行っている．しかしながら，進級後に研究室でのデータ解析，あるいは卒業後に職場でスムーズに統計解析を行うことのできる学生は少数であり，その学習効果を検証し，さらに成果を上げることが課題となっている．

学習効果の検証においては，試験などの量的評価に加えて，知識形成過程や高次のパフォーマンスなどの質的評価が重要である．質的評価では，従来型の講義アンケートの他，ルーブリックを用いた評価が注目されている²⁾．特に，ルーブリックでは学習成果を教員がそのまま評価する「直接評価」の側面に加え，学習者に何を学ぶべきかという「観点」や，到達目標を具体的に提示することが可能である³⁾．この特性から，ルーブリックを学習者自身が自分の学びを振り返る「自己評価」に用いることで，到達状況を具体的にイメージでき，能力の向上に貢献したとの報告もある⁴⁾．そこで，本研究では，「薬学統計学」受講学生を対象に，受講学生にルーブリック形式の自己評価を行ってもらい，これらと授業評価アンケート組み合わせることで，学習効果の予測や成績の向上に繋がるかを検討した．

方法

1．データ収集

2017年度前期「薬学統計学」15コマの講義（表1）のうち，PCを用いた演習を行う第3回から第14回の講義において，その評価について以下の方法で解析した．まず，LMSとしてMoodle（ver. 3.1.5）を使用し，講義の資料提示，課題の配信と評価，学生への連絡に使用した．

表1 薬学統計学　講義概要

講義回	内容	Excel使用	R使用
1	統計とは・標本と代表値
2	標本・確率分布・正規分布
3	推定，母平均の検定	○
4	t検定（平均値の比較）	○
5	Wilcoxon検定（順序の比較）	○
6	χ2検定と母比率の比較	○
7	多重比較−多群データでの比較検定	○
8	分散分析−薬物の併用による相乗効果	○
9	生存曲線解析（Kaplan-Meier法など）		○
10	回帰分析		○
11	判別分析		○
12	クラスター分析		○
13	主成分分析		○
14	因子分析		○
15	医薬品開発と統計

学生に「内容理解」「PC演習」の2項目について，表2に示すルーブリックを提示し，第3回から第14回の毎講義終了時に，学生自身の自己評価をMoodle上に「フィードバック」機能で作成したフォームに入力させた（図1）．なお，ルーブリックは黒上の方法⁵⁾ に従い，できる（A），一部できる（B），できない（C）の3段階に加え，期待される思考活動を超えるプラスアルファとしての「S」評価を含む，4段階の評価基準を設定した．また，学内授業評価アンケート（表3）に関しては，大学として講義第14回でマークシートによる収集を行っているが，今回は，それと同じ内容についてもMoodleの「フィードバック」フォームを用いて収集し，解析に使用した．

図1

LMS（Moodle）上に設置した自己評価ルーブリック．講義コース（a）の各週のところに設置した「自己評価」のアイコンをクリックすることで，回答ページ（b）へ移動する．

表2 自己評価ルーブリックの内容

a．講義内容の理解

S：内容について，他人に説明できる

A：自分なりに内容をまとめることができる

B：教科書を読めばなんとなくわかる

C：まったく内容についていけない

b．PC演習の達成度

S：やり方を人に教えることができる

A：他人の手を借りずに自分だけで計算できる

B：教科書を見たり，人に教えてもらって計算できる

C：手も足も出ない

第3回～第14回の講義で実施．

 

表3 授業評価アンケートの内容

番号	質問内容
Q01	授業の内容は理解できましたか
Q02	教員の説明の仕方はわかりやすかったですか
Q03	教員の話し方は明瞭でしたか
Q04	黒板の文字やパワーポイントなどの資料の提示は明瞭でしたか
Q05	教員はクラスの勉学の雰囲気を保つように努めていましたか
Q06	授業に刺激され授業内容に興味を持つようになりましたか
Q07	授業はシラバスどおりに進められましたか
Q08	教員は授業の準備を十分にしていましたか
Q09	授業に対する教員の熱意を感じましたか
Q10	教員は学生の質問，疑問，意見をくみとってくれましたか
Q11	教員のあなたがたへの接し方は適切だったと思いますか
Q12	あなたは授業中に集中し，私語や授業に関係のないことをしないように心がけましたか
Q13	あなたはこの授業に対して，1週間で平均何時間，自学自習していますか
Q14	この教員の授業を10点法で評価してください
Q15	授業で使用した教室の設備・環境は良かったですか
Q16	Excelをうまく使いこなせましたか
Q17	Rをうまく使いこなせましたか

第14回の講義で実施．Q14は10段階，他は5段階で回答．

2．自己評価ルーブリックの解析

データの解析にはR-3.4.1（http://www.r-project.org/）を使用した．前項で収集した自己評価ルーブリックについては，はじめに単純集計による概要の確認を行った．次に，主成分分析により共通ベクトルとしての主成分の抽出を行った．なお，ルーブリックではいわゆる学力に基づく内容の理解と，個人のPCスキルは別ものと予想しており，両者は因子上別の軸に集積すると予想していたが，実際に解析したところ両者を分離することはできず，同一ベクトルに収束することがわかったため，今回は因子分析（次項参照）の代わりに主成分分析を用いた．

同時に，クラスター分析により学生を回答の特徴から分類し，抽出した主成分と比較を行った．なお，クラスター分析では距離の計算にEuclid距離を，クラスタリングにはWard法を使用した．

3．授業評価アンケートの解析

授業評価アンケートについては，自己評価ルーブリックと同様，はじめに単純集計による概要の確認を行った．次にまず最尤法を用いた探索因子分析を行い，設問項目の因子抽出を行った．その際，共通性の低い（0.3未満）設問は独自因子として解析対象から除外し，続いて検証因子分析を行った．検証因子分析では，最尤法のほかに最小二乗法でも検討を行った（data not shown）が，両者の結果に差を認めなかったため，今回は最尤法の結果を採用した．なお，軸の回転にはVarimax法を使用した．さらに，自己評価ルーブリックの場合と同様にクラスター分析を行い，学生を回答の特徴から分類・比較を行った．

4．回帰分析

上記の自己評価ルーブリックより抽出された主成分得点および授業評価アンケートから抽出された因子得点について，定期試験（50点満点）の得点との間で単回帰分析を行い，成績との相関について検討した．さらに，より相関の認められた自己評価ルーブリックについては，全評価項目を独立変数，定期試験得点を従属変数とした重回帰分析を実施した．得られた従属変数の予測値と，定期試験得点との相関についても検討した．

5．人権に対する配慮

本研究内容については，学生の成績という慎重に取り扱う必要のある情報を含むため，事前に近畿大学薬学部倫理委員会にて承認（承認番号16-098）ののちに研究を行った．また，全受講生に対し，口頭および文書にて研究の趣旨および目的を説明し，同意書をとった上で解析対象とした．

結果

1．解析対象者

2017年度近畿大学薬学部「薬学統計学」の受講者のうち，研究に同意し，実際にデータの入力された166名（医療薬学科（6年制）3年次149名，創薬科学科（4年制）2年次17名）を解析対象とした．

2．自己評価ルーブリックの単純集計

表1に「薬学統計学」の講義概要を示す．本講義では，実際のデータを解析するスキルを身につける目的で，第3～14回でPC演習を行っているが，その前半（第3～8回）では解析用ソフトウェアとしてMicrosoft Excelを，後半（第9～14回）ではRを使用している．

自己評価ルーブリックについて単純集計を行ったところ，内容理解（図2a）PC演習（図2b）の両者とも，第3回と第9回で他の回よりも自己満足度の低い傾向が認められた．それぞれのソフトウェア使用初回ということで，操作に戸惑いがあったと考えられた．また，各回での内容理解とPC演習の満足度推移には同じような傾向が認められ，PC演習の方が満足度の高い傾向が認められた．

図2

自己評価ループリックの単純集計結果（n = 166）．a：講義の理解度，b：PC演習の難易度を示す．

3．自己評価ルーブリックの多変量解析

上記集計結果を統合して，学生の動向を把握する目的で，クラスター分析および主成分分析を行った．クラスター分析（図3a）の結果，学生は大きく3グループに分類された．一方，主成分分析（表4）では第1主成分の寄与率が34.8%と高く，ほぼ全ての自己評価が同一のベクトルを向いていることが示唆された．

図3

a：自己評価ルーブリックのクラスター分析結果（n = 166）．距離の計算にはEuclid距離を，クラスタリングにはWard法を使用した．得られたクラスターを元に，学生を3グループに分類した．b：自己評価ルーブリックの主成分分析（n = 166）．矢印は主成分負荷量を示しA**が講義理解度，B**がPC演習の難易度を示す．散布図は学生の主成分得点を表す．△ Group 1，□ Group 2，● Group 3．

表4 自己評価ルーブリックの主成分負荷量

	講義回	第1主成分	第2主成分
内容理解	第3回	–0.445	–0.565
	第4回	–0.550	–0.527
	第5回	–0.606	0.036
	第6回	–0.296	–0.101
	第7回	–0.642	0.160
	第8回	–0.485	0.513
	第9回	–0.587	–0.397
	第10回	–0.681	0.306
	第11回	–0.539	0.004
	第12回	–0.635	0.091
	第13回	–0.662	0.121
	第14回	–0.610	–0.030
PC演習	第3回	–0.489	–0.547
	第4回	–0.587	–0.416
	第5回	–0.647	0.043
	第6回	–0.411	–0.027
	第7回	–0.725	0.140
	第8回	–0.518	0.520
	第9回	–0.595	–0.359
	第10回	–0.675	0.357
	第11回	–0.593	–0.001
	第12回	–0.671	0.121
	第13回	–0.680	0.138
	第14回	–0.632	0.036
	固有値	8.353	2.228
	寄与率	34.80%	9.30%
	累積寄与率	34.80%	44.10%

n = 166．

第1および第2主成分について，学生の主成分得点をプロットし，先程のクラスター分析結果と比較したところ，第1主成分の負方向から正方向に向けて，Group 1，Group 3，Group 2の順に配置された（図3b）．主成分負荷量（矢印で示す）のベクトルは全て第1主成分の負方向に向いていたことから，Group 1，Group 3，Group 2の順で学生の自己評価が高いことが示唆された．

4．授業評価アンケートの解析

授業評価アンケートの単純集計結果を図4に示す．多くの設問において最頻値は4を示しており，授業に関しては高評価が得られた．一方，Q13「あなたはこの授業に対して，1週間で平均何時間，自学自習していますか」は点数が低かった．また，PCの習熟度に関する設問（Q16, 17）は最頻値が3と，やや低い値を示した．

図4

授業評価アンケートの単純集計結果（n = 166）．設問内容は表3を参照．

次に，アンケートに対して因子分析を適用した（表5）．Q13に関しては独自因子として除外され，他の設問は大きく2つの因子に分類された．設問内容と照らし合わせ，因子1を「講義への集中度」因子2を「教員の講義能力」と命名した．

表5 授業評価アンケートの因子分析結果

設問番号	因子1 （講義への集中度）	因子2 （教員の講義能力）	共通性
Q01	0.073	0.878	0.776
Q02	0.315	0.803	0.744
Q03	0.448	0.537	0.489
Q04	0.461	0.640	0.622
Q05	0.742	0.344	0.669
Q06	0.465	0.622	0.603
Q07	0.746	0.216	0.603
Q08	0.847	0.121	0.732
Q09	0.847	0.212	0.762
Q10	0.774	0.329	0.707
Q11	0.776	0.239	0.659
Q12	0.661	0.280	0.515
Q14	0.577	0.457	0.542
Q15	0.620	0.225	0.435
Q16	0.208	0.535	0.329
Q17	0.124	0.606	0.383
負荷量の二乗和	5.690	3.882
寄与率	35.60%	24.30%
累積寄与率	35.60%	59.80%

n = 166．因子の抽出には最尤法，回転はVarimax法を使用した．それぞれの設問について，因子負荷量の高い因子をボールドで示した．

アンケートに関しても，自己評価ルーブリックと同様にクラスター分析を行ったところ（図5a），学生は3グループに分類された．この分類を因子得点と比較したところ（図5b），Group Aは講義に熱心であり，教員の教え方も良いと感じているグループ，Group Bは統計学の興味が薄く，教員の講義内容にも低評価なグループ，Group Cは中間層であると示唆された．なお，アンケートでのグループと，自己評価ルーブリックにおけるグループとの間に関連性は認められなかった．

図5

a：授業評価アンケートのクラスター分析結果（n = 166）．距離の計算にはEuclid距離を，クラスタリングにはWard法を使用した．得られたクラスターを元に，学生を3グループに分類した．b：授業評価アンケートの因子分析結果（n = 166）．学生の因子得点をプロットした．○ Group A，● Group B，□ Group C．

5．試験成績との相関

自己評価ルーブリックと授業評価アンケートのそれぞれに関し，試験成績との間に相関があるかを検討した（図6）．定期試験（50点満点，レポート50点と合算で評価）に関しては例年3問のデータ解析を課している．2017年度は（1）ジェネリック医薬品同等性に関する問題，（2）薬物投与量に関する問題，（3）メタボロミクス解析に関する問題であり，その平均±標準偏差は34.2 ± 10.9点であった．

図6

自己評価ルーブリックの第1主成分（a），第2主成分（b）および授業評価アンケートの因子1（c），因子2（d）と定期試験成績（50点満点）との関連性の比較（n = 166）．

その結果，自己評価ルーブリックの第1主成分（a）および授業評価アンケートの因子2（d）との間で有意な相関を認めた．特に，自己評価ルーブリックに対する相関が高いと考えられたため，全評価項目を独立変数，定期試験得点を従属変数とした重回帰分析を実施した．この重回帰式からの予測得点と，実際の定期試験得点の関係を確認したところ，両者に良好な正の相関が認められた（図7）．以上の事から，自己評価の高低と学生の学習到達度には関連性があると示唆された．

図7

自己評価ルーブリックを独立変数，定期試験成績を従属変数としたときの重回帰分析結果（n = 166）．重回帰式より算出された予測得点を横軸にとり，試験成績との相関について検討した．

考察

教育効果を測定する上で最も重要な課題は，効果を簡便に予測し，適宜フィードバックを行うことである．講義科目であれば教育効果は試験成績という形で測定可能であるが，講義終了後の実施であり受講学生へのフィードバックができない．リアルタイムな測定のためには，小テストを行うなどの煩雑な作業が必要であり，効率的な教育効果の検証手段が求められている．

ルーブリックは学習目的（評価基準）と到達目標を具体的に設定し提示することで，効果の判定しづらい学習者の能力を，具体的に評価することが可能である．また，学習者においても，到達目標を具体的に提示されることから，モチベーションを維持した学習が可能になる⁶⁾．このような特性から，ルーブリックは学習者の到達度を素早く把握できるツールとして期待される．

今回の研究では，評価基準を「内容理解」「PC演習」の2点に絞ったこと，評価項目をLMS上に提示し（図1），講義終了後即座に入力させることで，学生のリアルタイムな印象を測定することが可能になったものと考える．記憶の新しい中での印象のため，単なるアンケートとは異なり，成績との良好な相関関係を得ることが可能になったことが示唆される（図7）．

これらの自己評価ルーブリックに関して主成分分析を行ったところ，ほぼすべての項目は同じ方向性を示していた（図3b）．さらに，個人の主成分得点もこのベクトル方向にそって3段階のグループを形成しており，自己評価ルーブリックが学生のモチベーションを測定するのに非常に有用であることを示唆していた．このようなモチベーションが実際の成績に相関したことから，毎回の到達目標を示して自己評価を行うことは，成績の予測だけでなく，学習者である受講学生のモチベーション確認にも有効と判断された．なお，クラスター分析と組み合わせることで，モチベーションの低い学生が約1割存在することが明らかとなったが（図4）このような学生のケアが今後の課題である．

一方で，大学共通で実施している授業評価アンケートは，学習成果としての試験成績には結びつかなかった（図6cおよびd）．アンケートはあくまで受講した講義の印象を聞いているため，学習効果を測定するツールとしては適当ではないことが示唆された．

アンケートに関しては因子分析を適用した（表5）．「講義への集中度」「教員の講義能力」という2つの因子が抽出されたが，0.6以上の因子負荷量を持つ設問が因子1で8項目，因子2で5項目存在した．因子分析においては，0.6以上の負荷量を持つ設問が4つ以上あれば十分な感度が得られることが知られており^7,8)，現行のアンケートは同じ内容を繰り返して聞いている可能性が示された．また，Q13が独自因子となっていることもあるため，質問項目に関して内容を吟味の上，若干の改善を行う必要があると考えられた．

結論として，今回用いた自己評価ルーブリックは，最終的な試験成績と有意な相関を示したことから，学生の学習進捗状況を簡便に測定するのに有用であると考えられた．また，このようなルーブリックを自己評価で使用する場合には，評価基準を少なく絞ることで，自己評価を容易にし，かつ自身の到達状況を簡便に把握できるようにすることが重要と考えられた．

発表内容に関連し，開示すべき利益相反はない．

文献

• 1)   松村  美奈， 中山  拓人， 寒水  孝司．日本の薬学部における統計学の入門講義の実態調査．薬学雑誌．2016; 136(11): 1563–1571.
• 2)   佐藤  真．第25回大会報告―課題研究III　パフォーマンス評価の理論的根拠と実践的可能性．カリキュラム研究．2015; 24: 57.
• 3)   佐藤  真， 香田  健治．ルーブリックの開発に関するモデレーション研修の比較検討―総合的学習におけるレポート評価を通して―．教育学論究．2014; 6: 61–68.
• 4)   三宅  貴久子， 久保田  賢一， 黒上  晴夫，他．教師と児童の共同によるルーブリック作成の意味―第4学年児童のイメージマップ分析から―．日本教育工学会論文誌．2017; 41(Suppl.): 221–224.
• 5)  黒上 晴夫．見える「評価」で授業がかわる！～ルーブリックで授業作り～［Internet］．Just School実践事例レポート；2007年5月15日（参照2018年3月3日）https://www.justsystems.com/jp/school/academy/hint/rubric/ru01_01.html
• 6)  松原 和之．グローバル教育　気になるキーワード　Vol. 5　ルーブリック［Internet］．G-Eduイシュー；2016年7月（参照2018年3月3日）http://www.core-net.net/g-edu/issue/6/
• 7)   Guadagnoli  E,  Velicer  WF. Relation of sample size to the stability of component patterns. Psychol Bull. 1988; 103(2): 265–275.
• 8)   堀  啓造．因子分析における因子数決定法―平行分析を中心にして―．香川大学経済論叢．2005; 77(4): 35–70.