誌上シンポジウム：学習成果を測る！インスティチューショナル・リサーチ（教学IR）の取り組み
大学におけるインスティチューショナル・リサーチ （IR） に関する論点の整理
2018 年 2 巻 論文ID: 2018-010
詳細
2018 年 2 巻 論文ID: 2018-010
近年の高等教育政策では，学生の学習成果を可視化して，大学教育の内部質保証を確立することが求められている．そして，学習成果が身についているのかどうかを適切に評価し，組織的に改善することがインスティチューショナル・リサーチ（IR）に期待されている．本稿では，大学におけるIRの実践の効果を高めるための課題を，IRの有効性と限界，大学教育の質保証の特徴，学習成果を捉えるモデル，IRの実践的方法といった論点にそってまとめる．
近年の高等教育政策では，学生の学習成果を可視化して，大学教育の内部質保証を確立することが求められている．ディプロマ・ポリシー，カリキュラム・ポリシー，アドミッション・ポリシーからなる3つのポリシーを策定し公表することが義務化された．そして，ディプロマ・ポリシーで示された学習成果が身についているのかどうかを適切に評価し，組織的に改善することがインスティチューショナル・リサーチ（IR）に期待されている．
IRは，大学の意思決定に資する情報を提供する活動である．情報を提供するというのは，単にデータを提供するのとは異なる．大学にはさまざまなデータがあるが，多くのデータはある事実を表した無機質なものにすぎない．IRの業務の本質は，データから意味のある情報へと変換することと言える．
本稿では，大学におけるIRの実践の効果を高めるための課題をいくつかの論点にそってまとめたい．
IRを大学で活用する際には，その有効性を正しく理解しておく必要がある．まずは，データを利用することで正しく現状を把握し適切な判断をすることができることである．人々の思い込みと実際のデータには大きなずれがある場合がある．実際の現状を正しく把握せずには正しい意思決定を行うことはできない．たとえば中途退学者を減少させたいと考えた時に，データなしに対応策を考えるのと中途退学者の属性や中途退学の要因をデータで理解した上で対応策を考えるのとでは大きな違いが生まれるであろう．データを利用することで正しく現状を把握し適切な判断をすることができる．また，データに基づく判断は合意形成という観点でも有効である．データという根拠によって教職員に対する説得力が増し，組織での合意も得やすくなるだろう．
一方で，IRに基づく判断の限界も理解しておく必要がある．たとえば学習成果については，データではその一部しか表すことはできない，もしくは間接的にしか表すことができない．また，データは，大学のある現状を示すことはできるが，具体的な提案には直接的にはつながらない．ヒュームの法則で指摘されるように，「である」から「べき」を論理的に導き出すことはできないからである．
IRを実践する上では大学教育の質保証の特徴を理解しておくことも重要である．大学教育の質保証と工業製品の品質管理は，一定の水準を設定して評価するという観点では類似性もあるが，多くの相違点がある．
工業製品であれば基準を満たしたものを出荷し，基準に満たさないものを廃棄するという形で質保証を設計することができる．一方，大学はそのままの発想で質保証を取り入れることはできない．大学は人を育てる場であり，学生を良品と不良品に振り分ける場ではなく，学生を育てる質保証こそが重要であるからだ．
また，学習成果は測定しにくいという特徴をもつ．学生の頭の中は色や形のように外からは見えない．そのため，筆記テストや観察を通して評価するしかない．さらに，工業製品とは違い学生は考えることができるという点も重要である．学生は，具体性をもった明確な目標によって意欲を高める．また，評価の基準が明確であれば，学生の自己評価や相互評価を促進することができる．このような大学教育の特徴に合った質保証の仕組みが必要となる．
学習成果を捉えるモデルはいくつか提示されているが，最も基本的なものはアスティンによるInput，Environment，Outcomeから構成されるI－E－Oモデルである．インプット，環境，成果の3つの視点で大学教育を捉える枠組みである．インプットには，学生の属性や高校での成績などの大学入学時点の学生の情報が含まれる．環境には，授業や学生支援など大学が学生に影響を与えるものが含まれる．成果には，学位取得，資格取得，キャリアの決定などが含まれる．
I－E－Oモデルは，学習成果は大学入学前の学生の情報と大学が学生に与える環境の相互作用によって決定されるという視点を提供している．大学が学生に与えた教育効果を正しく把握するには，単に学習成果のみに着目するのではなく，学生の入学時点の情報と大学が学生に提供した環境の関係で分析することの重要性を示している．
IRの活動は目的という観点で説明責任と改善支援に分けることができる．大学は社会に対してその活動の説明責任を負っている．情報公開や認証評価などの機会において，大学が掲げている目標に沿って活動をわかりやすく説明することが求められる．同時に，IRの活動は大学の活動を改善するためにも位置づいている．大学の課題を明らかにし，改善のための方策を検討するという機能である．IRで得られた結果をFDに活用する大学も少なくない．
説明責任と改善支援の2つの機能は，同時に両立する場合もあるが葛藤を生むこともある．なぜなら，公開を伴う説明責任の場面では大学が好意的に評価されるような情報が重視されるのに対し，改善支援の場面では大学の課題を明確にする情報が重視されるからである．
IRの活動は，通常業務と臨時業務に分けることもできる．通常業務は，学生のアンケートのように毎年同じ形式で実施することになっている活動である．学生の時系列の変化を理解するためには，同じ形式のアンケートでの調査を継続することに意義がある．一方，臨時業務は，通常業務になっていない活動である．その時点での必要性に応じて行う調査があてはまる．たとえば，クオーター制導入の初年度の効果を把握したいといった調査である．
入学者のアンケート，卒業者のアンケート，国家資格取得状況などは通常業務となっている大学も多いであろう．臨時業務で始めたものが通常業務になることもあり，通常業務は増えていく傾向にある．一方で，通常業務が増加すると，臨時業務を実施する余裕がなくなるため，この2つの業務のバランスは重要である．
学生の学習成果を捉えるには直接評価と間接評価という2つの方法がある．直接評価は，学生は何ができるのかという観点で評価するものであり，筆記テストや実技テストなどが含まれる．一方で，間接評価は，学生は何ができると思っているのかという観点で評価するものであり，学生に対するアンケートなどが含まれる．
直接評価の方が学生の主観が入らないため信頼性が高く優れていると考える者もいる．しかし，学習成果のすべてを直接評価で測定することは難しい．たとえば，多くの大学ではディプロマ・ポリシーにおいて示された能力が身についたかどうかを，卒業直前の学生にアンケートを通して測定している．また，間接評価は学生の学習行動や満足度を把握することができるという特徴をもつ．
ただし，間接評価を活用する際には注意が必要である．学生の中には，自分を高く評価する人もいれば，低く評価する人もいる．能力の低い者が自分の能力を高く評価してしまうという現象はダニング・クルーガー効果と呼ばれる．そのため，間接評価を活用する際には，評価の基準を明確にするなどの工夫が求められる．
IRの活動では量的データが活用されることが多いが，質的データを活用する事例も見られる．大学においてよく分析されるのは，学生に対するアンケートの自由記述の内容であろう．質的データは量的データにはない強みがある．たとえば，「現行のカリキュラムは修業年限で留学と資格取得が両立できないから改善してほしい」「編入学で入学したため，ガイダンスがなくて困った」などの教職員では把握していない課題の発見につながる場合がある．
一方で質的データに対しては，一部の意見を過大評価してしまったり，回答者の主観や分析者の主観が入り込んでしまったりするという課題もある．そのため，客観的な質的データの分析方法を目指したテキストマイニングなどの方法の洗練化も進んでいる．
IRで活用するデータは3種類に分けることができる．第一に，教務や人事などの学内のデータベースにすでに収集されているデータである．日頃から既存データにはどのようなデータがあるのかを把握しておく必要があろう．収集した部署以外から提供を受ける二次データを扱う場合はその信頼性を確認する必要もある．特に学籍番号を記入させるアンケートを実施する場合は，履修や成績などの既存データとの関係を明らかにすることができる．
第二に，学内で新たに収集する必要のあるデータである．学生，教員，部局長などからアンケートやインタビューなどで収集するものである．新たにデータを収集する際には，対象者に時間や労力を求めることになるので無駄のない調査設計が必要となる．
第三に，学外のデータである．卒業生，他大学，高等学校，行政機関，企業などは，大学にとって重要なデータを所有している．特に大学の戦略を検討するためには，大学の内部のデータだけでは十分ではない．たとえば，戦略策定の一般的な方法として3C分析という手法がある．市場（customer），競合相手（competitor），自大学（company）の3つの観点から戦略を考えていくものである．市場は大学に何を求めているのか，自大学と競合している大学はどこなのかといった外部環境と自大学にはどのような強みがあるのかという内部環境を照らし合わせて戦略を検討していくのである．そのため，受験者市場，労働者市場，競合相手の状況といった学外データを収集する方法を模索する必要がある．
IRの活動によって提供される数値を意味のある情報に変えるには，解釈のための基準が必要になる．たとえば，ある大学の中途退学率が3%だった場合，その数値が適切な範囲内にあると言えるのか，それともそうでないのかは，数値だけを見ていてもわからないだろう．なぜわからないかというと，解釈するための基準がないからである．
基準の探し方には，さまざまな方法がある．過去との比較という時系列での分析は代表例である．以前のデータと比較して，現在のデータを評価するという方法である．中途退学率の場合，以前の数値よりも増加しているのであれば，何からの問題が生じているのではないかと考え，要因を調べるきっかけを与えるだろう．
集団間のデータの比較もよく活用される．中途退学率であれば，男女別，学部別，学年別，入試形態別などで比較すると，課題をより把握することができ，対応策の検討にも役立つであろう．また，集団間の比較は学内だけにとどまらない．他大学や全国平均のデータとの比較は，自大学の特徴を明らかにしたり，学内で課題を共有したりする際に役立つであろう．
さらに，法規や外部機関が定めている基準との比較が重要になる場合もある．たとえば授業時間外の学修時間については，大学設置基準で定められている学修時間に照らし合わせて比較することができる．もう一つ大事な基準がある．それは大学自身が設定する基準である．大学として掲げた数値目標に達成しているかどうかでデータを解釈する方法である．
現在，多くの大学でIRが推進されている．IRに関する研修などが見られるようになったものの，IRに関する実践的な知識が大学を越えて十分に共有されていないという状況がある．IRに関する実践的知識には，一般的な内容だけでなく学部特有の内容がある．学部特有のIRに関する実践的知識が共有する機会を増やすには，薬学教育学会などの専門教育学会の役割が大きいと言えよう．
一方で，IRは大学内部の経営上重要な情報を扱うため，外部に広く活動を公開できない場合がある．一部の大学においては，学内の規則によってIRの情報を学外に発信することが禁じられている場合もある．各大学のIRの実践が広く共有されるための仕組みの工夫を検討することも重要な課題である．
発表内容に関連し，開示すべき利益相反はない．
