2017 Volume 60 Issue 1 Pages 28-36
国際的な調査である「OECD生徒の学習到達度調査（PISA調査）」の実施方法とデータ公開，さらにデータの利用方法について，筆者の経験から，PISA2015年調査を基に紹介する。はじめにPISA調査の概要を説明する。PISA2015年調査の実施については，特に各国・地域間でどのように比較可能な調査を実現しているか，実施マニュアルの作成，調査実施者研修，第三者評価の観点から詳しく述べる。PISA調査の結果公開と利用については，生データだけでなくアンケート質問調査票や指標の算出方法のドキュメントなど，関連ドキュメントをも公開することが研究データの公開には必要なことを説明し，報告書や関連する書籍の紹介とともに，関連するWebページであるPISA Data Explorerの利用方法について紹介する。
2016年12月6日，「OECD生徒の学習到達度調査（Programme for International Student Assessment）」（以下，PISA調査）2015年の実施結果が公表された。NHKのニュースでも取り上げられ，翌日の各全国紙の一面等をにぎわせた1）～4）ので，結果を目にした方も多いであろう。
PISA調査は，OECD（経済協力開発機構）が進めている学習到達度に関する国際的な調査であり，日本では国立教育政策研究所が実施事務局を担当している。余談であるが，PISAの発音は，ピサではなく「ピザ」と濁る。VISAをビザと英語で発音するように，英語では，ピザと呼ぶことが多いため，英語の発音に合わせてピザに統一されたようである。
PISA調査は，「義務教育修了段階の15歳児が持っている知識や技能を，実生活のさまざまな場面でどれだけ活用できるかを見るものであり，特定の学校カリキュラムをどれだけ習得しているかを見るものではなく」，「思考プロセスの習得，概念の理解，及び各分野のさまざまな状況の中でそれらを生かす力を重視する調査」5）である。PISA調査の対象者は，調査段階で15歳3か月以上16歳2か月以下の学校に通う生徒6）であり，日本では，高等学校，中等教育学校後期課程，高等専門学校の1年生としている。
2000年に実施されたのを皮切りに，3年ごとに実施しており，2015年は6サイクル目の調査となった。PISA調査に参加する国や地域は年々増え，2015年の調査（以下，PISA2015年調査）では，72か国・地域から約54万人が参加し，日本は198校，約6,600人の生徒が調査に参加した。
PISA調査は，科学的リテラシー，数学的リテラシー，読解力の3分野に対して調査を行っており，各サイクルでこの3つの中から1つを中心分野として，特に重点的に調べている。PISA2015年調査では，科学的リテラシーが中心分野だった。ちなみに，次のサイクルのPISA2018年調査では，読解力が中心分野となる予定である。この3つの中心分野以外に各サイクルで新しい分野の調査にも挑戦しており，PISA2015年調査では協同問題解決能力の調査を行った。
PISA2015年調査において，生徒は，2時間のテストと，生徒の背景情報を知るための約40分のアンケート調査を受けた。他に，各国・地域が任意に選択し実施できるアンケート調査がいくつかあり，日本の生徒は，コンピューターに対する態度や経験についての情報を収集するICT（Information and Communication Technologies）活用に関する約5分のアンケート調査にも答えた。また，学校長が学校の情報について答えるアンケート調査もある。
PISA2015年調査で特筆すべきことは，全面的にコンピューター実施に移行した点にある。つまり一部の国・地域を除き，大半の調査参加国・地域はコンピューターを使った調査を実施したことである。これまでの調査は紙の調査用紙を使っていたが，2015年調査では，USBメモリーをパソコンに挿入するだけで実行できるソフトウェアを用いて行った。生徒の各テスト問題の回答時間が記録可能になったり，画面の操作でシミュレーションし，試行錯誤をしながら解くテスト問題（図1）が出題可能になったりなど，紙ではできなかったことができるようになった。半面，パソコンを使ったテストゆえのさまざまな不具合への対応，たとえば，パソコンがフリーズしたらどうするのか，古いパソコンしかない実施校についてどうするかなど，これまで紙の調査用紙を使っていた時とは異なる状況や課題も出てきた。
PISA調査は，（1）「各国間で比較可能な」（2）「各サイクルを通して経年的に比較可能な」信頼のおける調査とするために，多くの研究者がかかわって実施されている。
たとえば，
PISA調査についてはとかく，結果分析から得られた各国・地域のランキングや平均点の推移などが注目されがちであるが，本稿では，PISA2015年調査の実施に参加した筆者の経験から，各国・地域間で比較可能な調査をどのように実現しているか，また，PISA調査で収集されたデータの公開と利用方法について紹介したい。
たとえば，実験を複数回にわたって実施する場合，すべての実験が同じ実験（厳密にいうと，結果に大きな影響を与えない範囲で同じような実験）になるようにする必要がある。特に人に対して行う実験は，実施者の指示によって，実験ごとに，実験参加者の行動が変わってしまうという事態を防ぐことが必要である。
そのため実施マニュアルを作成し，すべての調査で，実施マニュアルのとおりに実施することが，実験を行ううえでの大変重要なポイントとなる。
PISA調査は，いわば，世界的な規模の被験者実験といえるので，世界規模で同じ実験を複数回実施するためのマニュアル作りやマニュアルどおりに実施するための努力をしている。
すべての参加国・地域でまったく同じ方法で実施できるのが理想ではあるが，日本のように，ほぼすべての高等学校に人数分のパソコンが調っている国・地域もあれば，高等学校にパソコンが未配備の国・地域もあるなど，各国・地域の事情に合わせて運用を変更せざるをえないことがある。そのため，PISA調査の結果が変わらない範囲で，実施方法を変更することが必要になってくる。
そこでPISA調査では，まず，標準マニュアルを英語で作成する。その後各国・地域の事情に合わせた修正が，PISA調査の結果を変えない範囲のマニュアル修正かどうか，逐一OECDがチェックする仕組みが整っている。
特に，生徒が調査会場に入場してから退場するまでの実施方法については，PISA調査の結果に影響を及ぼさない変更範囲であることを，英語の標準マニュアルと比較し，一言一句OECDの許諾を得るというプロセスを踏んで確認する。たとえば，標準マニュアルでは，マンガや雑誌を用意しておいて，テストが早めに終わってしまった生徒にそれらを読んでもよいといった実施指示が含まれているが，日本の場合は，早く終わってしまった生徒には，静かに待つように指示するなどの変更がある。このような変更が，問題ないかどうかOECDがチェックして，問題があるようなら，問題箇所の確認と修正指示が伝えられる。このようにOECDとのやりとりを経て，無事，相互に問題のないことが確認されたら，その後，自国で使う言語に翻訳して実施マニュアルの完成となる。
調査実施者が使う実施マニュアルとは異なり，生徒が実際に答えるテストの問題文やアンケート調査の質問文は，翻訳の違いによる影響がより大きい。そこで翻訳後の日本語の文言についてもOECDの確認プロセスが入り，翻訳によって調査に影響を与える大きな違いが出ないように，より厳密なチェックが行われるようになっている。
このようにして，PISA調査では，国・地域の事情や言語の多様性を吸収しつつ，同じ調査を実施するための努力が行われている。
2.2 調査実施者研修実施マニュアルには，実施者がしゃべる「セリフ」も書かれており，実施者は，実施マニュアルに書かれた「セリフ」を一言一句そのまま読むなどの徹底が必要になってくる。
作成した実施マニュアルどおりに実施するために，調査実施者の研修も必ず行わなければならない。対面での研修が求められており，日本では，全国の各実施校から調査実施を担当する教員を国立教育政策研究所に集めて，研修を行った。
実際には，PISA調査の概要，PISA調査全体の流れなどの講演を調査実施者に聴いてもらい，その後，調査実施者1人につき1台のパソコンを用意して，調査実施者と実験参加者（生徒）を自身で体験できる実習も行った。このときは，調査実施で使うソフトウェアとほぼ同じ動きをするソフトウェアを使用した。
また，この実習と同様の内容の動画を収めたDVDを作成し，各学校に配布し，かつ，実習に使ったソフトウェアを学校に持ち帰ってもらって研修の復習もできるようにした。
2.3 第三者評価PISA調査を実施マニュアルどおりにきちんと実施しているか，第三者の評価を受けることになっている。評価を行う第三者評価委員は，実施を担当している国立教育政策研究所以外の組織に所属する研究者の中から，OECDが直接選出し依頼する。依頼された委員は，実施マニュアルの内容を確認したり，調査実施者研修をモニタリングしたり，実際に調査対象の数か所の会場を訪問しモニタリングしたりした結果をOECDに報告することとなっている。
PISA調査の結果は，調査が実施された翌年に公開される。単に，PISA調査で得られた結果を知りたいだけであれば，報告書を読めば済む。しかし，OECDが行った分析結果をより詳細に確かめたい，もしくは他の分析方法を試してみたいという場合は，個人情報を削除した生データに加えて，OECDによるさまざまな指標の算出方法やどのようなアンケート調査が行われたかがわかるアンケート質問調査票なども必要になってくる。
PISA調査では，集計し分析した結果を報告書として公開している。それに加え，より詳細な情報の確認や他の分析が可能になるように，生データに近いデータや指標の計算方法のドキュメントなど，さまざまな形でPISA調査の結果を公開している。本章ではそれらの公開物について紹介する。
3.1 要約情報まずは概要を知りたいというニーズに応えるために，図2に示すPISA調査の公式Webサイトのトップページ8）に，さまざまな要約情報が提供されている。
たとえば，左側のResults by Countryのプルダウンや地図から参加国・地域名を選ぶと，その参加国・地域の結果のサマリ―を見ることができる。図3は，Japanを選んだ結果表示される上部画面を示している（下に結果が続く）。
日本語での情報提供については，「OECD生徒の学習到達度調査（PISA2015）のポイント」や日本の報告書の要約などが，国立教育政策研究所の公式Webサイト「OECD生徒の学習到達度調査（PISA）」のページ9）にまとめて公開されている。
その他，毎月，「PISA in Focus」10）というニュースレターでさまざまな切り口からPISAの分析結果を紹介している（日本語訳もある）。
PISA2015年調査の本報告書（英語）は，OECDから複数巻発行される予定であり，2017年1月現在，I巻11）とII巻12）が発行されている。
これらはWebサイトで公開されており，全文を見ることも，PDFをダウンロードすることもできる。本報告書は500ページ近いボリュームのあるもので，生徒が答えたアンケート調査や学校長が答えた学校についてのアンケート調査を基にしたクロス集計結果など，さまざまに分析されたグラフや表が多く掲載されている。
本報告書で特徴的なのは，掲載されているほとんどすべての図表には，DOIが付与されており，実際の値をExcelデータとしても取得できることである。たとえば，報告書I巻11）のp.73の図，Figure I.2.16“Fifteen-year olds’ proficiency in science”（15歳の科学的リテラシーの習熟度）のグラフには，下部にStatLinkとして，http://dx.doi.org/10.1787/888933432083というDOIが記載されている。アクセスすると，グラフの各値の具体的な数値を確認することができ，グラフをExcelファイルという加工可能なデジタル形式で入手可能である。
日本の調査結果に着目した日本語の報告書は，国立教育政策研究所が作成したもの5）がある。
3.3 PISA Data報告書ではお仕着せの分析結果しか得られないが，「PISA Data」Webページ13）を入り口として，より詳細な分析やOECDが行っていない分析を行うためのさまざまなデータを得ることができる。
たとえば，指定したパラメーターの集計結果を簡便に得ることのできる「PISA Data Explorer」や，生データに近いデータやアンケート質問調査票のある「PISA Database」，各種ドキュメント「Research Documentation」への説明やリンクがある。
3.4 PISA Data Explorer「PISA Data Explorer」では，データ項目をインタラクティブに指定していくだけで，好きな組み合わせのデータ項目の集計結果を得ることができる。「PISA Data」Webページ13）の「PISA Data Explorer」の「2015」リンクをたどると，PISA2015年調査の結果14）を得ることができる。たとえば，科学的リテラシーの得点と家庭にある本の数の関係を集計した結果を得たい場合は，科学的リテラシーの得点（Subjectの“Reading, Mathematics and Science”，Overall scoreの“PISA Science Scale: Overall Science”）を選び，出力する国や地域を選び（図4），家庭にある本の数を選び，と選んでいくだけで，好きな組み合わせで集計された表をExcelなどで得ることができる。
図5は家庭にある本の数（Home Possessions and Socioeconomic Statusの“How many books at home”）を選んでいる画面である。
図6は結果が表示されている画面であり，ここで“Significance Test”を選んで統計的な検定を行うなどもできるし，“Export Reports”を選べば結果をExcelなどで出力することもできる。
平均値などの集計値だけでなく，各生徒それぞれの個別の得点や，アンケート調査で答えた内容など，いわゆる個票データもSPSS形式などで公開されている。たとえば，PISA2015年調査であれば，「PISA Data」Webページ13）の「PISA Database」の「2015」のリンク先のページ15）に，一括ダウンロードデータがあり，SPSS形式とSAS形式で提供されている。
2017年1月現在，PISA2015年調査での公開はまだだが，PISA2012年調査などでは生徒の回答時間などのログデータも公開16）されているので，生徒が各問題に要した回答時間などを併せた分析も可能となっている。
3.6 アンケート質問調査票アンケート調査に使われた質問文の全文も公開されている。たとえば，PISA2015年調査であれば，「PISA Data」Webページ13）の「PISA Database」の「2015」のリンク先ページ15）に，「Questionnaires」とアンケート調査質問票へのリンク（“Annex A”と表示）があり，“PISA 2015 Assessment and Analytical Framework”17）（PDFファイルをダウンロードできる）の付録Aに掲載されている。
日本で使われたアンケート調査の質問項目の日本語の全文は，日本の報告書5）や『PISA2015年調査評価の枠組み』18）の付録として掲載されている。
3.7 テスト問題テスト問題については，サイクルを超えて繰り返し使う問題もあるため，基本的には公開されていないが，いくつかの問題については，問題文が公開されている。
「PISA Test」Webページ19）の「Try PISA 2015 Science Test Questions」の「90 other languages」のリンク先のページ20）にて，公開されたテスト問題の問題文を，90言語で実際にインタラクティブに操作して試すことができる。
たとえば，「Running in Hot Weather」の「Japanese（Japan）」のリンクをクリックすると，日本語のページが開き7），日本語の問題を実際に試すことができる。図1は，最初のページで“次へ”のボタンをクリックした時に表示される2枚目の画面である。
また，「PISA Test」Webページの「More PISA Test Questions」では，PISA2015年調査とPISA2012年調査の公開問題について，解説付きのPDFファイルをダウンロードできる。
日本語での解説付きの問題例は，「OECD生徒の学習到達度調査（PISA）」のページ9）から，「PISA2015年調査問題例」（PDFファイル）をダウンロードできる。
また，どのようなタイプの問題文なのか（問題のテーマや，問題形式（論述形式か，選択肢形式か））については，報告書に掲載されている。たとえば，PISA2015年調査の科学的リテラシーであれば，日本の報告書5）の表2.4.1「科学的リテラシーの問題の正答率・無答率（2006年～2015年）」に掲載されている。
3.8 指標算出方法のドキュメントPISAでは，さまざまな指標を使った分析を行っている。たとえば，「社会経済文化的背景（ESCS: Economic, Social and Cultural Status）」指標というものがある。これは生徒の社会経済的文化的背景の状況を表す指標であり，生徒がアンケート調査で答えた，保護者の教育歴や職業，家財や家庭にある本の冊数などから算出されている。この指標値を実際にどのように算出したかについてより詳しく知りたい場合には，これらの指標の算出方法の詳細が記述されたドキュメントに「Technical Report」がある。PISA2015調査については，2017年1月現在，ドラフトのものが公開されている21）。
また，そもそも，どのような枠組みでこのPISA調査を行ったかに関する基本的な考え方も公開されており，それについては，『PISA2015年調査評価の枠組み：OECD生徒の学習到達度調査』18）という書籍が参考になる。
PISA2015年調査について，筆者がかかわった部分を中心に，実際の調査の実施方法について紹介した。PISA調査の実施方法には，サンプリングやテスト問題の開発や翻訳，採点研修や採点方法などについてもさまざまな工夫や努力があるが，筆者が経験していないため割愛した。
また，本稿では，PISA調査のデータや結果公開方法について紹介した。昨今，公的資金で行った研究について，研究データを公開しようという動きがあるが，他者による再利用が可能な研究データ公開には，生データだけでなく，さまざまなドキュメントやツールも併せて公開する必要がある。本稿で紹介したPISA調査のデータ公開方法は，そのための一例になったのではないかと思っている。これから研究データを公開しようとされている方の一助になれば幸いである。
国立教育政策研究所総括研究官。情報検索，情報探索行動などを専門とする。Enju開発ワークショップや，Code4Lib JAPANカンファレンスなども開催している。
