Correlations Between English Proficiency and Story Retelling Performance: Analysis of Complexity, Accuracy, Fluency, and Speech
2022 Volume 9 Pages 26-41
Details
2022 Volume 9 Pages 26-41
This mixed-method study aimed to evaluate the story retelling performance of 23 Japanese university students in relation to English proficiency, as indicated by their TOEIC scores. Story retelling performance was first evaluated using Complexity, Accuracy, and Fluency (CAF) indices. Correlation analysis of TOEIC scores and each of the CAF results indicated moderate correlations between TOEIC reading and listening scores and complexity. Then, students’ retelling performance was further evaluated qualitatively. Those who have higher proficiency seemed to have constructed a mental representation with the gist after reading the text and tried to retell the original story using their own words, while students with lower proficiency seemed to have constructed a mental representation lacking one or more key points and tended to reproduce the original text. The current study revealed the potential of the story retelling activity: As an integrated task, it can develop both reading skills to capture the main points and speaking skills to express them in one’s own words.
社会の急速なグローバル化に伴い，日本人の英語スピーキングの能力が様々な分野で必要とされてきている。大学生が卒業後に就職する多くの企業では，外国人の上司や同僚がいたり (厚生労働省, 2019)，社内の公用語が英語の企業もある。そうでなくても海外市場や海外企業と無関係な日本企業は少なく，企業では，英語の能力が求められている。このような背景から，スピーキングは，多くの大学生にとって必要とされ，身につけなければならない重要な技能である一方で，英語4技能の中で一番習得が難しいと言われている (Ur, 1996; Zhang, 2009)。その理由として，日本語と異なる発音やイントネーション，形式的な表現，コロケーションなどの細かい技術を身につける必要があることがあげられる (Zhang, 2009)。また，日本のような外国語環境では，英語を話す機会は教室内に限られており，リハーサルをする機会が少ないのも，習得が難しいとされる理由の一つである (Oya & Greenwood, 2009; Zhang, 2009)。スピーキングの能力向上の一端を英語の他の技能を絡めた活動で補うことができれば，リハーサルの機会が少ないというハンディを補うことができる。
スピーキングの能力向上につながる活動の一つにリテリングがある。リテリングとは，あるまとまった文章を読んだり，聞いたりした後に，元の文章に頼らず，その内容を第三者に伝える活動である (Kissner, 2006; 卯城, 2009; 佐々木, 2020)。リーディングやリスニングの技能と，スピーキングの技能の両方を使う活動である。また，リーディングやリスニングだけでなく，過去に見たり，読んだりしたものを相手に伝えるという活動は，普段の生活の中で常に行っている言語活動であり (卯城, 2009)，英語を話す環境においても日常的に行われるものである。リテリングには，聞いたり読んだりした内容を理解する力と，その内容を簡潔にまとめ，相手にわかるような英文を頭の中で作成し，それを相手に伝わることばで発信する力が必要である (Appel & Lantolf, 1994)。また，リテリングは，英文を読んだり聞いたりする活動の後に伝える活動を行うため，リーディングやリスニングの能力を測定するために用いられたり (Reed & Vaughn, 2012)，スピーキング能力を測るため (Hirai & Koizumi, 2009) に広く用いられている。さらに，リテリングは，スピーキング力を向上させる活動としても研究されている。Smith (2010) は，多読を行った後に，読んだ本についてのディスカッションを行うことで中間言語能力を伸ばし，オーラルコミュニケーション技術の向上につながることを示唆している。リテリングを行うために，読んだ内容を頭の中で簡潔にまとめて (サマライジング)，相手が理解できるように話さなければならないため，活動としての生徒のハードルは高い (Smith, 2010, p. 59) が，リテリングを生徒同士で行わせることにより，コミュニケーション能力が高まったり，相手が話した言葉を利用することで，スピーキング能力を高めることができるという利点がある。
本研究では，リーディングをインプットとしたリテリングに焦点を当て，リテリングのパフォーマンスとTOEICスコアとの相関を調べ，英語熟達度によりリテリングの内容がどのように異なるのかを量的および質的に検証する。
リテリングは，リーディングという受容能力とスピーキングという発信能力の両方の技能を使う，技能統合型のタスクである。リーディングの理解を深めるためにも，スピーキングの技術を向上させるためにも有効なタスクである (Appel & Lantolf, 1994; Kai, 2008)。一方で，これらの技能を測定するためのテストとしても広く使用されている。リテリングテストを多肢選択式問題と比較すると，テスト受験者が問題の解答をするために部分的に読んだり，問題の中に思いもよらぬ解答を見つけたりといった，読解の妨げになる要素がない (甲斐, 2008)。リテリングは，読み手の理解を直接的に測ることができるテストであり，リーディング力を測るために広く用いられている (Apple & Lantolf, 1994; Gambrell, Pffeifer, & Wilson, 1985; Johnston, 1983)。Appel and Lantolf (1994) は，リテリングは，読み手の読解力だけでなく，フィラー (つなぎ言葉) や独り言，ポーズの時間を分析することにより，読み手がテキストをどのように理解しているのかがわかるテストだとしている。
リテリングはまた，読み手のスピーキング力を測定するテストとしても広く用いられている。読んで理解した内容を発話するため，発話の内容や一貫性などをルーブリックを使って総合的に評価したり，発話量，語彙，文法力，構文作成力，複雑さ，正確さ，流暢さなどの指標を使って分析的に評価することもできる。リテリングを他のスピーキングタスクと比べると，より発話を促すことのできるテストであるという利点がある。Hirai and Koizumi (2009) は，ストーリーリテリングテストを，教室で行うスピーキングのテストとして，簡単で正確なテストであり，テスト受験者のスピーキングの学習意欲を高めるプラスの効果をもたらすものだとしている。また，Koizumi and Hirai (2012) は，EBB (Empirically-derived Binary-choice Boundary-definition) を用いてストーリーリテリングテストを評価し，評価結果を他のスピーキングテスト (VersantとSST) と比較し，中程度の相関を持つことを示した。Allen and Allen (1985) は，スペイン語学習者のリテリングの内容を学習年数で比較し，熟達度により語彙や文法構造が言語発達の状況で異なることを示している。
一方で，リテリングテストをスピーキングテストとして使用する場合，結果には様々な制約が含まれていることを考慮しなければならない。英文が与えられているため，直前に読んだ文を使ってスピーチの内容を組み立てることができる。Yokouchi (2013) は，リテリングが，話の内容を一から構築する構造化タスクではなく，発話内容が狭い分野に限られたものだとしている。Hirai and Koizumi (2009) は，ストーリーリテリングテストの短所について，受験者の記憶力やテキスト理解力に大きく影響され，テキストで使用されている語彙やフレーズをそのまま使ってリテリングすることが可能なため，受験者の真の語彙力やスピーキング能力を測ることができないとしている。また，佐々木 (2020) は，リテリングを，リテリング (産出) とリプロダクション (再生) という2つの異なる質に分けられるといい，リテリングは読んだテキストを自分の言葉で言い換えること，リプロダクションは，読んだテキストをそのまま，あるいはほぼ同じフォーマットで再生したものだとしており，後者は完全なアプトプット活動とは言えないとしている。
2.2 リテリングと熟達度との関係リテリングは，主に第1言語の幼少者の読解力や発話の発達を促す学習方法としての研究が行われてきたため (Kissner, 2006)，第2言語の評価手法として学習者の熟達度との関係を調べた研究は少ない。Koizumi and Hirai (2012) は，リテリングテスト受験者を初・中級者 (自己申告のTOEIC860点未満の学部生) と，上級者 (英語専攻の大学院生と自己申告のTOEIC860点以上の学部生) に分け，テストのスコアを他のスピーキングテストと比較した。その結果，リテリングテストの初・中級者の得点分布が，他のテストに比べて広範囲にわたっており，リテリングテストが初・中級者のスピーキング能力を測定するのに適したテストであることを示している。Kai (2008) は，リテリングテスト受験者をクローズテストのスコアにより上位群と下位群2つのグループに分け，テキストの重要な情報がリテリングの内容に含まれていた比率をIdea Unitで比較した。その結果，熟達度による違いは見られなかった。Allen and Allen (1985) は，スペイン語の学習年数が長い学習者ほど，語彙が豊富で，より複雑な文を話すことを示している。しかし，これらの研究では，熟達度の指標が教室内で行われたテストや学習年数をもとにしており，信頼性や妥当性の高い熟達度の指標ではない。Koizumi and Hirai (2012) は，TOEICスコアをもとに受験者をグループ分けしているが，TOEICスコアとスピーキングとの関係性を評価した研究ではない。また，リテリングの評価はIdea Unit数や語彙，表現の違いなどの質的評価が主であり，分析的な評価は行われていない。
本研究の第1の目的は，日本人大学生のリテリングの内容を分析的に評価し，TOEICスコアをもとにした英語熟達度とリテリングテストとの関係を，複雑さ，正確さ，流暢さ (CAF) の観点から調べることである。さらに，第2の目的は，熟達度によりリテリングの発話内容がどのように異なるのかを質的に評価し，発話内容の違いを明らかにすることである。本研究のリサーチクエスチョン (RQ) は以下である。
本実験の参加者は東京近郊の私立大学の生命科学，理工学，経営学専攻の1, 2年生25名で，このうち，1年以上の海外滞在歴のある者2名を除外し，23名のデータを有効データとして分析に使用した。
4.2 マテリアルと手順 4.2.1 熟達度テスト熟達度テストは，学期の初めにプレースメントテストとして参加者が受験したTOEIC IPテストで代用し，そのスコアを熟達度として評価に用いた。参加者の熟達度を表1に示す。
| Min | Max | M | SD | |
| Total (990) | 300 | 800 | 448.5 | 127.9 |
| Reading (495) | 95 | 420 | 233.4 | 75.8 |
| Listening (495) | 100 | 380 | 214.7 | 67.8 |
注. Total, Reading, Listeningは，それぞれTOEICのスコアで，( ) 内は満点。
リテリングテストの問題文は，英検2級の2次試験と同程度の難易度の問題文を，市販の問題集 (クリストファ, 2018) から選び，使用した。英検2級の2次試験の問題文 (付録1) は単語数，難易度ともに，TOEIC平均450点の大学生が一度読んだだけで十分理解できる内容であると考え使用した。表2に問題文の難易度と単語数，トピックを示す。
| Flesch Reading Ease | Flesch-Kincaid Grade level | 単語数 | 内容 |
| 62.1 | 7.5 | 60 | 新しいロボット |
テストは通常授業を行っている教室で授業時間の一部を使用して行われた。テストを始める前に，参加者に研究の意図を説明し，参加を承諾した学生は承諾書に署名をした。その後，参加者全員に問題文が紙で配布された。テストは以下の手順で行われ，手順2および3の内容は，参加者自身が自分のスマートフォンの録音機能を使って録音した。
手順2は，内容理解を確認するための質問で，参加者はテキストを見ながら解答し，参加者全員が正解した。手順3のリテリングは，元の問題文を見ずにキーワードのみ参照して問題文の内容をリテリングする (付録1, 2)。キーワードを使用して元の文章の内容を説明するように伝え，最後に自分の意見を入れるように指示した。自分の意見を入れることで，元のテキストに縛られない自由な英文を作成することができ，参加者のスピーキング力がより顕著に現れるため，本テストに取り入れた。リテリングには2分30秒という制限時間を設けたが，すべての参加者が制限時間内にリテリングを終えた。録音された音声はすべてスクリプトに起こし，スクリプトを用いて評価を行った。
4.3 評価方法リテリングの分析的評価には，複雑さ (Complexity)，流暢さ (Fluency)，正確さ (Accuracy) の3つの観点 (CAF) を用いた。表3に3つの観点とそれぞれの指標を示す。全体の1/4の評価を英語教育専攻の大学院生3名で行い，評価者間信頼性αが.80以上であったため，残りの3/4の評価を1名の評価者 (筆者) が行った。さらに，リテリングの内容については5段階のルーブリック (付録3) を用いて評価を行った。2名の英語教育専攻の大学院生で半分の評価を行い，評価が不一致であったものについては話し合い，評価を一致させた。残りの半分は1名 (筆者) で評価を行った。また，6名の実験参加者の発話内容を質的に分析し，熟達度の違いやリテリングの評価スコアの違いがリテリングの発話内容にどのような影響を与えるのかを検証した。
| 観点 | ラベル | 指標 |
| 複雑さ | C1 | Tokenの数 (全発話語数) |
| C2 | pruned tokenの数 (Tokenの数から，繰り返しやフィラー，自己訂正した語などの数を引いた数) | |
| C3 | typeの数 (発話語のうち，異なる語の総数) | |
| C4 | typeの数÷pruned tokenの数 (type-token ratio, TTR) | |
| C5 | C2÷T-unitの数 ( T-unitあたりの語彙数) | |
| 正確さ | *A1 | 全誤り数 |
| *A2 | 全誤り数÷T-unit (T-unitあたりの誤り数) | |
| 流暢さ | F1 | 音節数÷発話時間 (秒) |
| *F2 | ポーズ数÷発話時間 (分) |
注. 左上の*印は，スコアが大きいほど評価が低い指標。
表4に，リテリングの評価結果を示す。複雑さの指標である発話の平均語数がC1 (Token，全語数) で48.7，C3 (type，異なり語数)で37.7であった。また，T-unitあたりの語数 (C5) の平均値は，9.6であった。これに対しリテリングの問題文 (付録1参照) の語数は，Tokenで60，typeで50であり，また，T-unitあたりの語数は10語で，若干多いかほぼ同等であった。これは，リテリングテストが自然な発話を計測するテストではなく，あくまでも読んだ問題文の影響を受けるものであることを示唆している。正確さの指標である誤りの数の平均 (A1) は1.6個であり，T-unitあたりの誤り数 (A2) の平均は，0.3と正確な文を話しているという結果になった。これも，リテリングが直前に読んだテキストの内容を利用して発話できることが影響していると考えられる。流暢さでは，1秒あたりの音節数の平均が1.4，ポーズ数が4.4個/分で話す速度は遅めという結果になった。これらの結果をまとめると，正確な文をゆっくりと話し，使用語数は少なめであったと言える。リテリングの制限時間は2.5分 (150秒) であったが，すべての実験参加者は時間内にリテリングを終えており，発話の平均時間は，約1分 (58.4秒) であった。
| ラベル | M | SD |
| C1(token) | 48.7 | 17.2 |
| C2 (pruned token) | 46.1 | 14.6 |
| C3 (type) | 37.7 | 8.9 |
| C4 (TTR) | .8 | .1 |
| C5 (C2/T-unit数) | 9.6 | 2.4 |
| *A1(全誤り数) | 1.6 | 1.3 |
| *A2(全誤り数/T-unit数) | .3 | .3 |
| F1 (音節数/発話時間 (秒)) | 1.4 | .5 |
| *F2 (ポーズ数/発話時間 (分)) | 4.4 | 2.3 |
| 発話時間 (秒) | 58.4 | 20.4 |
| T-unit | 4.9 | 1.0 |
注. 左上の*印は，スコアが大きいほど評価が低い指標。
表5に，熟達度とリテリングの複雑さとの間の相関係数を示す。C1 (token数)，C2 (pruned token数)，C3 (type数)，C5 (C2/T-unit数) とTOEICのトータルスコア，リスニング，およびリーディングのスコアとの間に中程度の相関が見られた。C4 (TTR) は，熟達度との相関関係は見られなかったが，熟達度と負の相関関係を示した。参加者の熟達度が上がると，異なり語数が少なくなることを意味している。また，C4 (TTR) は，他の複雑さの指標である，C1～C3およびC5とも負の相関関係を示している。これは，熟達度が上がると発話量が増えるが，同じ語を繰り返し使用するためC4のスコアが下がることを示している。熟達度が低いと同じ語を繰り返すほどの発話量がないため，全発話数に占める異なり語数が多くなりC4のスコアが上がる。そのため，特に初級者では，C4 (TTR) は発話数が多くなるほどスコアが低くなる傾向にある (小泉・栗嵜, 2002)。
| total | reading | listening | C1 | C2 | C3 | C4 | C5 | ||
| 熟達度 | total | - | |||||||
| reading | .902** | - | |||||||
| listening | .882** | .592** | - | ||||||
| 複雑さ | C1 | .580** | .590** | .439** | - | ||||
| C2 | .596** | .589** | .469** | .991** | - | ||||
| C3 | .590** | .585** | .462** | .880** | .883** | - | |||
| C4 | -.229 | -.286 | -.117 | -.568** | -.568** | -.182 | - | ||
| C5 | .568** | .530** | .484** | .597** | .611** | .475* | -.581** | - |
注. *p < .05, **p < .01。熟達度はTOEICのスコア。C1 = token数，C2 = pruned token，C3 = type，C4 = TTR，C5 = T-unit当たりのpruned token数。
表6に，熟達度とリテリングの正確さとの間の相関関係を示す。正確さの指標のスコアは，数値が小さいほど正確さが高いという評価となるため，相関係数は負となったが，いずれのスコアとも有意な相関関係は見られなかった。
| total | reading | listening | A1 | A2 | ||
| 熟達度 | total | - | ||||
| reading | .902** | - | ||||
| listening | .882** | .592** | - | |||
| 正確さ | *A1 | -.177 | -.114 | -.198 | - | |
| *A2 | -.187 | -.122 | -.209 | .939** | - |
注. **p <. 01。熟達度はTOEICのスコア。左上の*印は，スコアが大きいほど評価が低い指標。A1 = 全誤り数，A2 = T-unitあたりの誤り数。
表7に，熟達度とリテリングの流暢さとの相関関係を示す。F2は，1分あたりのポーズの数で数値が大きいほど流暢さが低くなるため，相関係数がマイナスとなっている。熟達度と流暢さとの間には，有意な相関関係はなかった。
| total | reading | listening | F1 | F2 | ||
| 熟達度 | total | - | ||||
| reading | .902** | - | ||||
| listening | .882** | .592** | - | |||
| 流暢さ | F1 | .245 | .254 | .175 | - | |
| *F2 | -.021 | -.003 | -.032 | -.480* | - |
注. *p < .05, **p < .01。左上の*印は，スコアが大きいほど評価が低い指標。F1 = 音節数/発話時間 (秒)，F2 = ポーズ数/発話時間 (分)。
前節の結果から，熟達度とリテリングの複雑さが関係していることが分かったが，この節では熟達度の違いによりリテリングの内容にどのような質的な違いがあるのかを参加者の発話内容をもとに，熟達度と複雑さとの関連から分析する。この節では，ルーブリック評価も使用して分析を行うことから，まずルーブリック評価と熟達度との間の関係を表8に示す。TOEICのトータルスコア，およびリーディングとの間に中程度の相関関係が見られた。
| total | reading | listening | ルーブリック評価 | ||
| 熟達度 | total | - | |||
| reading | .902** | - | |||
| listening | .882** | .592** | - | ||
| ルーブリック評価 | .472* | .527** | .301 | - | |
表9に，発話分析を行った6名の参加者のバックグランドを示す。これらの参加者は，TOEIC Reading 最高点 (ID2)と2位 (ID7)，最低点 (ID16)，複雑さC5 (pruned token / T-unit) 最高点 (ID4) と2位 (ID23)，C5最低点 (ID11) であり，それぞれに特徴的な発話の違いがみられた。C5はT-unit当たりの発話量で複雑さを表す指標であり，発話量の指標である，C1～C3の違いでは見られない特徴があると考え，C5との関連で参加者を選んだ。
| ID | 熟達度 | 複雑さ | ルーブリック評価 | 発話時間(秒) | T-unit数 | |||||
| total (990) |
reading (495) |
listening (495) |
C1 | C2 | C3 | C5 | ||||
| 2 | 800 | 420 | 380 | 77 | 67 | 58 | 13.4 | 5 | 108 | 5 |
| 4 | 495 | 270 | 225 | 66 | 63 | 46 | 15.8 | 3 | 89 | 4 |
| 7 | 655 | 330 | 325 | 50 | 50 | 43 | 10.0 | 5 | 30 | 5 |
| 16 | 355 | 95 | 260 | 39 | 39 | 34 | 9.8 | 3 | 60 | 5 |
| 11 | 340 | 170 | 170 | 31 | 31 | 26 | 6.2 | 3 | 63 | 5 |
| 23 | 540 | 305 | 235 | 43 | 43 | 30 | 14.3 | 5 | 31 | 3 |
注. total, reading, listeningは，TOEICのスコア。( )内は，それぞれの満点。C1 = token数，C2 = pruned token，C3 = type，C5 = T-unit当たりのpruned token数。
まず，リーディングのスコアが最も高かった参加者 (ID No.2, TOEIC reading = 420点，TOEIC total = 800点) の発話内容を分析する。以下，参加者の発話内の文中の [...] は1秒以上のポーズ，太字はリテリング時に参照することのできるキーワード (付録参照) を示している。「あ」oh, uh, ahなどは，日本語/英語のフィラーである。なお，文法的な間違いは正確さの指標で評価しているが，今回，熟達度と正確さとの間に相関関係がなかったためここでは掘り下げない。そのため，各発話文の中の文法の間違いは訂正していない。また，繰り返しや自己訂正も，マーキングせずに掲載している。
ID No.2：
Most robots around the world do physical work in factories. […] But these days there are […] some, new kinds of robots […] like stuffed animals [...] They are […] elderly people enjoy talking and playing with them. In the future, these robots are become more common. [...] I think, I think it’s very good thing [...] Elderly people [...] あ It is difficult for elderly people to have new pets like a dog or cats [...]. but these robots are [...] are more easy to [...] あ but these robots [...]
No.2に特徴的なのは，発話時間が全参加者の中で一番長く (108秒)，発話量 (C1～C3) およびT-unitあたりのpruned token数 (C5) が，全参加者中ベスト1またはベスト2に入っていることである。原文の内容は，「多くのロボットは工場などで肉体労働を行っているが，近年ぬいぐるみのようなロボットが登場し，お年寄りを楽しませている。今後はそのようなロボットがより一般的になるだろう」というものであり，No.2の発話内容はこれらを含んでいる。発話時間が長いのは，発話量が多い (C1(token) = 77，C2(pruned token) = 67) こともあるが，ポーズも多く，考えながらゆっくりと話しているからだと考えられる。後半の自分の考えを述べるところでは，言いたいことが言えずフィラーを入れて何度か言い直しているが，最後は諦めて中断している。もう一つ特徴的なことは，キーワードの一つを使っていないことである。これについては，他の参加者と比較し，考察で詳しく述べる。
次に紹介するID No.4は，C5 (T-unitあたりのpruned token) のスコアが一番高かった参加者である。
ID No.4：
There are many many robots in the world. ah. They look like animals, humanoid, and so on… But in… in now…talking robot, or speaking robot… are useful for elderly people….such as in hospitals and nursing homes because for elderly people…ah… talking with cat animal robot, or animal robot… that makes, makes elderly people so happy or so fun….ah .In the future, it is. ah….it is ah… good.
この参加者のTOEIC readingスコアは270点で，平均点 (M = 233.4) に近い値であった。No.4の発話内容で特徴的なのは，原文の影響があまり見られないことである。多くの参加者が，一つ目のキーワード “physical work” を見て原文の最初の一文を思い出し，原文と似たような文を発話しているが，No. 4は，ロボットを産業ロボットだけととらえず，この世界には様々なロボットが存在すると説明した後で，現在は会話でお年寄りを楽しませてくれるロボットが存在する，と説明している。ただし，原文をそのように解釈したため，主題の一つである，これまではロボットは工場で使用されていた，というトピックが抜けており，ルーブリックによる評価は3であった。原文を読んで形成した心的表象からこのトピックが抜け，産業ロボットやその他のロボットも存在する，と解釈したと考えられる。また，この参加者も，キーワードの一つを使っていないという特徴がある。
次に，readingスコアが全参加者中2位 (330点) のNo.7の発話内容を分析する。
ID No.7：
Most robots used were physical work but these days the situation has changed. Robot that looks like animals are used in hospitals and nursing homes. Even [...]. elderly people enjoy talking and playing with cute robots. I think as it also says, more robot will become more common in the future.
この参加者は，ポーズや言い淀み，および訂正が少ないのが特徴で，流暢さの指標であるF1 (音節数÷発話時間) のスコアが参加者中最も高かった。とても早口で滑らかなスピーチである。そのため発話時間が短い (30秒)。発話内容は簡潔で，4つのキーワードをすべて使用して原文の内容をコンパクトに説明している。特に一文目は，原文の，“some robots are used differently”の部分を， “the situation has changed”のように，自分の言葉で説明している。発話量 (C1～C3) や，T-unitあたりのpruned token数 (C5) は多くはないが，スピーキング力のある参加者と言える。ルーブリック評価では，満点 (5点) であった。
次に，readingスコアが最も低かった (95点) 参加者の発話内容を紹介する。
ID No.16：
Most robots around the world do physical work in factories. But these days some robots are used differently. These robots used at hospitals and nursing homes. [...] えー，わかんない These robots make [...] elderly people happy. [...] I think this idea is good.
No. 16は全体的に発話量が少なく，原文の内容を伝えきれていない。ルーブリック評価は3点であった。発話時間は60秒と全参加者のほぼ平均であったが，非常にゆっくりと話し，途中長いポーズがあるため発話量が少ない。キーワードを一つ使っておらず，原文にある，“Such robots may be more common in the future” (将来このようなロボットが一般的になる)，という内容が含まれていない。また，発話内容が原文に忠実であり，リテリング (再話) よりもリプロダクション (再生) に近い。原文の内容は理解しているが，主題をとらえられていないか，リテリング時に過度に緊張したことが原因ではないかと考えられる。
次に，発話量 (C1～C3) は多いが，T-unitあたりのpruned token数 (C5) が少ない参加者の発話内容を分析する。
ID No. 11：
Most robots do physical work in the world. […] えRobots is different. え For example […] nn robots […] that like stuffed animals introduced eh hospital and nursing homes. And […] elderly people introduced robots is […] cute え […] Such robots […] used […] common future.
No. 11はキーワードをすべて使用しているが，原文に忠実な文を発話しており，No.16同様，リテリング (再話) ではなくリプロダクション (再生) に近い。TOEIC readingスコアは170点でTOEIC のトータルスコアは，340点であり，熟達度としては初級者レベルと言える。キーワードから原文を思い出し，記憶に頼りリプロダクションを行っていると考えられる。
最後に，TOEIC readingのスコアが高く (305点)，C5 (T-unitあたりのpruned token) のスコアも高いが，発話量 (C1～C3) は平均的な参加者の発話を分析する。
ID No. 23：
Originally most robots around the world do physical work in the factory. These days some kind of robots are used to make elderly people happy in the hospitals and nursing homes. […] In the future, many kinds of robots are used around the world.
No. 23に特徴的なのは，文の数が少ない (3文) が，一文に含まれる語数が多いので，より複雑さ (C5 = 14.3，ベスト2) が高いと評価される文を話している点である。キーワードをすべて用い，原文の内容を簡潔に自分の言葉で伝えている。少ない文，少ない語数で，効率的にリテリングをしていると言える。ルーブリック評価は満点 (5点) であった。
本研究のRQ1は，「英語熟達度の違いにより，リテリングの複雑さ，正確さ，流暢さに違いがあるか」であった。TOEICスコアとリテリングパフォーマンスの複雑さ，正確さ，流暢さとの相関関係を調べたところ，複雑さの4つの指標 (C1 = token数，C2 = pruned token数，C3 = type数，およびC5 = T-unitあたりのpruned token数) との間に中程度の相関関係があった。TOEICスコアは，リーディングとリスニングそれぞれの相関分析を行ったが，両方とも中程度の相関関係があり，リーディングスコアとの相関係数 (r = .590, r = .589, r = .585, r = .530) の方が，リスニングスコアとの相関係数 (r = .439, r = .469, r = .462, r = .484) よりも大きかった。正確さ，流暢さとの間には，有意な相関関係はなかった。この結果から，RQ1に対しては，大学生の英語学習者は，英語熟達度の違いによりリテリングの複雑さに違いがあると言える。具体的には，英語熟達度の高い参加者は，リテリングにおける発話語数 (C1～C3)と，T-unitあたりの発話数 (C5) が多かった。先述したように，リテリングテストをスピーキングテストとして使用する場合，結果には様々な制約が含まれていることを考慮しなければならない。直前に読んだ英文について，英語で説明することから，読んだ英文を使って話す内容を組み立てることができたり (Yokouchi, 2013)，記憶力に頼り，自分で英文を組み立てずに，覚えている文やフレーズをそのまま用いることも可能である (Hirai & Koizumi, 2009; 佐々木, 2020)。また，これはRQ2の考察で詳しく述べるが，リーディング文の読みの深さや，原文テキストの内容 (長いフレーズがあればそれを覚えて利用できるなど)，心的表象で要点をとらえられたかどうかによって，リテリングの内容に違いが出てくるため，この複雑さは，リテリングにおける複雑さであり，真のスピーキング能力とは異なる能力であると言える。
本研究のRQ2は，「英語熟達度は，リテリングの発話の内容にどのような影響をおよぼすのか」であった。ルーブリック評価とTOEICとの相関分析では，リーディングのスコアとルーブリック評価との間に中程度の相関関係があり，リーディング力のある参加者は，原文の主題や要点をとらえ，キーワードをもとに一貫した内容の文を再生できていた。また，本研究では，6名の実験参加者の発話内容を質的に分析した。TOEICのリーディングのスコアが全参加者の中で一番高かった参加者 (No. 2，reading = 420点，TOEIC total = 800点) は，発話量が多く，ゆっくりと話し，フィラーや訂正数が多く，キーワードを一つ使用していなかったが，原文の重要な情報はすべて含まれていた。キーワードを使用しなかった実験参加者は，その他，No. 4 (reading = 270点 TOEIC total = 495点) とNo.16 (reading = 95点，TOEIC total = 335点) であったが，No. 2がキーワードを使用していない理由と，No. 4とNo.16が使用していない理由は異なると考えられる。No. 2は，原文の情報が発話内容にすべて含まれていた。一方で，No. 4とNo.16は，キーワードの使用ができなかったために，一つの重要な情報を伝えることができていない。本実験のリテリングの手順の説明では，キーワードを使用して元の文の内容を英語で説明するように指示したが，キーワードは必ず使用しなければならない，という指示は出していない。しかし，多くの参加者は，元の文が見られなくなりキーワードを頼りにリテリングしなければいけないため，キーワードから元の文を思い出し，英文を作成あるいはリプロデュースしていた。No. 2は，“hospitals and nursing homes” というキーワードを使用しなかったが，本文の内容は，「多くのロボットは工場などで肉体労働を行っているが，近年ぬいぐるみのようなロボットが登場し，お年寄りを楽しませている。今後はそのようなロボットがより一般的になるだろう」ということであり，“hospitals and nursing homes” (病院や老人ホーム) という語は，メインの情報ではなく細かい情報であり，無くても支障はない。しかし，No. 4は，“physical work” というキーワードを使用しなかったために，要点の一つである，「現在は多くのロボットが工場で肉体労働を行っている」という内容が抜けてしまった。一方で，No. 16は，“future” というキーワードを使用せず，この文の要点の一つである，「将来はこのようなロボットがより一般的になる」という内容を伝えることができなかった。Ushiro et al. (2007) は，リーディングの読解力を筆記再生で調べた結果，手がかりを与えるよりも，与えないで自由に再生させた方が再生率がよかったと報告している。また，卯城 (2009) によると，筆記再生では，記憶の影響がないとは言えないが，リーディングにより形成された心的表象の影響の方が記憶の影響よりも大きいという。これらのことから，No. 2は，原文の読解において形成された心的表象に重要な点がすべて含まれていたため，キーワードを使用せずとも正しい情報を伝えられたのではないか。そして，No. 2よりも熟達度の低いNo. 4, No.16は形成された心的表象に含まれていない要点があったか，記憶に頼ってリテリングし，キーワードを入れ忘れた結果，重要な情報を伝えられなかったと考えられる。
No. 7 (reading = 330点，TOEIC total = 655点) は，発話量 (C1～C3) が中程度であったが，流暢さのスコアが高く，ポーズや言い淀みのない，滑らかなスピーチが特徴的であった。発話内容も簡潔で，4つのキーワードをすべて使用して原文の内容をコンパクトに説明できていた。ルーブリックの評価は満点であった。
No. 17 (reading = 230点，TOEIC total = 330点) は，原文に忠実な文を発話しており，発話内容はリテリングではなくリプロダクションに近かった。この参加者はTOEIC トータルスコアが330点で熟達度としては初級者レベルと言える。原文の内容を理解しているが，主題をとらえられておらず，記憶に頼りリプロダクションを行ったと考えられる。
これら6名の熟達度と発話内容の分析から，リーディングのスコアの高い参加者は，原文の主題をきちんととらえ，キーワードをもとにリテリングができていることがわかる。キーワードを入れ忘れても，熟達度の高い参加者は主題や要点を余すところなく伝えているが，熟達度の低い参加者は，キーワードを入れ忘れたために伝えられない要点があった。また，ルーブリック評価と熟達度には中程度 (r = .527) の相関があり，リテリングが読んだテキストの理解をもとに行われる活動であり，リーディング力が関係していることがわかった。今回使用したような，難易度が低く，短い英文であっても，リーディング力の高い学習者は，心的表象で要点をとらえ，記憶に頼らずにリテリングができていた。リテリングは，過去に見たり読んだりしたものを相手に伝えるという，普段の生活の中で日常的に行われる言語活動であり (卯城, 2009)，この言語活動の力を伸ばすためには，見たり読んだりしたものの要点をしっかりととらえることが一つの重要な点であるといえるのではないだろうか。本研究では，リテリング活動が，要点をとらえるリーディング能力と，それを自分の言葉で表現するスピーキング能力の両方を伸ばせる統合的タスクとして，限られた授業時間の中でも十分将来性を持つ活動であることが示されたと思う。
本研究では，まず大学生のリテリングの内容を分析的に評価し，TOEICのリーディングおよびリスニングのスコアと比較し，英語熟達度とリテリングとの相関関係を明らかにした。参加者23名の熟達度とリテリングの結果を分析的に評価した結果，熟達度と複雑さとの間に相関関係があることが示された。熟達度の高い参加者は，全体的な発話量およびT-unitあたりの発話量が多く，複雑な文を話している。また，正確さ，流暢さとの間に相関関係はなかったが，リテリングでは，直前に読んだ文章を利用して発話することができるため，全体的に間違いは少ない文を話しており，正確さの評価は高く，熟達度による違いが出なかったためではないかと考えられる。流暢さについては，正確さと比べると，リテリングの影響があまり出ないと考えられる指標であり，TOEICで測定する熟達度との関係は見られなかった。また，6名の参加者の発話内容を質的に分析した結果，熟達度が高く発話量が多い参加者は，問題文を読んで形成した心的表象に主要な点がすべてふくまれており，それらを自分の言葉でリテリングできていたが，熟達度が低く発話量の少ない参加者は，問題文をリテリング (再話) するのではなく，キーワードをもとに，問題文を思い出し，リプロダクション (再生) していた。また，熟達度は高いのに発話量が少ない参加者は，原文の重要な情報を自分の言葉で簡潔にリテリングできていた。この参加者のルーブリックの評価は満点で，発話量だけではリテリングの評価は不十分であることが示唆された。
本研究の限界点は，リテリングの問題文の長さと難易度である。本研究で用いた問題文は，60ワードで，Flesch-Kincaid Grade Levelは7.5と，大学生にとっては比較的容易な文であったと言える。短く，単語やフレーズも容易に理解できたために，文全体を暗記できた可能性があり，熟達度の低い参加者は，内容ではなく，文章の記憶に頼ってしまったのかもしれない。難易度を上げずにキーワードから離れた細部情報を含んだ文を使用したり，参加者のリテリング能力を引き出すための適切な難易度を検討して検証を行う必要がある。
本研究を進めるにあたり，筑波大学の平井明代教授には多くの助言をいただき心から感謝を申し上げます。また，同研究室の大学院生，学部生にも多くのアドバイスをいただき，厚くお礼を申し上げます。最後に，ご指導をいただきました査読委員の先生方に深く感謝を申し上げます。
