プロンプトエンジニアリングによる要約とペルソナを利用した教育コンテンツ作成評価―組織運用における規格理解を対象とした達成感測定―

Abstract

組織においてAIの導入の関心が高まり，対話のように自然言語で指示を行えるプロンプトの効果的な利用は，教育コンテンツの作成と評価においても有効な手段と考えられる．組織運用における標準化されたマネジメントでは，きちんとした規格理解とその教育が求められる．そこで規格理解を対象として，プロンプトによる要約とペルソナを活用した教育コンテンツの作成評価方法を提案し，教育効果への考察を行う．規格文章の理解に必要な要約文章と理解度テストを作成し，要約の有用性を確認する．評価では，達成感の要因に着目し，学習者像として特定のペルソナを想定して達成感と要因を数値として導く．達成感の度合い算出方法として，2つの要因からのファジィ推論を定義し，各ペルソナに対する度合いを比較する．要約の達成感への影響を数値化することにより，どのような学習者に対して有効かを確認できるようになる．プロンプトエンジニアリングによる教育支援に寄与し，教育コンテンツにおける要約の有効性と個別最適化の蓋然性が高まる．

1　  はじめに

現代の組織運用において，セキュリティやサービスの管理は重要であり，その教育も含め，効率よく効果的に取り組むことが求められている．ISMS（情報セキュリティマネジメントシステム）^[1]やITSMS（IT サービスマネジメントシステム）^{[2, 3]}など，国際的に標準化されたマネジメントが注目されるようになり，規格要求事項の中でもきちんとした教育を行うことが求められている．一方，組織運用や業務効率化に対するAI の導入も関心が高まり，実際にAI を導入してサービスを提供する組織も増え，ChatGPT^[4]などの大規模言語モデルの活用は急速に浸透してきている．言語モデルに指示を与える方法として，プロンプトと呼ばれるものがあり，日常の対話のように自然言語の文章の形式で指示を入力として与えることができる．プロンプトを効果的に設計することや最適化することは，プロンプトエンジニアリングと呼ばれ，研究分野としても注目されており^[5–7]，教育コンテンツの作成と評価への利用も考えられる^{[8, 9]}．こうしたAIを活用した教育への応用は，今後も注目度が増していくものと考えられ，より有効な教育支援の可能性を示せれば，教材の質向上と効率的な教育への架け橋となり得る．

教育において，学習者が達成感を得ることは，学習意欲の向上と苦手意識の軽減に結びつくと考えられるが，達成感の明確な測定方法が確立されているわけではない．そのため，達成感の測定方法を定め，それを考慮した教育は，有効な教育方法の1つとなり得る．マネジメントシステム運用における教育も含め，達成感は成長の源となる貴重な要因となる．教育効果を高めるためには，内容や意図などがすぐに把握できるように，理解のしやすい文章を教育で用いることが考えられ，理解しやすい文章は達成感の向上につながる可能性もある．そのため，文章量が多く理解が難しい場合には，文章量を減らし理解しやすいように要約できれば，教育効果と達成感が向上する可能性が生まれる．しかしながら，要約がどのような学習者に有用であるかを，その都度実際の学習者に読んでもらい確認するような方法は手間もかかり，明確な基準があるわけではない．特にマネジメントシステム運用における教育では，規格の理解が求められ，マネジメントシステムの規格で定められている用語や意味をきちんと把握する必要がある．ゆえに要約する際には用語や意味が変わらないように注意しなければならない^[10]．したがって，適切な要約を行い，その要約文章が学習者の達成感にどの程度の影響があるかを把握することが重要となってくる．教育コンテンツ作成時点でそれが確認できれば，要約文章を活用するための有用な指針となり，要約文章を教育に導入しやすくなる．

組織運用においては，組織がマネジメントシステムの認証を取得することの重要性や価値が増してきている．企業だけでなく大学でも認証を得るようになってきているが，認証を取得するためには，規格全体を把握し，要求事項を理解して組織全体で取り組む必要がある．マネジメントシステムの導入や運用には，規格書や関連文書の理解が不可欠となる．また，規格に則って体制を整え，管理規定や手順書などの文章を認証取得のために作成することになるが，作成者以外の組織構成員もそれらを理解する必要がある．しかしながら，内容が難しく文章量が多くなると，理解が難しいことがある．長文や難しい用語を利用している場合には内容の理解に時間がかかることも考えられる．マネジメントシステム運用の中では，関わる構成員に必要な能力を定め，その能力を確実に身につける適切な教育が求められる．したがって，効率的かつ効果的にマネジメントシステム運用における教育を行っていかなければならない．

本研究では，マネジメントシステムに関する教育を対象に，言語モデルに対するプロンプトを利用した要約とペルソナを利用した達成感の測定を取り入れ，マネジメントシステムの導入や運用に役立つ教育コンテンツ作成評価方法を提案する．マネジメントシステムの認証取得に必要な規格理解のために，規格に関する文書を例に言語モデルを用いてプロンプトによる要約を行い，さらに言語モデルのプロンプトによるペルソナを利用することで要約した文章の評価を行う．言語モデルはChatGPT-4o^[4]を使用する．ペルソナとは，実在の人物のように認識される架空の人物像のことであり，ターゲット像やユーザモデルとして意思決定や開発などで用いられる^{[11, 12]}．評価では，要約によりどの程度の達成感に関する変化があったかを比較し，教育効果を考察する．達成感の測定方法は，ファジィ推論^{[13, 14]}を用いて独自に定義し，教育のための測定を行っていく．結果として，要約した文章がどのような学習者に有効であるかを，実際の学習者に提示する前に提言することができるようになる．本手法により，理解度の向上と短時間での理解，新しい教育リソース構築の実現の可能性がある．また，他の分野の教育においても有効な手法となり得ることが考えられる．

2　  達成感の測定方法

達成感の測定は，要因を定め，ファジィ推論により行う．以下，達成感の要因とファジィ推論による測定方法について述べる．

2.1  達成感の要因

教育において，理解と学習意欲を向上させることは重要な課題である．それらの向上のため，個々の理解状況に応じて，演習課題を出題し，達成度合いと学習意欲の変化に基づいて教育を行うシステムが提案されている^[15]．演習課題の達成度の数値化が行われており，学習者の得点と学習意欲に関する自己評価などを基にして，適した難易度の演習課題を出題するシステムとなっている．プログラミング教育を対象としており，学習意欲の向上が結果として見られ，学習継続率の向上につながったことが報告されている．問題が解けたときには大きな達成感が得られるように設計されており，やりがいや充足感などが達成感と関係があると示唆されている．

小学校の総合的な学習の時間において，達成感に影響を及ぼす要因を調査した研究もなされている^[16]．教師が児童に対して適切な助言や学習支援を行うことが達成感を高め，また，児童の協調性や統制性を養うことが総合学習の達成感を高めることが述べられてる．達成感がどのような要因やパーソナリティ特性によって影響を受けているかの議論がなされている．

デジタルゲームにおける難易度と達成感の関係性に関する研究では，ゲームデザインへの応用についての考察もなされている^[17]．達成感を，目的を成就した時に感動する心の様態として捉えており，ライトユーザ向けには試行回数 3 回で成功させる難易度が望ましいことや，コアユーザでは成功が義務となり苦痛を感じて達成感が失われることなどが示唆されている．教育においても，教育デザインを行う際に達成感の関係性を考慮することで，教育効果が向上する可能性が考えられる．

本研究では，達成感の要因となる感情の度合いから，ファジィ推論^{[13, 14]}により達成感を数値化する．図1に本研究で考える達成感の要因を示す．これら29個の要因は，達成感に関する参考文献^[15–22]を参考に独自に考えたものである．それぞれの項目に対し，説明を記述しており，後述する評価において達成感を求める際に，図1に示した内容をプロンプトに含める．

図1　 達成感の要因

図1に示した29個の要因は，各参考文献における達成感についての記述から選定しており，複数の要因が各参考文献において達成感と関係があることが窺える．それらの一部を示すと，参考文献^[15]では，学習者に適切な課題掲示を行い，解けたときに大きな達成感が味わえるようにしており，要因1（満足感），要因3（やりがい）要因11（自己成長の実感）などが達成感に関係していることが考えられる．参考文献^[16]では，支援の適切性や情報収集への能動性が達成感と関係があることが述べられており，要因10（明確な目標の設定），要因13（主体），要因17（負荷の大きさ）などが達成感に関係があることがわかる．参考文献^[17]においては，プレイヤーの目標となる課題の難易度が高いほど成功時に大きな達成感が得れれると報告されており，要因5（努力），要因6（苦労），要因16（悔しさ），要因21（難題の解決）などが要因になっていることが窺える．参考文献^[18]は，仕事での達成感が必要な理由や醸成するポイントが記述されており，チームでの取り組みについて述べられている．要因2（高揚感），要因7（自己肯定感），要因8（リスクやコスト），要因12（一定のストレスや忍耐），要因18（自分と関わった人の成功），要因23（感謝）などとの関係性が見られる．参考文献^[19]は，組織や仕事に対して自発的に貢献意欲をもって主体的に取り組む心理状態にとって，達成感が重要であることが述べられている．その中では，要因4（時間），要因14（喜び），要因15（感動）なども要因として考えることができる．参考文献^[20]では，達成感の必要性と得るための方法について記述されており，要因9（充足感）も関係していることが窺える．参考文献^[21]の記述では，子どもの達成感について述べられており，要因20（新しいスキルの取得），要因24（自己ベストを更新したとき），要因25（好成績を収めたとき）が達成感に関係していると考えられる．参考文献^[22]では，仕事での達成感についての調査結果が示されており，要因19（計画通りに進めることができたとき），要因26（誇り），要因27（安心），要因28（開放）との関係性も窺える．参考文献^[23]においては，幸福と感じるときの文化比較が行われており，要因22（幸福感）は達成感に関係のある要因と考えることができる．参考文献^[24]においては，懐かしさの感情体験についての変化の研究がなされており，要因29（懐かしさ）が達成感の要因となり得ることが窺える．

2.2  ファジィ推論による測定

ファジィ推論は，ファジィ集合の概念を基にして人間社会のあいまいな推論に応用される．ファジィ推論の方法としては，参考文献^[13]において直接法と呼ばれている方法を用いる．図1で示した各要因に対する度合いは，メンバーシップ関数と呼ばれる関数を用いて数量化する．そして，ファジィ推論により，それぞれの要因のメンバーシップ関数から，達成感に関する推論結果をファジィ集合として得る．

各要因に対し，要因の度合いは「低い」，「普通」，「高い」としてメンバーシップ関数で数値化する．メンバーシップ関数には，ファジィ理論の応用で頻繁に用いられる三角型メンバーシップ関数を用いる．各要因は0%から100%の割合で表現することにし，0から1の実数値に対応する．図2に満足感（要因1）のメンバーシップ関数を示す．青色の線は満足感が「低い」，緑色の線は満足感が「普通」，赤色の線は満足感が「高い」のメンバーシップ関数を表している．満足感の割合を横軸，満足感の程度の度合いを縦軸で示している．例えば，満足感の度合いが80%（0.8）であれば，満足感が「低い」の度合いは0，「普通」の度合いは0.4，「高い」の度合いは0.6となる．達成感は2つの要因AとBからファジィ推論で求めることにする．要因Aと要因Bは，要因1から要因29のいずれかになる．2つ要因を対象とすることで，推論規則が複雑にならず，簡潔に記述しやすくなる．また，複数の2つの要因の関係性を見ることで，3つ以上の要因も考察できるため，本研究では2つの要因を対象として達成感を求めることにした．各要因の度合いのメンバーシップ関数を図2のようにした理由についても，簡潔でわかりやすさがあるからである．3段階で度合いを示す場合，図2で示した形のように度合いの範囲の中央の値を中間の度合いとして捉え，その範囲内の三角形メンバーシップ関数を用いると妥当な結果を得ることができる一定の成果が報告されている．参考文献^[14]では，作品評価や学習感情分析において図2で示した形のメンバーシップ関数が用いられており，参考文献^[25]においては，CT画像診断におけるメンバーシップ関数として同様の形のメンバーシップ関数が利用されている．

図2　 満足感（要因1）のメンバーシップ関数

推論規則については，2つの要因を組み合わせた9通りとし，直感的な判断に基づく簡易モデルとして，以下のとおり定義した．

1. 要因Aの割合が高く，要因Bの割合が高いならば，達成感は高い．

2. 要因Aの割合が高く，要因Bの割合が普通ならば，達成感は普通．

3. 要因Aの割合が普通，要因Bの割合が高いならば，達成感は普通．

4. 要因Aの割合が普通，要因Bの割合が普通ならば，達成感は普通．

5. 要因Aの割合が低い，要因Bの割合が普通ならば，達成感は低い．

6. 要因Aの割合が普通，要因Bの割合が低いならば，達成感は低い．

7. 要因Aの割合が低い，要因Bの割合が低いならば，達成感は低い．

8. 要因Aの割合が高い，要因Bの割合が低いならば，達成感は普通．

9. 要因Aの割合が低い，要因Bの割合が高いならば，達成感は普通．

これらの規則に基づき，ファジィ推論を行うと，推論結果としてファジィ集合が得られる．得られたファジィ推論結果から，重心法を用いることで達成感の値が求まる．そして，図3に示すように，達成感についても，要因と同様に度合いを「低い」，「普通」，「高い」としてメンバーシップ関数で数値化する．例えば，要因Aの割合が80%，要因Bの割合が70%であったとすると，ファジィ推論により達成感の値は，0.710と求めることができる．図3の点線で示した部分の値なので，達成感が「高い」の度合いは0.42，達成感が「普通」の度合いは0.58，達成感が「低い」の度合いは0.0と求められ，達成感が「普通」に属する度合いが一番高い値となる．

図3　 達成感のメンバーシップ関数

以上のように定義すると，2つの要因の度合いから達成感を数値で導き出せる．本研究では，言語モデルによるペルソナに対し，前述した定義に基づき達成感を数値化して，要約された文章に対して達成感の要因と達成感がどのように変化したかを確認する．その結果から教育効果への考察を行う．

3　  プロンプトによる要約・ペルソナ・理解度テスト

マネジメントシステムの規格関連文章の理解を支援するためにその文章を言語モデルで要約する場合，単純な要約指示のプロンプトでは，単語の使い方などが適切でなく，規格文章の解釈が異なってしまうように要約されることがある^[10]．そのため，内容が正しく要約されるような指示もプロンプトで与える．要約度合いについては，50%，30%，10%を指定し，要約していない文章を含めた4種類の文章を用いる．そして，要約された文章がどのような学習者に有効かを評価するため，プロンプトを用いて学習者のペルソナを作成し，文章を読ませる．学習者であるペルソナに対しコンテンツが有効かどうかの評価を行うことで，実際の学習者に対して教育を行わなくても，コンテンツの特徴や妥当性を確認することが可能となる．また，学習者に対する理解度テストもプロンプトで作成し，学習者の理解度の確認だけでなく，正しい要約と正しい理解が得られているかを確認するためにも利用する．

要約を行うためのプロンプトの例を図4に示す．規格関連文章の内容を記述した後に，図4で示したプロンプトを記述することで要約を行うことができる．この例では，50%程度の要約を指示しているが，30%と10%についても同様に指示することで要約する．要約の対象となる規格関連文章として，本研究ではITSMSの要求事項^[3]の8章の一部を用い，要約前文章と各要約文章に対する評価の比較を行う．

図4　 要約のためのプロンプトの例

学習者となるペルソナの作成では，要約を用いた教育コンテンツの有効性に影響が大きいと思われる読書の頻度に着目した．本研究では，読書の頻度が多ければ文章を読み慣れており，要約することで文章を読み慣れていない人でもポイントを押さえて理解しやすくなる可能性があると考えた．読書の頻度に着目した理由は，読書習慣が文章を読んで内容を理解し，解釈する能力を高めることが読書に関する研究で示されているからである^[26]．読書は様々な良い影響を与える活動といわれており，文章理解力を高める効果があり．読書習慣が文章理解力と相関関係があることが報告されている．組織運用における規格理解は，業務内容や業務経験を問わず組織に属しているもの全員が必要な知識であり，組織として適切な教育が必要になってくる．また，AIリテラシーを身につけることも近年求められるようになってきている．そのような時代において，読書は重要な要素となっていることも議論されていることから^[27]，読書習慣に違いのあるペルソナを対象とした．読書に関して違いのある学習者を想定し，図5に示したプロンプトにより，3人のペルソナを作成した．作成されたペルソナは，図6のとおりである．このように言語モデルを用いると，容易に想定したペルソナを作成できる．そして，ペルソナを用いることで年齢や職業など様々な場合を想定して達成感の出力や評価ができるようになる．

図5　 ペルソナ作成のためのプロンプトの例

図6　 作成されたペルソナ

理解度テストの作成では，対象となる文章を最初に記述し，図7で示したプロンプトをその後に追記することで作成した．また，理解度テストへの解答は，ペルソナの記述後に図8で示したプロンプトを追記して解答させた．図9に作成した理解度テストとそれに対するペルソナの解答例を示す．要約した文章を読み，要約前に作成した理解度テストに正解できれば，要約した文章は理解のために必要な記述がなされていると考えられる．これは要約が適切になされているかの指標となり得る．質問を自動的に生成することによる要約の評価尺度としてQAGS^[28]があり，QAGSでは質問に対する回答結果を比較して評価を行っている．その結果，人による要約の良さに近い指標を得られることが示されており，答えた内容の妥当性を比較することで要約の評価となることが報告されている．同様の考え方の基に理解度テストに答えた内容が正解であれば適切な要約になると考えることができるので，理解度テストをプロンプトにより作成して要約の妥当性の判断に用いた．本研究では，要約前の文章から理解度テストを作成し，要約前の文章と50%，30%，10%にそれぞれ要約した文章をペルソナ1（高橋蓮），ペルソナ2（中村彩），ペルソナ3（佐藤翔太）に読んでもらい解答結果を確認した．その結果，どの文章とどのペルソナにおいても正解の解答が得られた．

図7　 理解度テストを作成するためのプロンプト

図8　 理解度テストに解答させるためのプロンプト

図9　 理解度テストに対するペルソナの解答例

4　  ペルソナによる要約文章の評価結果

ペルソナによる要約文章の評価は，3つのプロンプトを用い，出力結果を集約して行う．ここでは，評価に用いたプロンプトとその出力を集約して評価した結果について述べる．

4.1  評価に用いるプロンプト

要約文章に対する評価では，以下の3つのプロンプトにより，文章を読んだ時のそれぞれの感情から要因と考えられる感情の度合いを100%中いくつであるかを出力する．それらの中から2つを選択することで，ファジィ推論により達成感の度合いを求める．

1. 文章を読んだ時の感情を出力するプロンプト（図10に例を示す）

図10　 文章を読んだ時の感情出力のプロンプトの例

2. 達成感の要因を抽出するプロンプト（図11に例を示す）

図11　 達成感の要因を抽出するプロンプトの例

3. 要因の度合いを出力するプロンプト（図12に例を示す）

図12　 要因の度合いを出力するプロンプトの例

図10に示したように，文章を読んだ時の感情を出力するプロンプトでは，読む文章の記述の後に，ペルソナの感情を出力する内容を記述している．図11は，達成感の要因を抽出するプロンプトであり，達成感の要因に関する情報を与えた後に，それらの中から抽出するようにしている．図12は，要因の度合いを出力するプロンプトであり，図11で示した要因抽出後にそれぞれの度合いを割合で出力できる．

それぞれのプロンプトの出力結果の例を，図13，図14，図15に示す．例では，ペルソナ（高橋蓮）が約10%に要約した文章を読んだ時の要因の度合いを出力している．

図13　 感情出力のプロンプトの出力例

図14　 要因を抽出するプロンプトの出力例

図15　 要因の度合いを出力するプロンプトの出力例

要約した文章を読んだ時の要因の度合いを出力できたので，それらの中から2つを選択し，ファジィ推論による達成感の度合いが算出可能となる．例えば，図15の結果から満足感と充足感の2つの要因を選択する場合，図15より，満足感は90%，充足感は90%なので，ファジィ推論の結果として達成感の値が0.879となり，達成感が「高い」の度合いは0.758，達成感が「普通」の度合いは0.242，達成感が低いの度合いは0.0となる．したがって，ペルソナ1（高橋蓮）の達成感が数値で評価でき，得られた値により達成感が高いと判断できる．

4.2  プロンプトによる出力の集約と評価結果

プロンプトを利用する場合に注意しなければいけないこととして，プロンプトエンジニアリングにおいて，プロンプトにより出力される結果が毎回同じになるとは限らないことである．また，どの要因から達成感を求めることが適切かも考える必要がある．そこで，ペルソナ1（高橋蓮），ペルソナ2（中村彩），ペルソナ3（佐藤翔太）のそれぞれに対して，前述したプロンプトによる達成感に関する各要因の度合いの出力を10回行った．そして，共通して出力される要因に注目して集計し，要約による変化を把握しやすくするために表1のように結果をまとめた．要因1から要因29は，図1の各要因の番号に対応している．

表1　各要因に対する度合いの変化

ペルソナ	高橋蓮				中村彩				佐藤翔太
圧縮率	-	50%	30%	10%	-	50%	30%	10%	-	50%	30%	10%
文字数	2649	766.7	600.8	402.2	2649	766.7	600.8	402.2	2649	766.7	600.8	402.2
要因1	85.50	+1.00	−2.50	+1.50	65.71	+3.66	+8.29	+9.29	42.50	−8.75	−10.83	+2.50
要因2	78.13	+0.76	−5.35	+4.02	-	-	-	-	-	-	-	-
要因3	81.50	+1.83	−4.00	−2.50	60.00	+4.00	0.00	+2.50	55.00	−5.00	−40.00	-
要因4	-	-	-	-	68.00	−9.67	−28.00	+17.00	78.33	−9.58	−19.33	−23.33
要因5	70.00	-	-	-	71.88	−7.71	−11.88	−21.88	76.67	−1.04	−12.92	−6.67
要因6	-	-	-	-	77.50	−15.00	-	-	82.50	−0.50	−8.50	−6.39
要因7	86.25	−8.75	+3.75	−6.25	-	-	-	-	60.00	−20.00	−20.00	−28.33
要因8	-	-	-	-	-	-	-	-	-	-	-	-
要因9	85.00	−2.75	−6.00	+0.38	61.88	+0.90	+5.90	+10.35	30.00	+16.67	-	+25.00
要因10	-	-	-	-	-	-	-	-	-	-	-	-
要因11	82.78	−2.78	+0.52	−6.28	56.67	+4.44	+5.83	−0.42	50.63	−2.29	−13.96	−10.00
要因12	-	-	-	-	68.00	−16.75	−15.50	−19.67	78.89	+4.44	−8.89	+0.11
要因13	80.00	−10.00	-	-	67.50	-	-	-	-	-	-	-
要因14	71.67	−6.67	+1.67	−1.67	49.00	−0.25	+13.50	+16.00	52.50	-	-	+2.50
要因15	57.00	−7.00	−7.00	-	-	-	-	-	-	-	-	-
要因16	-	-	-	-	-	-	-	-	70.00	-	−15.00	−20.00
要因17	60.00	-	-	−30.00	60.00	−10.00	−20.00	−10.00	78.33	−0.83	−11.19	−6.67
要因18	50.00	-	-	-	-	-	-	-	-	-	-	-
要因19	73.00	+0.33	+8.25	+4.22	50.83	+17.17	+15.17	+26.67	40.00	−12.50	-	-
要因20	74.38	−4.88	−0.49	−4.71	46.88	+7.29	+6.88	+17.13	35.00	−5.00	-	−25.00
要因21	70.00	−3.13	−0.29	−5.00	51.25	−6.25	-	-	54.38	−11.25	−10.63	−18.38
要因22	-	-	-	-	45.00	-	-	-	-	-	-	-
要因23	50.00	-	-	-	75.00	-	-	+5.00	30.00	-	-	-
要因24	75.00	−5.00	-	-	-	-	-	-	-	-	-	-
要因25	-	-	-	-	-	-	-	-	-	-	-	-
要因26	78.75	−4.46	0.00	+0.25	60.00	-	-	-	-	-	-	-
要因27	73.33	-	-	−23.33	57.00	+7.00	+14.67	+18.56	50.00	−2.00	−8.33	−6.25
要因28	61.67	-	-	-	-	-	-	-	90.00	−35.00	-	-
要因29	-	-	-	-	-	-	-	-	-	-	-	-

表1は，各ペルソナに対し，要約前の文章と50%，30%，10%に要約した文章の計4種類の文章を読んでもらい，要因となる感情の度合いを出力し，各文章ごとに10回実施した結果を平均したものである．要約を行うプロンプトも10回実施したので，要約前の文章の文字数は変わらないが，要約された文章の文字数は，その都度異なるので，それらの平均の文字数を示している．表中の圧縮率は，プロンプトに指示した要約度合いを表している．プロンプトによる要約では，指示した要約度合いにちょうど適合するように要約されるとは限らないので，指示内容と実際の文字数には差異が生じる．要約の度合いを指定して指示すると，より文字数が少なく要約されることが結果からわかる．これらの要約結果を用いて，各ペルソナの要因に関する結果をまとめた表となっている．

各ペルソナの要因に対する結果の数字の意味は，10回の平均値の数値を用いて計算したものであるが，要約前の文章と要約後の文章で異なっている．要約前の文章は，要因を示す感情をそのままパーセンテージ（%）で示したものである．要約後の文章では，要約前の文章の割合に対して，どの程度の差があったかをプラスとマイナスで示している．例えば，要因9（充足感）に関するペルソナ3（佐藤翔太）の結果を見ると，要約前は30.00%となっている．10%の要約文章に対しては，+25.00となっており，これは，要約前から25.00%上昇したことを示しており，実際の値は55.00%となる．もしマイナスであれば数値が下降したことになる．このように要約前からどのくらいの変化があったかを表で示すことで捉えやすくしている．数値が記入されていない部分は，要約前の文章では，出力されなかったことを示している．要約後の文章では，要約前の文章に対する値の出力がないか，要約前の出力の値があったとしても，その要因に対する値の出力がなかったことを示している．

達成感は，これらの中から2つの要因を選択することで数値化することができる．本研究の定義では，どの要因を選択するかで達成感は変化するので，注目すべき要因を選択し，数値の変化と考察を行う．どの文章でも共通して表出されている要因があると，共通の要素での比較が行いやすいので，それを選択の方針とした．また，それぞれのペルソナで数値の変化が大きい要因も，注目すべき要因と考えられるので，ある程度共通して表出されている要因の中から特徴的な感情に注目することにした．要因1（満足感）と要因11（自己成長の実感）は，すべての文章とペルソナにおいて結果が示されている．要因3（やりがい），要因9（充足感），要因20（新しいスキルの取得）は，ペルソナ3（佐藤翔太）の30%もしくは10%要約の場合の結果が示されていないが，それ以外のすべてで結果が示されている要因である．以上のことから，これら5つの要因に注目することにした．表1では，5つの注目した要因をわかりやすくするため薄い赤色で色付けし，文字を太字としている．

注目した要因の中でも要因9（充足感）は，ペルソナ3（佐藤翔太）において要約10%で+25.00%と最も大きいプラスの値となっており，度合いが増した要因となる．対して，要因3（やりがい）は，ペルソナ3（佐藤翔太）において要約30%で−40.00%と最も大きなマイナスが確認でき，度合いが減少している．同様に，ペルソナ2（中村彩）においても5つの要因の中で変化が大きいものを確認すると，要因20（新しいスキルの取得）において要約10%で+17.13%となっており，最も大きいプラスの値となっている．最も大きなマイナスの値は，要因11（自己成長の実感）の要約10%で−0.42%であり，マイナスの変化は少なく，その値も大きくない結果となった．ペルソナ1（高橋蓮）では，要因3（やりがい）において，最も大きいプラスの値として要約50%で+1.83%が確認できる．最も大きいマイナスの値は，要因11（自己成長の実感）の要約10%で−6.28%となる．注目した要因全体を見ると，ペルソナ1（高橋蓮）は他のペルソナに比べ，変化が小さいものが多く，大きく変化した値はあまり見られない結果となった．以上を踏まえ，注目した要因を比較して，変化が大きく現れたペルソナ2（中村彩）とペルソナ3（佐藤翔太）の一番変化が大きい値の文章を対象とした達成感を算出した．度合いの増加を表すプラスの変化で一番大きかった要因と文章を対象とし，その文章の中で2番目に大きな要因〈ペルソナ2（中村彩）では要因9（充足感）の+10.35%，ペルソナ3（佐藤翔太）では要因1（満足感）の+2.50%〉との達成感を表2に示す．同様に，度合いの減少を表すマイナスの変化で一番大きかった要因と文章を対象とし，その文章の中で2番目に大きな要因〈ペルソナ2（中村彩）では要因3（やりがい）の+2.50%，ペルソナ3（佐藤翔太）では要因11（満足感自己成長の実感）の−10.00%〉との達成感を表3に示す．比較のために，同様の文章と要因に対する他のペルソナの達成感も算出し，表に示している．表3において，値が示されていない部分があるが，表1で表出されなかった要因であったためである．

表2　度合いが最も増加した要因を対象とした達成感

ペルソナ	高橋蓮			中村彩			佐藤翔太
達成感	高い	普通	低い	高い	普通	低い	高い	普通	低い
要因9と要因20（要約前）	0.49	0.51	0.00	0.00	0.91	0.09	0.00	0.58	0.42
要因9と要因20（要約10%）	0.41	0.59	0.00	0.35	0.65	0.00	0.00	0.24	0.76
要因1と要因9（要約前）	0.67	0.33	0.00	0.29	0.71	0.00	0.00	0.58	0.42
要因1と要因9（要約10%）	0.67	0.33	0.00	0.48	0.52	0.00	0.00	0.87	0.13

表3　度合いが最も減少した要因を対象とした達成感

ペルソナ	高橋蓮			中村彩			佐藤翔太
達成感	高い	普通	低い	高い	普通	低い	高い	普通	低い
要因3と要因11（要約前）	0.61	0.39	0.00	0.17	0.83	0.00	0.02	0.98	0.00
要因3と要因11（要約10%）	0.52	0.48	0.00	0.17	0.83	0.00	-	-	-
要因3と要因11（要約30%）	0.54	0.46	0.00	0.25	0.75	0.00	0.00	0.33	0.67

プロンプトによる出力は毎回同じになるとは限らないので，同一のプロンプトを10回実行した結果の平均値を求め，各要因における変化を表1にまとめた．プロンプトによる出力結果を確認すると，表出されない要因もあり，また，ばらつきも存在したが，極端に大きくばらついていたわけではなく，ある程度の範囲に収まって出力されていた．それらの一部として，注目した要因の中から，表1においてすべての文章とペルソナにおいて結果が示され，度合いが最も増加した要因として表2で選出した要因1（満足感）について，定量的結果を図16と表4に示す．図16は要因1（満足感）のばらつき具合を示す箱ひげ図である．また，表4は，各ペルソナと要約度合いにおける要因1（満足感）の平均，最大，最小，標本分散，標準偏差である．ばらつきが最も大きかったのは，ペルソナ3（佐藤翔太）の要約10%であったが，極端にばらつきが大きいことが多いわけではなく，多くの結果が5%から10%付近で収まっていることがわかる．ペルソナ1（高橋蓮）の要約10%では，90%の数値が多く出力されており，平均値が最大値に近い値となっている．

図16　 要因1（満足感）のばらつき具合を示す箱ひげ図

表4　要因1（満足感）の平均，最大，最小，標本分散，標準偏差

ペルソナ	高橋蓮				中村彩				佐藤翔太
圧縮率	-	50%	30%	10%	-	50%	30%	10%	-	50%	30%	10%
平均	85.50	86.50	83.00	87.00	65.71	69.38	74.00	75.00	42.50	33.75	31.67	45.00
最大	90	90	90	90	70	80	85	80	60	40	40	70
最小	80	70	70	70	50	50	65	60	30	30	20	20
標本分散	22.25	35.25	36.00	41.00	53.06	90.23	44.00	50.00	168.75	17.19	47.22	275.00
標準偏差	4.72	5.94	6.00	6.40	7.28	9.50	6.63	7.07	12.99	4.15	6.87	16.58

5　  考察

要約におけるプロンプトでは，要約する文章（規格書の一部）と要約の程度（文章量を％で記入），重要な点は要約しないという内容で統一した．規格文章の要約の場合，規格の内容を正確に理解できるようになっていなければならない．そのため，重要な点は要約しないような指示も同時に与えている．本研究では，このようなプロンプトによる比較的シンプルな指示により，要約度合いを変えて出力した要約後の文章を用いており，教育においてプロンプトエンジニアリングと，要約文章を用いることの有用性を示した取り組みとなる．評価もプロンプトで実現しており，学習者のペルソナを想定して，達成感を指標とした教育効果の向上の可能性を示すことができた．以下，その内容と考察を述べる．

5.1  要約と達成感について

10回同じ文章を同じ度合いで要約したところ，文字数の平均は表1で示したとおりであり，要約前の文字数と要約度合いを50%程度とした要約文章では，半分以下の文字数となった．要約度合いが50%，30%，10%の文章を比較すると，文字数は100～200 文字程度変化していた．要約の程度に沿って文章が短く変化していたので，文章の読む量については少なくなっており，その分の負担は教育においても減ると思われる．生成した理解度テストをペルソナに対し解答させたところ，どの要約後の文章においても正解を得ることができた．理解度テストが正しく機能しているかどうか確認するため，問題の内容を読んだ文章からはわからないものにした場合，判断できないという結果になることもあった．これらのことから，理解度テストの内容について，理解できるように要約できていたと解釈することができる．要約の手法と評価にはいくつかの方法が提案されているが^{[10, 28–31]}，本研究で行った要約と内容の妥当性の確認方法は，QAGS^[28]の考え方に基づくプロンプトを用いた方法の1つと考えられる．ただし，単純に正解かどうかを確認したのみであり，QAGSのように具体的なスコアとして算出したわけでない．しかしながら，正解が多ければ理解できる要約になっている可能性は高くなるので，比較的簡単な要約の確認方法として，プロンプトによる理解度テストによる本手法を用いることにした．

要約した文章の教育効果に関する評価は，プロンプトによるペルソナに対し，達成感の要因に基づく感情の度合いと達成感を数値として求めることで行った．表2から，ペルソナ2（中村彩）については，要因9（充足感）と要因20（新しいスキルの取得）による達成感の「高い」の度合いが0.00から0.35に上昇している．また，要因1（満足感）と要因9（充足感）による達成感が「高い」の度合いは0.29から0.48まで上昇しており，「普通」の度合いと同じくらいまでに上昇している．要因9（充足感）が共通の要因となっていることから，要約することで充足感が増し，充足感は達成感が大きく上昇する要因の1つと考えられる．対して，ペルソナ3（佐藤翔太）の場合では，要因9（充足感）と要因20（新しいスキルの取得）による達成感は下降して，「低い」の度合いが0.76と一番大きな値となっている．しかしながら，要因1（満足感）と要因9（充足感）では「普通」の度合いが0.58から0.87へ上昇し，高い値となっている．このことから，新しいスキルの取得に関する感情は，ペルソナ3（佐藤翔太）では要約することで減少し，この要因に基づく達成感は減少することになる．ペルソナ2（中村彩）では増加していたことから，読書をほとんどしない人にとっては，要約した場合，新しいスキルを習得するような感覚は減少する可能性がある．要因1（満足感）と要因9（充足感）は，読書の習慣が月に1冊程度の習慣があるペルソナ2（中村彩）でも上昇していることから，要約することで，要因1（満足感）と要因9（充足感）が増加し，それらによる達成感も上昇することが考えられる．ペルソナ1（高橋蓮）に注目すると，値の変化は少なく，要約前から達成感が「高い」の度合いも一定以上ある．要因1（満足感）と要因9（充足感）についての達成感の変化は見られなかった．このことから，読書を習慣的にしている人は，要約による変化は大きくないので，要約文章による教育でも問題なく，読む分量を少なくして効率よく教育を行うことができる可能性がある．

表3からは，最も達成感が減少した要因がわかり，その値を確認することができる．ペルソナ2（中村彩）に関しては，減少値が低く，表2から達成感の上昇が確認できたことから，要約によってネガティブな結果を生むことが少なく，効果的に教育を行える可能性が高いと考えられる．ペルソナ3（佐藤翔太）では，要約度合いが30%に対する要因3（やりがい）と要因11（自己成長の実感）において，大きく達成感が減少していることが読み取れる．しかしながら，ペルソナ2（中村彩）では若干上昇している．そのため，読書をほとんどしない人にとっては，やりがいと自己成長の実感は，要約することであまり感じなくなることが窺える．ペルソナ1（高橋蓮）については，少しの達成感の減少が見られた要因もあった．しかしながら，その変化は大きいものではないので，読書を習慣的にしている人に対しては，表2からの考察で述べたように，要約による教育をしても問題にはならないと考えられる．若干の低下があったととしても，表3に示すとおり，達成感が「高い」の度合いが一番大きいことには変わりない．

表1の数値の傾向を確認することは，達成感に関わる要因の傾向を把握することにつながる．達成感の定義より，表1の数値が大きくなれば達成感も大きくなるので，要因がどう影響しているかを読み取れる．要因5（努力），要因17（負荷の大きさ），要因21（難題の解決）に関しては，要約することで多くの部分でマイナスの値となっている．これらは要約すると基本的には減少するものと考えられるので，要約することのメリットであり，教育においては，容易に効率良く学べることに結びつく可能性がある．数値として表れていないものは，その要因については感じることがなかった，または関連があまりないと考えることができる．特に，要因8（リスクやコスト），要因10（明確な目標の設定），要因25（好成績を収めたとき），要因29（懐かしさ）については，値が表れることはなく，あまり関係がない要素と捉えることができる．表2と表3から考察した要因については，考察の際に述べた傾向が読み取れる．ペルソナ1（高橋蓮）とペルソナ2（中村彩）において，要約することで上昇している要因として，要因19（計画通りに進めることができたとき）が確認できる．図14と図15における達成感の要因に関する出力結果では，それぞれの要因に関する理由などのコメントも一緒に出力されており，それらも参考になる．図14と図15において，要因19（計画通りに進めることができたとき）についての記述を確認すると，文章の要約により効率よく理解できた様子が読み取れる．また，要因1（満足感）でも要約により要点が理解しやすくなったことが記述されている．これは適切に要約ができ，スムーズに内容を理解できたことが表れていると考えられる．ペルソナ3（佐藤翔太）では，要因19（計画通りに進めることができたとき）について，要約の文章量が50%の場合のみ−12.50%の値となっており，それ以上の要約では値が表れなかった．要約前の値も比較的低いので，読書をあまりしない人の場合，スムーズな内容理解の感覚があまりないことが窺える．

本論文における達成感の定義により，達成感の数値とその要因を示すことができるようになる．これらの数値を基に教育教材の作成や学習者への対応を考えることで，教育効果を高めることが数値として見込めるようになる．このことは，言語モデルを利用したペルソナによる評価を行うことが大きく影響している．いわゆるコンピュータによる教育のシミュレーションにあたるようなことが，本論文に示したようなプロンプトで比較的容易に行えるということである．要約した文章と理解度テストも同様にプロンプトで自動で作成することができ，教育におけるコンテンツの作成と評価，そのシミュレーションが一貫してプロンプトにより実現できることになる．実際の学習者に対する実地評価も重要であり，それらとの比較も必要と考えるが，実地評価は規模や労力も大きくなるので，本研究で示した方法であればそれらが削減できる．

5.2  出力のばらつきとペルソナによる評価について

図16と表4では，要因1（満足感）のばらつき具合を示したが，他の要因についても5%から10%程度でばらつきは収まっていた．ばらつきが大きい場合でも図16と表4のペルソナ3（佐藤翔太）の要約10%の場合と同じように，15%前後のばらつき具合であった．プロンプトによる出力結果は毎回異なると述べたが，ばらつきの幅が大きくなるわけではなかった．最大値と最小値だけを見ると，差があるように見えるケースがあるが，ばらつき具合は15%前後であり，プロンプトによる出力回数をさらに増やすことで，改善され，より信頼できる結果を得られる可能性が考えられる．

本論文におけるペルソナによる評価では，各ペルソナ個人で文章を読んで自己評価する形式になっている．したがって，具体的に他者との共同作業や成功の共有は，表面上存在しないように思われる．しかしながら，要因18（自分と関わった人の成功）など，そのような要因が一部表出化されているように見える．これは，ペルソナの想定では明示的でないものの，暗黙的な社会的文脈として表出された可能性が考えられる．

結果を確認すると，要因18（自分と関わった人の成功）では，「規格書の内容を仕事のプロジェクトで活かし，チームに良い結果をもたらすイメージが湧き，未来の成功に期待感を持った．」と出力されていた．一見すると文章を読んで理解することは，他者と関わりがないように見えるが，社会的文脈として仕事の中で他者との成功が表出化された結果といえる．その他にも，要因23（感謝）は，単に文章を読むだけと考えると，誰からも感謝される機会もする機会もないように思えるが，「文章が要約され，親切で分かりやすいと感じた．」とペルソナ2（中村彩）の10%要約で感謝に関する出力がされていた．これは，要約におけるポジティブな効果の一部と考えられ，表1においても+5.00%となっている．要因27（安心）では，だれかとの関係性の中で生まれる安心感がなく，読解という作業に対する安心感と混在している可能性がある．プロンプトによる出力の一部を確認すると「簡潔にまとめられているため，忙しい日々の中でも内容を理解できることにほっとした．」などがあった．この結果は，他者との関係によるものなのか，理解に対するものなのか，両方の可能性が考えられる．例えば「上司に報告するために読んでいる」，「同僚に説明する立場で読んでいる」など，暗黙的な社会的文脈が表出されていると捉えることも可能である．

要因13（主体）においては，行動の自発性を測るが，AIによるペルソナには行動選択の自由がなく，単に与えられた文章を読んでいるだけなので，主体性の有無の評価は厳密には難しいという考えもある．しかしながら，ペルソナは実在の人物のように認識される人物像なので，表1に示すようにプロンプトによる出力で表出化される場合がある．出力結果を確認すると，「能動的に規格書を読み解き，自分なりの解釈を導いたことで達成感を得られた．」などの結果を確認できた．主体性を持って取り組んだような結果を得られ，AI活用による評価での主体性に関する評価結果が得られたともいえる．

以上のように，本手法による評価では，他者との関係などの表面上存在しないものが表出化されているように見えることがある．しかしながら，プロンプトの出力結果を確認すると，暗黙的な社会的文脈があり妥当な結果が出力されているとも捉えることができる．

6　  むすび

教育コンテンツ作成評価方法として，言語モデルを利用したプロンプトによる要約とペルソナを用いた方法を提案した．規格関連文章の理解を対象に，教育コンテンツの作成と評価を行った．評価では，達成感の要因とその度合いを用い，要約の教育における有効性を示し，教育効果について考察した．読書の頻度が習慣的に多い人よりも月に1冊程度かほとんどしない人の方が要約の効果がより顕著に確認できた．ペルソナにより学習者像を想定することで，学習体験を学習者に応じて模擬的に確認できるようにし，要約による達成感の向上に寄与する要因を導いた．ペルソナはプロンプトの記述により想定しているので，必要に応じて変更することも可能であり，様々な学習者を想定した教育コンテンツ作成評価が行える．これは想定した学習者に応じた対応や教材提供の一助となり得る．

本研究では，規格理解を対象として達成感に基づく教育コンテンツの作成と評価を行ったが，他の対象や別の指標に基づく評価でも有効であると考えられる．そのため，実地評価も含め，本手法のさらなる有効性の評価が今後の課題となる．

謝辞

本研究はJSPS科研費JP25K08187の助成を受けたものです．

参考文献

• [1]  ISO/IEC 27001:2022, Information security, cybersecurity and privacy protection — Information security management systems — Requirements.
• [2]  ISO/IEC 20000-1:2018, Information technology — Service management — Part 1: Service management system requirements.
• [3]  JIS Q 20001-1（ISO/IEC 20001-1）情報技術－サービスマネジメント－第1部：サービスマネジメントシステム要求事項，日本規格協会，2020．
• [4]  Hello GPT-4o. https://openai.com/index/hello-gpt-4o/（2025年5月27日参照）
• [5]   A.  Ziegler,  J.  Berryma: A developer’s guide to prompt engineering and LLMs - The GitHub Blog, https://github.blog/2023-07-17-prompt-engineering-guide-generative-ai-llms/（2025年5月27日参照）
• [6]   M.  Diab,  J.  Herrera,  M.  Sleep, et al.: Stable Diffusion Prompt Book, https://cdn.openart.ai/assets/Stable%20Diffusion%20Prompt%20Book%20From%20OpenArt%2011-13.pdf（2025年5月27日参照）
• [7]   B.  Chen,  Z.  Zhang,  N.  Langrené, et al.: Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review, https://doi.org/10.48550/arXiv.2310.14735（2025年5月27日参照）, 2023.
• [8]   S.  Schulhoff,  M.  Ilie,  N.  Balepur, et al.: The Prompt Report: A Systematic Survey of Prompt Engineering Techniques, https://doi.org/10.48550/arXiv.2406.06608（2025年5月27日参照）, 2024.
• [9]   T. F.  Heston,  C.  Khun: Prompt Engineering in Medical Educations, International Medical Education, Vol. 2, No. 3, pp. 198–205, 2023.
• [10]   塩野  康徳， 志村  俊也：分散プロンプトエンジニアリングに基づく規格関連文章のための動的要約，学術情報処理研究，Vol. 28, pp. 174–181, 2024. DOI: https://doi.org/10.24669/jacn.28.1_174
• [11]   原  辰徳， 土井  博貴， 渡辺  健太郎，ほか：サービス工学のためのペルソナ概念を用いたシナリオモデリング，第14回設計工学・システム部門講演会講演論文，pp.320–323，2004.
• [12]   別宮  玲， 三井  和男：対話型遺伝的アルゴリズムによる実在人物のように感じられるペルソナデザイン，知能と情報（日本知能情報ファジィ学会誌），Vol. 32，No. 1，pp. 653–662，2020．
• [13]   萩原  将文：ニューロ・ファジィ・遺伝的アルゴリズム，産業図書，1994．
• [14]   山下  元， 瀧澤  武信， 稲井田  次郎，ほか：ファジィ理論 基礎と応用，共立出版，2010.
• [15]   田口  浩， 糸賀  裕弥， 毛利  公一，ほか：個々の学習者の理解状況と学習意欲に合わせたプログラミング教育支援，情報処理学会論文誌，Vol. 48，No. 2，pp. 958–968，2007．
• [16]   林原  慎：小学校「総合的な学習の時間」の達成感に影響を及ぼす要因，日本教育工学会論文誌，Vol. 44，No. 1，pp. 127–134，2020.
• [17]   大塚  駿， 遠藤  雅伸：デジタルゲームにおける難易度と達成感の感じ方に関する研究，エンタテインメントコンピューティングシンポジウム2019論文集，pp.294–297，2019.
• [18]  仕事で達成感を得ることが重要な理由と組織づくりで意識すべきポイントを紹介．https://thanks-gift.net/column/engagement/sense-of-accomplishment（2025年5月27日参照）
• [19]  達成感スコアの向上に取り組もう．https://get.wevox.io/media/tasseikan_explanation（2024年5月27日参照）
• [20]  「達成感」「自己肯定感」の必要性と得るための方法．https://www.idear.co.jp/mental-column/motivation/self-affirmation（2025年5月27日参照）
• [21]  子どもが達成感を感じるメリットとは｜達成感を得られる体験やコツ．https://wondercode.jp/blog/what-are-the-benefits-of-a-childs-sense-of-accomplishment（2025年5月27日参照）
• [22]  お礼や目標達成はやる気の源！仕事で「達成感」を得たことはある？，https://ad.sankeiliving.co.jp/wp/2024/02/23/8974.html（2025年5月27日参照）
• [23]   大山  泰宏：何が人を幸福にし何が人を不幸にするか，心理学評論，Vol. 55, No. 1, pp. 90–106, 2012. DOI: https://doi.org/10.24602/sjpr.55.1_90
• [24]   今野  義孝， 上杉  喬：懐かしさの感情体験に及ぼす動作法による快適な心身の体験の効果–脳波の快適度と感情イメージ尺度による検討，人間科学研究 / 文教大学人間科学部紀要委員会 編，Vol. 25，pp. 63–72，2003.
• [25]   細田  超， 片山  佳之， 有田  清三郎，ほか：CT画像による頸部リンパ節転移診断へのファジィ推論の応用，International Journal of Biomedical Soft Computing and Human Sciences: the official journal of the Biomedical Fuzzy Systems Association，Vol. 1, No. 1, pp. 49–56, 1995. DOI: https://doi.org/10.24466/ijbschs.1.1_49
• [26]   川那部  隆司， 渋谷  郁子：教職課程履修学生の読書の実態：スマートフォン利用との関連から，立命館教職教育研究 / 立命館大学教職教育推進機構 編，pp.23–29，2025.
• [27]   弘田  みな子：生成AI時代の教育における「書く」ことと「省みる」こと，神戸教育短期大学研究紀要，Vol. 6, pp. 3–24, 2025. DOI: https://doi.org/10.24668/kyotanlib.6.0_3
• [28]   A.  Wang,  K.  Cho,  M.  Lewis: Asking and Answering Questions to Evaluate the Factual Consistency of Summaries, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5008–5020, 2020.
• [29]   山本  和英：テキスト処理の要素技術，近代科学社，2021．
• [30]   C.-Y.  Lin: ROUGE: A Package for Automatic Evaluation of Summaries, Text Summarization Branches Out, pp. 74–81, 2004.
• [31]   D.  Huang,  L.  Cui,  S.  Yang, et al.: What Have We Achieved on Text Summarization?, In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 446–469, 2020.