学術文書の情報構造認識のためのプロンプト評価

抄録

大規模言語モデル技術の発展により、対話型生成AIが自然言語プロンプトに応答する能力を持つようになった。これらのAIは、質問への回答生成、文書の内容認識、要約、情報抽出などのタスクを実行できる。しかし、最適なプロンプト設計に関する理論は未確立であり、効果的なプロンプト技法に関する研究が行われている。本研究では、引用文献抽出タスクにおいて、これらの技法の有効性を検証した。実験では、異なるレイアウトと文献フォーマットを持つ日本語論文3篇を使用し、ChatGPT（GPT-4）を利用した。実験の結果、横書きレイアウトでは単純なプロンプトで正確な文献抽出が可能であったが、縦書き2段組の注形式では限定的な改善に留まり、プロンプト改良の効果は一部の技法に限られた。