オンラインニュースサイトにおいて，ユーザは見出しを見て記事の内容を読むかどうかを判断する．したがって，見出しの良し悪しは記事の閲覧数に大きな影響を与えるため，ユーザの興味を引く見出しを作成することは重要である． 近年の深層学習の進展により，encoder-decoderモデルを用いることで比較的自然な見出しを生成することができる．しかし，このモデルはトークン単位で正しい見出しが出力できるように学習されており，見出し全体としての良さは考慮されていない． 本研究では，見出し全体の良さを考慮し，強化学習に基づいて見出しを生成する手法を提案する．まず，人手による見出しとベースラインシステムによる見出しのペアに対してクラウドソーシングでどちらが良いかをラベル付けし，そのラベルを出力する分類器を学習する．そして，分類器の出力を報酬とする強化学習を用いて見出し生成システムを学習する．実験により，提案手法はベースラインシステムよりも良い見出しを生成できることを確認した．
