本論文では，言い換えが複数存在する化合物名称の固有表現抽出 (NER) の精度を向上するため，NERモデルと化合物名を含む文の言い換えモデルを同時に学習するマルチタスク学習を提案する．提案手法では，long short-term memory (LSTM) に基づくエンコーダーおよび単語・文字 embedding パラメータを，NER モデルと言い換えモデルで共有することで，NER モデルにおいて，化合物名の言い換えを捉えることができるようにする．化合物名抽出タスク BioCreative IV CHEMDNER トラックで評価した結果，本言い換え学習が精度改善に貢献することが確認された．

本稿では，文法誤り訂正における言語間での転移学習について研究を行う．近年，機械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知識の活用が行われている一方で，文法誤り訂正では多言語の知識を用いる研究はほとんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題である．一方で，類似した言語間には共通の文法項目が存在していることが広く知られており，そのような言語間で共通した文法項目については言語間で転移が可能なのではないかと考えられる．そこで我々は事前学習モデルと多言語の学習者データを用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において可能であるかを調査する．実験の結果，文法誤り訂正において言語間で文法知識の転移が可能であることを示した．また，分析の結果，事前学習モデルの構造が文法知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文法項目の転移が行われていること，転移元の言語と転移先の言語のデータのサイズに関わらず文法知識の転移が起きていることを確認した．

Recent studies consider knowledge distillation as a promising method for speech translation (ST) using end-to-end models. However, its usefulness in cascade ST with automatic speech recognition (ASR) and machine translation (MT) models has not yet been clarified. An ASR output typically contains speech recognition errors. An MT model trained only on human transcripts performs poorly on error-containing ASR results. Thus, it should be trained considering the presence of ASR errors during inference. In this paper, we propose using knowledge distillation for training of the MT model for cascade ST to achieve robustness against ASR errors. We distilled knowledge from a teacher model based on human transcripts to a student model based on erroneous transcriptions. Our experimental results showed that the proposed method improves the translation performance on erroneous transcriptions. Further investigation by combining knowledge distillation and fine-tuning consistently improved the performance on two different datasets: MuST-C English--Italian and Fisher Spanish--English.

本論文では，平仮名のみで書かれた日本語文（以下，平仮名文）に対する形態素解析について述べる．平仮名文は，漢字仮名まじり文と比べて，考えられる単語候補が増大するなど，はるかに曖昧性が多いことが知られている．これまでに，平仮名文を主な対象とした形態素解析手法がいくつか開発されているが，その多くが十分な解析精度を得られていない．一部，著名な日本語形態素解析器の漢字仮名まじり文に対する解析精度に匹敵する高い精度を平仮名文に対して達成している従来手法が存在するが，その手法には膨大な解析時間を要するという問題がある．そこで本論文では，平仮名文に対する高精度かつ実用的な速度での解析を目指し，RNN (Recurrent Neural Network) とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案する．提案手法では，解析の高速化を図るため，単語境界の推定は文字境界ごとに，形態素情報の推定は単語ごとに，文頭から逐次的に実行する．また，解析の高精度化を図るため，各時点において，ロジスティック回帰により局所的な情報に基づいて推定した結果と，RNN により大域的な情報を考慮して推定した結果とを統合し，単語境界や形態素情報を推定する．評価実験の結果，提案手法は，単語分割と形態素情報のすべての一致を正解とする最も厳しい基準において，前述の従来手法を上回る解析精度を達成しつつ，従来手法と比べて 100 倍以上の高速化を実現していることを確認した．

近年，動詞の意味フレーム推定タスクでは，推定対象の動詞の文脈化単語埋め込みに基づき，動詞全体で一度にクラスタリングを行う手法がいくつか提案されている．しかし，このような手法には大きく 2 つの欠点が存在する．1 つは動詞の表層的な情報を過度に考慮するため，意味の似た異なる動詞の用例をまとめづらいこと，もう 1 つは同じ動詞の用例がその動詞自身が持つ意味の異なり数以上のクラスタに分割されることである．本論文では，これらの欠点を克服するために，マスクされた単語埋め込みと 2 段階クラスタリングを用いた動詞の意味フレーム推定手法を提案する．FrameNet を用いた実験を通し，マスクされた単語埋め込みを活用することが動詞の表層的な情報に強く依存したクラスタの構築を抑制し，また，2 段階のクラスタリングを行うことで各動詞の用例が属するクラスタの異なり数を適正化できることを示す．

Citizen feedback is essential for improving hospitality in government policies and customer services. In this study, we propose a method for extracting citizen feedback from social media according to appraisal opinion type by filtering tweets based on multiple viewpoints such as regional dependency, status of citizen, and polarity. To improve the F1-score of the estimation of opinion unit viewpoints, we implement a multitask learning framework to estimate associated viewpoints using a BERT model. In the experiment, we focus on two domains of citizen life during the COVID-19 pandemic: nursery school life and restaurant takeout services. Our multitask learning approach was effective in estimating viewpoints on opinions. In addition, we demonstrate that citizen feedback filtering based on specific viewpoints is valuable in investigating chronological opinion transitions by appraisal opinion types.

本稿では，雑談対話システムにおける対話破綻を生じさせる発話の類型を提案する．対話破綻の類型に関して先行研究では，「理論に基づいた類型」と「データに基づいた類型」が提案されてきた．前者は，依拠している人どうしの対話についての理論が，雑談対話システムの対話破綻現象を捉えるのに適さないことが多いという問題点がある．後者は，データを取得したシステムの対話破綻にしか対応できないという限界がある．本稿では，これら二つの類型の問題点をそれぞれが補い合う形で統合し，雑談対話システムにおける対話破綻を生じさせる発話の類型を新しく作成した．対話破綻類型アノテーション実験の結果，この統合的な類型は以前に提案された類型と比較して，Fleiss の κ 値において高い一致率を達成し，安定したアノテーションが行えることがわかった．

In social media, the frequent use of small images, called emojis, in posts has played a key role in recent communications. However, less attention has been paid to their positions in the given texts although users are known to carefully choose and place emojis that match their post. Exploring the position of emojis in texts is expected to enhance our understanding of the relationship between emojis and texts. In this paper, we propose a novel task of inserting an emoji at a position in a given tweet. We extend an emoji label prediction method considering the information of emoji positions, by jointly learning the emoji position in a tweet to predict the emoji label. Additional information on emoji position can improve the performance of emoji prediction. Human evaluations validate the existence of a suitable emoji position in a tweet. The proposed task makes tweets fancier and more natural. In addition, the emoji position can further improve the performance of irony detection compared to emoji label prediction. We also report the experimental results for the modified dataset, due to the problem of the original dataset for the first shared task to predict an emoji label in SemEval 2018.

This study proposes a support tool for building zero-pronoun evaluation sets called the zero-pronoun annotation support tool (0Past; pronounced zero-past). The proposed tool provides a chat-like user interface to facilitate the navigation of human annotators. Each conversation is displayed separately, and while the user views a certain conversation, the messages within the conversation are displayed individually with a distinct color for the newest message. Using 0Past, two zero-pronoun evaluation sets are constructed. These evaluation sets are then used to evaluate neural machine translation (NMT) models’ performance translating Japanese conversations to English with the correct pronoun. Additionally, this study builds a zero-pronoun classification model by incorporating newly constructed evaluation sets and enables the tool to provide automated pre-annotation features, which can then be improved manually by human annotators. Finally, this study reports the evaluation results of training a Japanese-English neural machine translation model and compares its performance with two publicly available pretrained models in translating parallel conversational sentences from Japanese to English, which contains many omitted pronouns. The results confirm that phenomenon-specific evaluation sets are essential for better measuring NMT models when handling conversational sentences in Japanese, which is heavy on the anaphoric zero-pronoun phenomenon.

The syntax-based AMR parsing approach assumes a close mapping between syntactic and semantic structures. However, syntax-semantic mapping is not evident in complex sentences, causing parsers to fail to build the correct core structure of a tree. In this paper, as an aid to AMR parsing, we propose a dependency matching system that first detects complex sentence structures in a dependency parse tree of a sentence and then returns a corresponding AMR skeleton structure. We manually designed a dictionary of dependency patterns and the corresponding AMR skeletons for the types of complex sentence constructions that appear in the AMR corpus. A disambiguation step is necessary for certain types of constructions with semantically ambiguous subordinators. We show that the disambiguation can be formulated as sentence-pair classification using the fine-tuning approach of a pretrained BERT model. The classification models were trained on data derived from AMR and Wikipedia corpora, establishing a novel baseline for future research.

ニューラル文法誤り訂正では，データ拡張によって学習データの不足を補う手法が活発に研究されている．本研究では，既存のデータ拡張手法が，より良いデータ拡張を行い性能向上を目指す上で重要な要素として，(1) 誤りの多様性が訂正性能に寄与すること，(2) 特定の種類の誤り生成がその種類の誤り訂正性能に寄与すること，(3) データ拡張に用いるコーパスの大きさが訂正性能に寄与することの 3 点が仮定されている．本研究では，これらの仮定の妥当性を検証するため，多様な文法カテゴリでの誤り生成規則を組み合わせる手法を提案し，生成する誤りの種類を変えて誤り訂正モデルを学習することで，比較検証を行う．結果として，仮定 (1) (2) は正しいが，一方で，仮定 (3) においては，コーパスの規模ではなく，パラメータの更新回数と誤りの生成回数が影響することが明らかになった．さらに，提案手法は，学習者コーパスを用いない教師なし設定でも高い性能のモデルを学習でき，学習者コーパスを用いた場合でも，既存の手法と同程度に高性能なモデルを学習できることが明らかになった．折り返し翻訳・逆翻訳によるデータ拡張手法との比較を通じて，また，ルールによる誤り生成とこれらの手法を用いたモデルでは，訂正において得意な誤り種類が異なることが判明した．

It has been reported that grammatical information is useful for machine translation (MT) tasks. However, the annotation of grammatical information incurs significant human costs. Furthermore, it is not trivial to adapt grammatical information to MT because grammatical annotation usually employs tokenization standards that might not capture the relation between two languages and consequently, subword tokenization such as byte-pair-encoding is used to alleviate out-of-vocabulary problems; however, this might not be compatible with those annotations. In this work, we introduce two methods to incorporate grammatical information without supervising annotation explicitly: first, the latent phrase structure is induced in an unsupervised fashion from an attention mechanism; and second, the induced latent phrase structures in the encoder and decoder are synchronized so that they are compatible with each other using constraints during training. We demonstrate that our approach performs better in two tasks: translation and word alignment, without extra resources. We found that the induced phrase structures enhance the precision of alignments through the synchronization constraint after exact phrase and alignment structure analysis.

End-to-end speech translation (ST) is the task of directly translating source language speech to target language text. It has the potential to generate better translation than those obtained by simply combining automatic speech recognition (ASR) with machine translation (MT). We propose cross-lingual transfer learning for end-to-end ST, where the model parameters are transferred from the ST pretraining stage for one language pair to the ST fine-tuning stage for another language pair. Experiments on the CoVoST 2 and multilingual TEDx datasets in many-to-one settings show that our model outperforms the model that uses English ASR pretraining by up to 2.3 BLEU points. Through an ablation study investigating which layer of the sequence-to-sequence architecture contains important information to transfer, it was demonstrated that the lower layers of the encoder contain language-independent information for cross-lingual transfer. Extensive studies were conducted on (1) ASR pretraining language, (2) ST pretraining language pair, (3) multilingual methods, and (4) model sizes. It was demonstrated that (1) Using the same language as the ASR pretraining language and the ST fine-tuning source language results in good performance. (2) A high-resource language pair is a good choice for the ST pretraining language pair. (3) The proposed method works well in conjunction with multilingual methods. (4) The proposed method can operate with different model sizes.

In Japanese, time expressions are often unaccompanied by explicit temporal markers, and thus their temporal types are not always obvious. One of the most representative cases is date–duration ambiguity arising from the commonly used time expression, “** 日 [** nichi].” To build a supervised classifier for this ambiguity while minimizing the annotation burden, we introduce an automatic label generation method using a bilingual corpus. Inspired by an annotation projection technique, we associate Japanese time expressions with their corresponding English words. Ambiguity in Japanese time expressions is comparatively easily resolved using their associated English words. We prepared several simple rules to determine temporal type labels from sentence pairs, and automatically created a training set for this task. Through a human evaluation, we verified that 98.7% of the sampled labels match the hand-crafted labels. We then developed a classification model on these training examples and compared our automatically created examples with existing manually annotated data. Experimental results show that the produced examples improve classification models by up to 14.0% accuracy points. Hence, our label generation method not only minimized the annotation task but is also sufficiently reliable for building temporal type classifiers.

品質推定の教師あり学習は，言語対ごとに翻訳品質ラベルを人手で付与する必要があり，コストが高い．そこで，対訳コーパスのみで訓練された機械翻訳器を用いる教師なし品質推定が研究されているが，既存手法は少資源言語対では性能が低下する．本研究では，事前訓練された多言語雑音除去自己符号化器を活用することで，大規模な対訳コーパスが存在しない言語対にも適用可能な教師なし品質推定を提案する．具体的には，多言語雑音除去自己符号化器を対訳コーパスを用いて再訓練することで多言語機械翻訳器を構築する．そして，評価対象の機械翻訳器による出力文を原文から forced-decoding する際の文生成確率によって翻訳品質を推定する．大規模な単言語コーパスにより事前訓練された多言語雑音除去自己符号化器は言語間の特性を捉えられるため，提案手法では少資源または対訳コーパスが存在しない言語対においても品質推定が可能となる．WMT20 の品質推定タスクにおける評価の結果，提案手法は 6 言語対のうち 5 言語対について，ブラックボックス設定における教師なし品質推定の最高性能を達成した．詳細な分析の結果，ゼロショット設定の品質推定においても提案手法は良好な性能を示すことが明らかとなった．