人工知能学会全国大会論文集
Online ISSN : 2758-7347
第34回 (2020)
セッションID: 3Rin4-09
会議情報

文字列・音の類似度を考慮した深層学習に基づくテキストの正規化
*川村 陸青木 竜哉上垣外 英剛高村 大也奥村 学
著者情報
会議録・要旨集 フリー

詳細
抄録

SNS上のテキストにはスペルミス,強調文字,インターネットスラングなどの非標準的な単語が多く使用される.非標準的な単語を多く含んでいると読者が文章の意味を理解できないだけでなく,SNSを対象とした自然言語処理を行う上の障壁となる.この問題を解決するために,非標準的な単語を含む文を訂正するテキスト標準化が必要とされている.このような需要に対処するため本研究では,深層学習を用いて文字列・音の類似性をモデル化することで,より高度なテキスト標準化を目指す.提案手法では,文字列の類似性を考慮することでpepoleとpeopleの様な表記ゆれに対応することができる.さらに,音の類似性を考慮することで,yesssとyes,disとthisの様な発音に起因した文字の置き換えに対応することが可能である.評価実験では,文字列・音の類似性を考慮した提案手法が最高精度を達成することを確認した.

著者関連情報
© 2020 一般社団法人 人工知能学会
前の記事 次の記事
feedback
Top