ヒトは，他者の感情を推定・予測しながら自身の感情を適切に制御・発話することで円滑なコミュニケーションを実現している．このような自他の感情のダイナミクスを適切に扱う「ヒトのような」エージェントの構築はHAIにおける重要な課題である．近年の大規模言語モデルの進展に伴い，従来の作り込みによる定型的な文章の生成ではなく，統計的学習に基づいた表現豊かな文章の生成が可能となった．また，ヒトのような情感豊かなインタラクションを実現するためには，その機能実現を考える上で脳を参照することが望ましい．以上から，自他の感情のダイナミクスを適切に捉える扁桃体を中心とした脳器官モデルを大規模言語モデルに適切に加えることによって，対話者の感情的水準での満足度を高めるインタラクションの実現が可能であろう．本発表では，感情に基づくインタラクションに必要な機能を踏まえ，感情モデルの捉え方のレベルを概観する．次に，大規模言語モデルを含めた言語モデルと感情研究の現状を整理する．この上で，扁桃体機能における感情モデルの可能性と大規模言語モデルと感情モデルを今後どのように融合していくべきかに関するロードマップの提案を行う．

家庭環境でロボットが生活支援をするために，場所の学習時に未観測だった物体の語彙を扱うことは重要である．場所の学習時には，ロボットがセンサを通じて観測できない物体は存在すると考えられる．そのような場合に対して，ロボットはこれらの物体の語彙を含む言語指示から，物体探索や片付けを実行できることは望まれる．本研究では，場所の学習時に未観測だった物体の語彙を含む言語指示をロボットが理解するために，大規模言語モデルと場所概念モデルを統合した手法を提案する．ユーザが探索指示した物体が学習時の訓練データセットに含まれない場合でも，これらのモデルの推論を組み合わせることで，物体探索における部屋の訪問数を削減できると期待される．我々はシミュレーション環境において，ロボットが学習時に未観測だった物体を環境で探索する実験を行った．実験結果から，提案手法はベースライン手法よりも，探索時の部屋の訪問数を削減可能なことを明らかにした．

生物は、身体性のあるモノから直感的に様々な情報を知覚することで、状況を理解し、適応的に行動することができる。自律エージェントのプランニングにおいては、生物のようにアフォーダンスを活用して環境に適応し、効率的に目的を達成することが有効である。そのため、本研究では大規模言語モデルからアフォーダンス情報を抽出することを目的とした。大規模言語モデルは、これまで人間が書いてきた大量の文章を知識として学習させ、その知識を用いて新しい文章を出力することができる。そのため、大規模言語モデルは人間が持っている常識や暗黙知を内包していると考えられる。本研究では、大規模言語モデルであるGPT-3からの出力を解析し、そこから知識を取り出して知識ネットワークを構築する。実験によって、この知識ネットワークを用いることで人間と同様のアフォーダンスを獲得できることを示した。

Transfer learning is a powerful technique that allows a model trained on one task to be fine-tuned on a different but related task. In this presentation, we will explore how to use transfer learning to perform text classification using the BERT model and it's variaty from HuggingFace. BERT (Bidirectional Encoder Representations from Transformers) is a pre-trained model that has been shown to achieve state-of-the-art results on a wide range of natural language understanding tasks. By fine-tuning BERT on a labeled dataset of text classification, we can quickly and easily train a high-performance model with minimal data and computational resources. We will demonstrate how to fine-tune BERT using the Hugging Face library and provide tips and best practices for getting the most out of this powerful technique. Attendees will leave with a solid understanding of how to use transfer learning for text classification and the knowledge to implement their own text classification models using BERT. We will also show how to rapidly implement this with open source MLflow and Transformers.

In the big data era, a good Machine learning model requires massive training data with labels. When there is less data available in a target domain, Cross-domain recommendations are useful to leverage richer data from a source domain to improve performance of the recommendation. Cross-domain recommendation has gained lots of interest in recent years. In this talk, we will talk about the overview of CDR, what are the existing CDR approaches, demonstrate a hands-on application for user profile prediction using CDR, as well as the challenges and future directions.

画像のクラスタリングを行うために特定の画像ベクトルを導出する必要がある。今回は画像データのベクタル化のための転移学習と画像のクラスタリングのためのk-meansを組み合わせた手法を説明する。

教育データを利活用するEdTech (Educational Technology, エドテック) は、社会実装が進んでいる米国などとともに、日本においても教育データ利活用ロードマップが策定され、EdTechの推進基盤が構築されつつある。しかし、EdTechに内包される科学技術は、能力測定や評価のデジタル化、個別最適学習のための分析、顔認識や感情・集中力・悩みの内部測定など、成熟したものから萌芽的なものまで広範にわたる。また、各国・地域の社会や文化における教育・学びのあり方の多様性や、教育が憲法・法的な基盤をもつことも特徴的である。本発表では、「日本型公教育としてとりあげられる教育制度・仕組み」と「EdTechの種類とその活用」を掛け合わせたフレーム、及びそのフレームによって見いだされた101のEdTechのELSI論点を概説する。

GIGAスクール構想によって教育現場にはICT活用が加速度的に進んだ。学習データの利活用に対する期待も大きいが同時にELSIに関してはよくわからない不安の方が大きい。そこで筆者らは多様な専門性を有するチームでEdTechのELSIを整理する企画調査を立ち上げた。本原稿では、EdTechを非AI系とAI系とに分類した上で、その支援内容から(1)デジタル教材、(2)授業支援・学習支援、(3)学習管理・校務支援に分類し、それぞれの基礎技術と適用場面、ELSIとに区分して対応付けた。

本発表では，広い意味での教育のデジタル化，すなわち教育のデータティフィケーション，教育データの利活用，EdTech，そしてAI in Education （AIED）などが社会に浸透していく段階でのELSIの議論において取り上げておくべき，いくつかの論点と観点を論じる．これらの技術に関連するELSIとしては個人情報の扱いや，データに基づいて学習者がどのように扱われるかなどが論じられてきているが，これらが論点の全てではない．また法の観点のみで議論が尽くされるわけではなく，倫理や社会の観点からの検討も必要となる．そこで本発表では，EdtechやAIEDに関するEとLとSのそれぞれの観点から扱われるべき論点を挙げた上で，三つの観点間の関係や相違を分析していく．具体的な論点としては，受益者としての学習者という位置づけ，アドボカシーの対象としての学習者とその他のステークホルダー，フリーライドの権利，教育の権利，社会受容などを取り上げる．最後に，社会受容調査の結果に基づいて，EdTechやAIEDの社会導入のために整えられるべき条件を明らかにする．

日本では，学校現場におけるICTの活用に関して世界的に後れを取っている現状が示されてきた。他方で，新型コロナウイルス感染症への教育的対応や，「個別最適な学び」などの教育政策の進展に伴い，学校現場でのICT活用の機会が急激に増えてきている。こうした動きの中で，今後さらに進展するICT活用そしてそれを支えるEdTechへのELSI対応は喫緊の課題となる。EdTech先進国の米国では，学校現場で発生する学習データ利活用が進められてきた。その一方で，分析方法の妥当性や信頼性，学習データの教育以外の場での同意なしの提供など，EdTechのELSI問題が顕在化している状況にある。例えば，学校のデータがアメリカ軍のリクルーターに提供されていた事例や，学校のデータが警察に渡され犯罪行為に関与するリスクのある子どものリストが作成されていた事例が明らかになっている。それに対して，連邦レベルでの法整備や第三者組織による自主的な規制が整備され，これらに基づくELSI対応が進められている。本報告では，米国の事例を参照しながら，法的・社会的観点から日本のEdTechのELSI論点を示す。

プログラミング初学者が陥りがちな問題として，「for文はなんとなく書いている回数分繰り返す」のような曖昧な理解をしてしまうということが挙げられる．こういった曖昧な理解を脱却するためには，プログラムトレースが有効である．このような背景のもと，プログラムトレース課題を明示的に与えるための学習支援システムが開発されてきた．実際にこのシステムを利用した評価実験の結果，システムに肯定的な結果が示されている．しかしこのシステムでは，あらかじめシステム作成者が問題やフィードバックを作成・登録したものしか扱うことができず，新たな問題を追加することが難しいため，より汎用的な活用をすることができない．そこで著者らは，自動的に問題やフィードバックを生成することができれば，学習者自身の作成したプログラムに対しても間違いについて考えさせることができる上，デバッグの演習も行うことができると考えた．そのような考えのもと，これまで任意のプログラムを解析することで問題とそれに対するフィードバックを自動生成できるシステムを開発してきた．本稿では開発したシステムを用いた評価実験とその結果について説明する．

プログラミング学習ではコードをより良いものへ近づける洗練活動が重要である．これまで，レベルの近いコードのみ共有する仕組みを備えたコード共有プラットフォームを開発してきた．具体的には，ロボットプログラミングを題材とした評価機能とその評価によるランキング機能を搭載しており，ランクの近いコードのみ学習者に提示する．学習者はレベルの近い他者のコードから漸進的に学び，自身のコードを洗練することが期待される．開発してきたシステムは授業実践で学習効果が示唆されたが，レベルの近いコードの共有を実現するランキング機能は改善の余地がある．そこで著者らは，学習者の戦略に近いコードを共有することが洗練活動において有益であると考え，コードの戦略を評価する手法と戦略の近さを類似度として算出する手法を提案した．本稿では，ランキングに対して一定の類似度を超えるコードのみ表示するフィルタリングを実装し，従来と提案手法のランキングを比較する実験を，プログラミング熟達者を対象に実施した．結果から，提案手法のランキングは近い戦略のコードを適切に収集でき，このランキングから学ぶことでコードの洗練活動を促すことが示唆された．

プログラミングの演習中の学生の演習行動履歴(プログラム編集履歴，コンパイル履歴，実行履歴) を自動収集し，その行動履歴およびその時間変化を認識し，演習の行き詰まりを検出するシステムを開発している．また，その結果を利用し，プログラムの演習中に行き詰まっている学生に対する個別指導を支援するシステムをこれまでに作成している．本研究では，自動収集した演習行動履歴20分から，次の10分後にまだ行き詰まっているかどうかを機械学習を使って検出する．過去の演習で収集した演習行動履歴を学習データとして，いくつかの機械学習手法を採用し識別した．今回は比較的小さいデータセットであるが，決定木による学習で行き詰まり検出率としてF値0.95を得た．

独立行政法人大学入試センターでは，令和 3 年度に「短冊型コードを用いたプログラミング問題」と「クロス集計や散布図を用いたデータ活用問題」の出題モジュールを開発した．このモジュールは，1EdTech Consortiumが策定したPortable Custom Interactionsに準拠して開発されており，Computer Based Testing上でプログラミング問題やデータ活用問題を作成・出題することができる．本稿では，被験者実験を通して出題モジュールの有効性を示す。

本研究は学習者の算数文章題の構造に対する理解状態を、問題作りの演習を通して推定する推定器の開発、およびその精度検証を報告するものである。筆者らは算数文章題の知識構造を提案しており、この構造に基づいて、学習者の理解状態を推定することを試みている。学習者の理解状態を表す学習者モデルの構築は、Intelligent Tutoring Systemの研究において重要な要素である。Knowledge Tracingなどの機械学習手法では，確率モデルを用いて学習者の状態遷移が記述される一方で，問題の探索プロセスは陽に記述されない。これに対して本研究は、知識構造に基づく問題空間の探索として問題作りを定義し、この遷移ルールを知識構造の制約を考慮する程度によって表現した。これは意味的な探索の説明と定量的な考慮度の更新式を併せ持った、新たな理解状態推定モデルと言える。この探索モデルを実装したシミュレータを構築し、一般レベルの小学校、上位校、特別支援クラスの3つの実データを用いて精度を検証した。結果、課題は残るものの、設定したパラメータに関してはある程度説明力のあるモデルを構築できた可能性が示された。

本研究では，各設問の設問文と設問に対する個々の学習者の反応（正答するか否か等）データを訓練データとして，訓練データ外の設問-学習者ペアに対する反応を予測する，適応的学習者反応予測タスクに取り組む．このタスクは，教材推薦や，設問文生成と組み合わせて学習者に適した設問を生成するなど，様々な教育応用の基礎となる．このタスクで予測性能を高めるには，設問文からの設問の難しさ等の設問の特性（項目特性）の推定・考慮が重要となる．設問文から設問の特性を考慮した高度な意味処理を行うには，深層転移学習に基づく大規模言語モデルの活用が考えられる．しかし，大規模言語モデルは通常，テキストのみを入力とするため，学習者ごとに異なった予測が難しい課題がある．本研究では，この課題を解決する手法を示す．外国語短文読解などの実データを用いた実験を通じ，項目反応理論など設問文の文意を考慮しない手法と比較し，設問文の文意の考慮の予測性能への有効性を明らかにする．さらに，大規模言語モデルから，設問の難しさなど教育上重要な項目特性を取り出すことで，モデルの解釈性を高める手法を複数提案し，その有効性を実験的に示した．

本研究では，能力推定値近傍の難易度パラメータをもつ項目に限定して出題する適応型テストを提案する．適応型テストとは，受検者の反応より逐次能力推定し，能力推定値に適した項目を出題するテスト形式である．これにより，能力値を少ない項目数で高精度に測定できる．しかし，適応型テストでは能力値と難易度が乖離しても識別力の高い項目に偏って暴露される傾向がある．このような特定項目の過度な暴露はテストの信頼性の低下につながる．この問題を解決するため，提案手法は，1 段階目では各受検者に割り当てた測定精度が等質な項目集合から出題する．能力推定値が収束したとき，2段階目に移行する．2段階目では，能力推定値近傍の難易度パラメータをもつ項目に限定して出題する．評価実験では，提案手法は従来手法と比較して測定精度を同等に保ちつつ，暴露数の偏りを減少させることを示す．その原因として，従来手法が識別力パラメータの大きい項目を過度に暴露するのに対し，提案手法がその問題を緩和することを示す．

力学では，ある現象において物体に作用する力の関係を理解することが重要である．これを理解するために，力学の学習支援システムが多数開発されている．これらのシステムの多くは作図問題を扱っている．しかし，力の関係が複雑な場合，学習者は同じ問題で何度も誤り，行き詰まってしまう場合がある．そこで，行き詰まった学習者に補助問題を与えることが有効であることが示されている．補助問題とは，学習者が元の問題を理解するのに役立つ問題であり，補助問題を提示された学習者は問題を解きながら元の問題の誤りにも気付くことができる．しかし，補助問題による学習は，適切な補助問題が与えられないと学習者を混乱させる可能性がある．適切な補助問題を作成するためには，一貫したルールに基づいて補助問題を作成することが必要である．筆者らは，これまで力学の補助問題の自動生成に取り組んできた．具体的には，溝口らの力と運動の因果推論理論に基づき，「どのようにすれば整合的な削除を伴う問題を生成できるか」を研究し，補助問題を自動生成するルールを作成してきた．本稿では，そのルールをシステムに実装し，実際に補助問題を自動生成するシステムを開発した．

読解問題自動生成とは，読解対象文からそれに関連する問題を自動生成する技術である．近年では，深層学習を用いた手法により，柔軟で高品質な問題生成が実現されている．しかし，従来手法には，次の課題がある．1）問題に対応する答えを生成できない．2）学習者の能力に合わせた難易度の問題を生成できない．これらの問題を解決するために，本研究では，項目反応理論を用いて推定される難易度を考慮して，問題と答えのペアを生成する手法を提案する．提案手法は事前学習済み深層学習モデル（BERTとGPT-2）を拡張することで実現する．実データを用いた実験により，提案手法が，所望の難易度にあった問題と答えを生成できることを示す．

教授・学習過程において学習者の心的状況を理解することは重要であるが，学習者はネガティブな感情を意図的に表出しないことがある．本研究では，このようなネガティブな感情を意図的に表出しないことを感情隠蔽と呼び，学習者の生体情報から推定することを検討した．特に学習者の顔の特徴点に着目し，微表情と感情隠蔽の関係を明らかにすることを試みた．その結果を用いて，感情隠蔽状態を生体情報の時系列データから感情隠蔽の定量化を行い，それを異常値として検出することを試みた．また，その結果を用いて感情隠蔽していることを教師に伝えるフィードバック生成を開発することを検討した．

ユーザのクエリに焦点を当てた文圧縮は，Web検索の結果の提示などにおいて有用である．従来の手法では，原文，クエリ，圧縮文の組からなる学習用データを用いて文圧縮モデルを構築するが，その作成にはコストがかかり，実際には疑似的に作成した学習データを用いるにとどまっている．そこで本論文では，そのような学習データを必要としない文圧縮手法を提案する．本手法では，依存構造に基づき圧縮文の候補を求め，文法的・意味的制約を満たす圧縮文を選択する．圧縮文の候補は，クエリを含むという制約のもとで選ばれるため，クエリに焦点を当てた文圧縮が実現できる．

近年，チャットボットが様々な場で活用されるようになってきている．しかし，現在のチャットボットは画一的な応答が一般的であり，人間のような多様性のある返答は十分に実現できていない．この問題を解決する手法の一つとして，キャラクター性の付与が有効だと考えられる．チャットボットの発話にキャラクター性を付与する試みは行われてきているが，必ずしも実際のキャラクターの発話の特徴を反映しておらず，また発話のどの要素がキャラクター性の醸成に寄与しているかも十分には明らかになっていない．そこで，本研究ではキャラクタービジネスで売り上げの多い「ウマ娘 プリティーダービー」を対象にキャラクターの発話の文体的な特徴を抽出した．特徴の抽出にあたり，頻出単語や品詞，トピック，文末表現を対象として，キャラクターと一般女性の発話との比較によってキャラクター特有の発話の抽出を行った． 結果として，人称表現や感動詞，助詞と助動詞による文末表現などに各キャラクターの設定に対応する文体的な特徴がみられることが明らかになった．

外国語を学習している者はみな、結局、ネイティブ・スピーカーには敵わない、と常に思う。よほどの達人でない限り、いくら学習を重ねても、自分が話したり、書いたりする第二言語に誤りはないと言い切れない。それゆえ、必ずネイティブ・スピーカーにチェックを受ける必要が生じる。難しいとわかっているものの、ネイティブ・スピーカーが持つ言語感覚に近づくことはできないだろうか、という素朴な願望が、この研究のきっかけとなった。fastTextの学習済みモデルによる単語の埋め込みを3次元に次元削減し、可視化した際、それは語彙に関して、母語話者が持っている言語感覚を視覚的に表象しているのではないかと考えた。それをL1 Vocabulary 3D Map (略してL1 Map)と命名した。この実験では小学校「外国語活動」教材Let’s Try! 1の単語を対象に可視化した。英語指導教材・学習ツールとして利用が可能かどうかを検証し、その結果、有効性が確認できた。加えてL1 Mapでは、fastTextの多義語を上手く判別できない弱みが、逆に語源を暗示・可視化する強みへと転化していることを確認できたのは、大きな発見であった。

近年，新型コロナウイルスの影響によりチャットボットやボイスボット，メタバースの活用などオンライン接客の注目が強まっている．接客において相手の感情を読み取りながら対応を変化させることは，相手と信頼関係を築きコミュニケーションを円滑にするために重要である．一方で，普及しているチャットボットの多くは，感情情報や文脈を考慮せず短絡的な会話になってしまうことがある． そこで本研究では，丁寧な接客応答ができる次世代対話システム構築に向けて，マルチターン対話の中に現れる感情の変化を捉え，相手の感情に合わせた対話応答ができるように予測するモデルを提案する．具体的には，マルチターン対話における感情予測と，直前の発話における相手の感情に合わせた対話応答の学習を同時に行う学習モデルを提案する． 提案手法の有効性を示すためにMELDデータセットを用いて比較実験を行った．結果として，マルチターン対話における感情を把握しながら応答予測を行うことは，応答予測の精度向上の効果が確認できた．

近年、ChatGPTをはじめとした幅広いタスクに汎化できる汎用言語モデルを学習する方法として、タスクごとにプロンプトを付与しマルチタスク学習を行うinstruction tuningが注目されている。 これまで様々なプロンプトがinstruction tuningのために作成されているが、どのようなプロンプトがモデルの汎化性能向上に最適なのか明らかになっていない。 本研究では学習用プロンプトを二段階最適化により最適化するinstruction optimizationを提案し、instruction tuningに最適なプロンプトを明らかにする。 評価実験において、タスクの指示をプロンプトに用いる実験設定（zero-shot）では、二段階最適化によりプロンプトを多様化することが汎化性能向上に有効である一方、タスクの例示をプロンプトに用いる実験設定（few-shot）では、多様な種類の例示ではなく同一の例示を用いる方が有効であることが明らかになった。

様々な種類の人の行動に関して、個人の行動パターンは時間的に不均一であることが知られている。このような行動イベントの時間間隔(Inter-Event Times; IET)の分布は、べき分布のようなロングテールな分布を示す。特に、腕の動きなどを測定した物理的な行動イベント時系列や、スマートフォンのタッチ操作イベント時系列のIET分布においては、その形に個人差があることが報告されているが、そのIET分布の差が何を意味するのかは解明されていない。我々は、Webサービスの操作イベント時系列に着目し、ユーザー毎のIET分布を含む統計パターンが時間経過と共に変化することを確認した。分析の結果、この統計パターンの変化は、Webサービスの操作への慣れとも解釈できる。我々の結果は、人の様々な行動に共通してみられる時間的不均一性の起源に対して知見を与えるという意味で重要である。さらに、Webサービスの向こう側に存在するユーザーの状態推定に活用することで、サービスのUI/UX向上施策や情報推薦技術への応用が期待できる。

近年，SNSにおけるトラブルが問題となっている．トラブルの要因はいくつか存在するが，その一つに「煽り」が存在する.しかし，SNSにおける「煽り」の詳細な定義付けはされておらず，正確な検出は実現されていない.そこで，本研究では，SNSにおける「煽り」の精度の高い検出を実現するために，煽り表現の分類を行った．対象データとして，Twitter APIを用いて煽りと分析者が判断したツイートを収集し，構成要素と考えられる手段と意図，話題を抽出して，アノテーションした．そして，各ツイートに含まれる構成要素の統計データを用いて，χ二乗検定，因子分析を行った．χ二乗検定では，構成要素のカテゴリごとに頻出しやすい組み合わせが得られた．因子分析では，プロモーション系，決めつけ系，誹謗中傷系，マウント系，誘導系の因子などが得られた．得られた結果は，SNSにおける「煽り」の構成要素と，その関係性に関する特徴を示しており，煽りツイートの分類に有用であると考えられる．

本研究は、複数の季節変動がある時系列データの高精度な長期予測を小さい計算コストで行うことを目的とする。基礎となるモデルとしてFEDformer(Zhou et al., 2022)を使用する。FEDformerでは、周波数領域でのAttentionによって季節変動を捉える工夫がされており、また、周波数領域での行列計算の際に周波数成分をサンプリングすることで計算コストを下げる工夫がされている。結果として、FEDformerは6つのベンチマークで当時の最高性能を達成したことをZhouら(2022)は報告している。しかし、Zhouらは周波数成分のサンプリングを行う際に重要な条件を無視していた。そのため、予測において重要な周波数成分をサンプリングする確率が低くなり、サンプル数を大きくしないと精度が低下するという問題があった。そこで、スペクトルの振幅によって重要度を定め、その重要度に基づいて周波数成分をサンプリングすることで重要な周波数成分をより少ないサンプル数で選べるように改良した。それによって、複数の季節変動がある時系列データの長期予測において他のモデルに比べて高い精度を現実的な計算量で達成した。

量子技術の発展に伴い、量子コンピュータを機械学習に応用する量子機械学習への関心が高まっている。また、量子性にインスパイアされた古典アルゴリズムであるテンソルネットワークも、機械学習の分野で注目を集めている。本研究では、これらアルゴリズムの実社会への応用を見据えて、ファイナンス領域で重要な問題の一つである株価リターン予測に取り組んだ。具体的には、量子機械学習の一つである量子ニューラルネット、及びテンソルネットワークの一つである行列積状態を用いてクロスセクションでの株価リターン予測モデルを構築した。更に、日本の株式市場に対して予測モデルの結果を基にポートフォリオを構築し投資パフォーマンスを測定した。またベンチマークとして線形・及び古典ニューラルネットモデルでも同様の分析を行い提案モデルとの性能比較を行った。実験の結果、行列積状態モデルがベンチマークを上回るパフォーマンスを獲得した。また、量子ニューラルネットモデルと古典ニューラルネットモデルのパフォーマンスは局面に依るところが大きいものの、直近の市場環境では量子ニューラルネットモデルが優れた性能を発揮することを確認した。

産業用制御システム (ICS)の安全性を確保するためにネットワーク内の異常通信の検知は重要だが，ICS内で利用される独自のものを含めた多種多様な通信プロトコル全てに対応した異常検知ルールの作成は困難である．そのため，パケットペイロードの特徴を事前知識なしで学習し，広範なプロトコルに対応可能なBidirectional Encoder Representations for Transformers (BERT)による特徴抽出を用いた異常通信検知が注目されている．しかしながら，実運用のための性能検討が十分にされているとは言えない．そこで，本稿ではパケットペイロードを対象としたBERTによる特徴抽出を用いた異常通信検知に対して，その特徴や有用性を検討するために性能測定実験を行う．具体的には(1)代表的なプロトコルのペイロードをランダム書き換えによる検知性能を測定し，(2)実運用上で重要な過検知補正技術を適用することによる性能向上について確認する．本稿ではこれらの実験により，パケットペイロードを対象としたBERTによる特徴抽出を用いた異常通信検知の性能を示し，その有効性について検討する．

既存の継続学習の研究では豊富にあることが前提となっているラベル付きデータに関して、実世界において十分に得られない状況で学習をするための半教師あり継続学習に取り組む。画像分類タスクにおいて深層ニューラルネットワークのソフトな出力を擬似ラベルとして用いる半教師あり継続学習手法を提案し、また半教師あり継続学習シナリオを定義する。実験では提案手法および比較手法を複数の継続学習シナリオにおいて用い、新しいクラスが増加するステップごとの精度及び最終精度、全ステップの平均精度をもとに評価する。

Sign language production (SLP) aims to generate sign language frame sequences from the corresponding spoken language text sentences. Existing approaches to SLP either rely on autoregressive models that generate the target sign frames sequentially, suffering from error accumulation and high inference latency, or non-autoregressive models that attempt to accelerate the process by producing all frames parallelly, which results in the loss of generation quality. To optimize the trade-off between speed and quality, we propose a semi-autoregressive model for sign language production (named SATSLP), which maintains the autoregressive property on a global scale but generates sign pose frames parallelly on a local scale, thus combining the best of both methods. Furthermore, we reproduced the back-translation transformer model, in which a spatial-temporal graphical skeletal structure is encoded to translate to text for evaluation. Results on the PHOENIX14T dataset show that SATSLP outperformed the baseline autoregressive model in terms of speed and quality.

PINN is a PDE solver realized as a neural network by incorporating the PDEs to be satisfied into the network as physical constraints. In this study, focusing on how to select the collocation points, we propose an active learning method to improve the efficiency of PINN learning. The proposed method uses variational inference based on dropout learning to evaluate the uncertainty of the solution estimate by PINN and defines an acquisition function for active learning based on the uncertainty. Then, by probabilistically sampling collocation points using the acquisition function, a reasonable solution can be obtained faster than random sampling. We demonstrate the effectiveness of the method using Burgers’ equation and the convection equation. We also show experimentally that the choice of the collocation points can affect the loss function, the fitting of initial and boundary conditions, and the sensible balance of PDE constraints.

It is important for infrastructure managers to maintain a high standard to ensure user satisfaction during a lifecycle of infrastructures. Surveillance cameras and visual inspections have enabled progress toward automating the detection of anomalous features and assessing the occurrence of the deterioration. Frequently, collecting damage data constraints time consuming and repeated inspections. One-class damage detection approach has a merit that only the normal images enables us to optimize the parameters. Simultaneously, the visual explanation using the heat map enable us to understand the localized anomalous feature. We propose a civil-purpose application to automate one-class damage detection using the fully-convolutional data description (FCDD). We also visualize the explanation of the damage feature using the up-sampling-based activation map with the Gaussian up-sampling from the receptive field of the fully convolutional network (FCN). We demonstrate it in experimental studies: concrete damage and steel corrosion and mention its usefulness and future works.

Sleep quality can be affected by several factors, such as sleep environment, lifestyles and so on. Existing sleep quality evaluation methods did not consider the impact of these factors. This research proposed a novel deep learning architecture with multiple-factors for sound-based sleep quality assessment. Utilizing sleep sound for sleep quality evaluation is low-cost and contactless, also, sound data can reflect several physical behaviors such as snore, cough and body movements, which are important when human experts manually evaluate sleep quality. This research utilized VAE-LSTM to learn sleep patterns in sleep sound and applied Gated Variable Selection Network (GVSN) to select useful information in factors. We recorded whole night sleep sounds of more than 100 subjects by microphone at home and collected questionnaires for experiment. The results show that the proposed method can perform accurate sleep quality prediction as well as factor importance analysis.

Real-time detection and tracking of fish in a school might have multifold functions to contribute to collective behavior analysis and precision fish farming practices like individual monitoring for growth, anomaly detection, population counting, feed management, and guided and directional control for various measurements. Although the method called SORT (simple online and real-time tracking) and its extensions (e.g., SORT, OC-SORT) are widely used for tracking humans (e.g., pedestrians), such algorithms might have a great challenge to track objects with a similar appearance (e.g., animals). Among them, tracking fish in a school is much more difficult because of their similarity in size, shape, and appearance. Therefore, this research aims to compare the performance of multiple object tracking (MOT) methods, specifically SORT and its latest extension, OC-SORT, to find suitable algorithms for further applied research on various physical and behavioral measurements of fish for individual, collective behavioral analysis, and precision fish farming practices in the future.

A key challenge for e-commerce platforms is how to build trust between buyers and sellers and help buyers make better purchasing decisions. In this regard, researchers are interested in addressing the information asymmetry between buyers and sellers. In this study, we focus on featured products that are often sold at a higher price than the original price and examine whether signals hidden in the seller's presentation of such products can mitigate this information asymmetry. To do so, we compute a sentiment score for each product presentation text based on word frequency through text analysis. Finally, we drop this sentiment score into a logistic regression model to see if these variables can significantly influence buyers' purchase intentions as signals. In conclusion, we find that the calculated sentiment scores can have a significant impact on customers' purchase intentions and can be regarded as a new signal to reduce information asymmetry between buyers and sellers.

We propose a knowledge-aware attentional neural network (KANN) for dealing with recommendation tasks by extracting knowledge entities from user reviews and capturing understandable interactions between users and items at the knowledge level. The proposed KANN can not only capture the inner attention among user (item) reviews but also compute the outer attention values between users and items before generating corresponding latent vector representations. These characteristics enable the explicit preferences of users for items to be learned and understood. Furthermore, our results and analyses highlight the relatively high effectiveness and reliability of KANN for explainable recommendation. Our code is publicly released at https://github.com/liuyuncoder/KANN.

Financial data contains a vast amount of information relating to financial terms and business entities. Without properly organizing the data, it is difficult for artificial intelligence (AI) systems to utilize financial knowledge effectively and efficiently. In this paper, we, therefore, present our ongoing work on constructing a Japanese Financial Knowledge Graph to aid the financial domain AI applications.

The use of general personality traits, specifically the Big-Five personality traits, in recommendation systems has been widely explored and adopted in various fields such as music, film, and literature. However, research on personality-aware recommendations in specific domains, such as finance and education, where domain-specific psychological traits such as risk tolerance and behavioral biases play a crucial role in explaining user behavior, remains limited. To bridge this gap, this study investigates the effectiveness of personality-aware recommendations in financial stock recommendation tasks. Firstly, the paper demonstrates the utility of general personality traits in financial stock recommendations. Secondly, this paper shows that incorporating domain-specific psychological traits along with general personality traits enhances the performance of the recommendation system. Thirdly, we propose a personalized stock recommendation model that incorporates both general personality traits and domain-specific psychological traits as well as interaction data, resulting in superior performance compared to baseline models.

Recommending attractive products is generally implemented in internet shopping to increase customers’ purchasing desire. When conducting such sales promotion measures, rather than treating all customers equally, a higher degree of effectiveness can be expected when grouping customers by industry sector and their purchasing behavior features and then implementing sales promotions tailored to each group. Furthermore, customizing the promotion for each customer will improve the effectiveness of the measures even further. The method proposed in this study first extracts a core group of customers for each industry sector and clusters other customers according to their distance from the core group in a multidimensional space of dozens of purchase behavior feature variables such as purchase amount, frequency, and the number of categories. Collaborative filtering is then performed within each customer cluster to recommend products suitable for each customer. We confirmed that the proposed method improves LTV by recommending specialized products to customers in clusters with low LTV.

Sarcasm detection is a challenging task, which identifies expressions that have the opposite meaning of what is written. Most previous works only measure sentiment polarity in sentences. However, more features are needed for improving the result. In this paper, we intend to compare different feature extraction methods including n-gram, sentiment, punctuation, and part of speech features for sarcasm detection. Firstly, sarcastic data are collected using Twitter API, and preprocessed by removing all the hashtags, mentions and URLs. Then, after all features were extracted, they are combined by One Hot Encoding. Finally, we use two classification methods: Support Vector Machine and Logistic Regression for comparison. In our experimental results, n-gram feature gives the best performance compared to the other individual features. Support Vector Machine gives a better performance than logistic regression with an F1-measure of 79.64%. This shows the potential of combining different features for sarcasm detection.

Representing text into a multidimensional space can be done with sentence embedding models such as Sentence-BERT (SBERT). However, training these models when the data has a complex multilevel structure requires individually trained class-specific models, which increases time and computing costs. We propose a two step approach which enables us to map sentences according to their hierarchical memberships and polarity. At first we teach the upper level sentence space through an AdaCos loss function and then finetune with a novel loss function mainly based on the cosine similarity of intra-level pairs. We apply this method to three different datasets: two weakly supervised Big Five personality dataset obtained from English and Japanese Twitter data and the benchmark MNLI dataset. We show that our single model approach performs better than multiple class-specific classification models.

Answering questions involving financial documents using a language model requires the ability to recognize tabular and textual data, as well as numerical reasoning. This article explains the challenges, recent progress, and our approach to tackling this problem by incorporating external structured knowledge. We also introduce our financial knowledge graph (KG) linking companies to people, industries, and facts extracted from public financial filings. The KG is part of our work to advance machine-learning models for more complex financial questions beyond the scope of the previous models and datasets.

Recognizing financial terminologies from text is essential for key information retrieval and content understanding. In general, financial terminologies do not appear in single-token form but are composed of several tokens. Also, in terminologies, a proper name might have diverse expressions, like abbreviations and morphological inflection, which sacrifice the recognition performance on recall. In this paper, along with transformer-based language models, i.e. XLM-Roberta, we propose a mechanism to train the neural classifier to distinguish terminologies from plain text, by learning from the sequential tags of targeting tokens. Initially, the targeting tokens are from a list of terminologies. To involve the diverse expressions, we inventively generate different morphologies of terminologies and utilize them to extend the targeting tokens. The experiments' results prove that this mechanism shows a convincing improvement in identifying financial terms from plain text.

In this paper, I demonstrate that a reasonably sized set of handcrafted features (866, applied to titles and description texts separately) plus encoded metadata can be used to predict the click-through rates of the dynamic Responsive Search Ad format, exceeding the performance of some fine-tuned Transformer-based large language models at a fraction of the training cost.

紀元前の時代から任意の大きさの魔方陣生成は研究されている．しかし，複雑な組合せ最適化問題を解くことになるため, 既存手法の多くはルールベースに則って作成する手法である．そのため，ごく一部の特殊な魔方陣しか生成することができない． ルールベースでない生成方法の一つとしては，進化計算を用いたものがあり， 本論文では魔方陣の制約を行・列・対角線の3段階に階層化し,各階層における制約(定和)が充足された個体を次階層の初期個体として 連結する多段進化戦略を提案する. 魔方陣とは，方陣における行・列・対角線の各要素の和がすべて等しい値(定和)となる状態である． この制約を行・列のみで充足する方陣を半魔方陣と呼ぶ． 本研究では，半魔方陣を2層に分割し，行のみで充足する個体を生成する下層を追加したことにより，行方向の探索が不要になり 探索回数の大幅な削減に成功した． 実験では，先行研究と提案手法における必要な時間を及び世代数の短縮を比較し，大幅な削減が実現できた． 具体的には90×90の魔方陣を先行研究と比較して約232倍の速度で生成でき平均6分57秒で魔方陣の生成に成功した（試行数10）.

木構造データから特徴的構造を獲得するための機械学習手法が注目されている． 本研究では，木の編集距離と進化的学習を利用して，正事例と負事例の木構造データから 特徴的なワイルドカード付きタグ木パターンを獲得する手法を提案する．

深層学習をベースにした画像分類モデルには、敵対的サンプル(adversarial examples:AE)を誤分類するという脆弱性がある。既存の防御手法はAEに対する分類精度を改善していたが、摂動が付与されていない正常な画像に対しての分類精度が悪化する。この問題を解決するために、我々はself-examination mechanismという新たな防御機構を提案する。本手法では、最初に入力画像を分類した後、SHapley Additive exPlanations(SHAP)という説明可能AIの手法を用いて分類モデルの推論過程を検証し、異常ならばSHAPの出力に基づいて再度分類を行う。よって、正常な画像の分類精度を大きく下げることなく、誤分類を防ぐことができる。実際に、CIFAR10を学習したResNet及びWideResNetに提案手法を適用した結果、AEに対する精度が改善し、正常な画像に対する精度はほとんど悪化しないことを確認した。

計測技術の発展により試合中の様々なデータが取得可能になったことで、高度なデータ分析を用いたチームの戦術立案や選手評価、コーチングが行われている。スポーツの中でもサッカーなどのゴール型競技の分析は、試合状況が時間的・空間的に連続であることに加え、複数のエージェントが個々に試合状況を認識・意思決定を行うため、難易度が高いとされている。代表的なエージェントモデリングの１つである深層強化学習を用いた先行研究では、チームを１つのエージェントとみなして、離散的な各イベントでのボールを保持する選手やチームを評価する研究が多く、時空間的に連続な状態空間に基づき、ボールから遠い選手も含めた複数選手の行動評価を行うことは困難であった。本研究では、サッカーの強化学習プラットフォームであるGoogle Research Footballを模倣した連続状態空間において離散行動空間を持つ深層強化学習モデルに基づき、複数選手の行動価値関数を実データから推定することにより、実際の試合の行動評価を行った。実験ではJリーグのあるチームの１シーズンのデータを用いて、計算された選手評価指標の妥当性を検証した。