理学療法プログラムの立案における検査の1つに動作分析が挙げられる．動作分析で，理学療法士は自らの経験に基づいて患者の動作を観察するため，動作分析のテキストには，経験に基づく知識が多く含まれる．そのような知識を表出し，知識同士を関係付けることが可能になれば，客観性の担保やベストプラクティスの共有につながり，理学療法士が動作分析を行う際の一助となる．しかし，動作分析のテキストには，言語的・意味的あいまいさが多分に含まれるため，計算機による知識の画一的な表出は困難である．この問題に対して，先行研究では動作分析における知識の最小単位（PBPU：Problem Based Physiotherapy Unit）を定義し，動作分析のテキスト内のPBPUを因果関係に基づいて紐づけることが理学療法士の観察能力や論理構成力の把握に対して有効であると示唆された．しかし，PBPUの抽出作業は人手で行う必要があるため，膨大な作業時間を要する．本研究では，この課題を解決するためにPBPUをルールベース手法によって機械的に抽出することを試みた．その結果，半数程度のPBPUが自動抽出可能であることを示した．

脳卒中のリハビリテーションは、障害の重さや、回復の見通しに沿って計画するようガイドラインに定められている。正確な回復の見通しには、患者の身体機能に加え、運動耐容能や身体活動量への着目が必要となる。そのため、これらの定量化手段としてウェアラブルデバイスの活動データが注目されている。これまでにリハビリテーション病棟の脳卒中入院患者を対象に活動データから臨床指標を予測可能か検討された。しかし活動データから、その同時期に測られた臨床指標（FIM）の予測はできても、その臨床指標の将来値をどの程度予測できるか不明であった。そこで本研究では活動データから予測可能な将来時期を検証した。計測は入院から1週間以内に開始し、胸部にて心拍数と加速度を48時間取得した。予測器はランダムフォレスト、評価は5分割交差検証を用いた。結果、活動データによる予測値と真値の決定係数は、測定日時点で0.74(n=1196)、2週間後で0.81(n=850)、典型的な退院時期に相当する9週間後で0.79(n=394)となり、いずれも有意であった。本結果より入院初期の活動データから退院まで臨床指標の予測可能性が示唆された。

食事は健康維持だけでなく，共に食事をする人と親交を深めるなど，日常生活における楽しみの一つと言える．しかし，視覚障害を持つ場合，料理の位置や形状がわからないことにより不安や恐怖感が生じ，視覚障害者が食事を楽しめないことや食事の機会を避けてしまうことが報告されている．移動や読み書きに関しては白杖や点字に始まりスマートフォン等を用いた視覚障害者の自立を補助する手段が考えられているが，食事に関しては食器の配置や色と形状の工夫に留まっている．また，食事中に介助者からの補助を好まない視覚障害者も多いため，視覚障害者が自立して食事をするための手段が必要だと考えられる．本研究では視覚障害者の自立した食事を補助するシステムに必要な機能をプロトタイプシステムを用いて検証した．プロトタイプシステムでは深度カメラを用いて食器及び料理の位置と量を計測するシステムを開発し，目隠しをした被験者による評価を行うことで視覚障害者の食事を補助するシステムに必要な要件を整理した．

人工知能を用いて眼底画像から実年齢を推定することができることが知られているが、臨床的にどこを見て判断すれば良いかは不明確である。また、機械学習モデルがどの部分から実年齢を推定しているかも明らかになっていない。人工知能がどの部分から推論を行っているかを解釈するための手法として Grad-CAM などが知られており、我々も DiDA という手法を開発している。これらの研究の多くは物体検出や分類を扱っており、年齢推定のような回帰問題に関する研究は少ない。本稿では、Grad-CAMとDiDAの各手法を眼底画像からの年齢推定に適用し機械学習モデルがどの場所から実年齢を推定しているかを明らかにすることを試みた。Grad-CAM及びDiDAを適用した結果の比較も行ったところ使用した約8割の画像で同様な場所に反応が見られた。共通の反応が見られた場所は、DiDAではマスクすると推定年齢が下がる部分であり、機械学習モデルはこれらの部分を実年齢を高く推定する要素として捉えていることが示唆された。

近年、樹脂業界では、災害などの影響により、材料の供給が突発的に停止することがある。自動車に用いられる樹脂材料の評価項目は多岐に渡り、評価工数が多く必要である為、材料の供給が停止となる緊急時において、材料の迅速な切替えができていないのが現状である。樹脂材料の評価項目の中でも、特に評価工数が長く、必要となる機会が多いのは、疲労試験である。本報では、機械学習を用いることで、高分子複合材料における疲労限の予測を目指した。今回用いた解析手法は、決定木のアンサンブル法(Random Forest、XGBoost、Light GBM)である。解析の結果、材料の熱的特性や物性、そして試験条件が疲労限に大きく寄与していると分かった。また、樹脂に関するドメイン知識と照らし合わせた結果、解析に用いたデータセットに対しては、XGBoost回帰が適切であると分かった。結果、学習に用いていない材料メーカーの新規の高分子複合材料においても、決定係数が0.803と汎化性のある疲労限の予測モデルを確立することができた。今後も試験データを追加し、モデルの精度向上を目指していく。

昨今，Covid-19による社会環境の変化もあり，企業における従業員の健康維持・推進の観点はますます重要視されている．健康経営を行う上でも，特に，うつ病や睡眠障害といった，有病率が高く，従業員のプレゼンティーイズムに影響を与える疾患に対しては的確な予防施策を実施していく必要がある．ただし，これら疾患は日々の生活習慣と深く結びついているものの，その疾患構造はまだ不明な部分も多く，どんな因子にアプローチすることで効果的な予防施策となるかは見通せていない．そのような中，各人の生活習慣の情報が取得されている健康診断データを用いることで，食生活や運動習慣に関する質問項目，及び各種血液検査値といった因子の依存関係をデータドリブンに明らかにし，効果的な施策の検討へとつなげられる可能性がある．本研究では上記目的の予備検討として，説明性の高い有向グラフの形で上記関係を探索可能な，Bayesian NetworkやLiNGAMに代表される因果探索手法に注目する．健康診断データベース（JMDC Claims Database）への適用結果を通して，実用面の観点から，それら手法の特徴と有用性を比較，検討した．

医療分野において自動診断は幅広く研究されており、特に症状の有無をラベルとした分類問題は代表的なアプローチの一つである。心電図（ECG）からの心臓病検出にも教師あり機械学習を適用する研究が盛んで、近年特にニューラルネットワークベースのモデルが高精度を記録している。しかし、これらの学習ではアノテーションコストやラベルの不均衡性がしばしば課題となる。特に、医療領域においてはラベリングに専門知識を必要とする上、正例が負例に比べて極端に少ない場合が多く、高品質なデータを大規模に用意するには困難が伴う。このような課題に対しデータ拡張法が有効となる場合がある。データ拡張とは元のデータとラベルのペアに対して摂動など一定の操作を施し人工的なデータを作成することである。本研究では限られた数のデータしか利用できない状況での左室駆出率（LVEF）低下検出の精度向上を目指しデータ拡張を行う。データ拡張は画像処理分野では研究が多いが時系列データに対する事例はまだ少なく発展途上である。本発表では、ECGの周波数領域における最適輸送を用いて複数データを合成し拡張されたサンプルを得る手法の有効性を報告する。

2022年，日本の65歳以上の高齢者の割合は28.9％であり，今後も高齢社会が継続することが予測される．一方，高齢者のスマートフォンの所有率が近年高まっており，65歳以上のスマートフォン所有率は74.2％である.こうした背景の下，様々なイベントのデジタル化が進んでいるが，高齢者の関心が高い芸術分野のイベントにおけるデジタル化の事例は少ない．本研究では,兵庫県立芸術文化センターの協力の下，芸術分野のイベントをデジタル化し，参加者にどのような行動の変化が見られるかを検討する．デジタル化の効果が確認できれば，会員登録への誘導など，会員数を増加し，県民の間で芸術文化を拡大させるような行動変容を狙いたいと考えている．本論文では，2022年11月に行った芸術イベントのデジタル化についての事例を紹介する．兵庫県立芸術文化センター協力の下，芸術文化を県民に紹介するイベントにおいて，スマートフォンだけで完結するデジタルスタンプラリーを実施し，アンケートを行ってデータを収集した．分析の結果，デジタルスタンプラリーには高齢者も参加し，デジタルイベントに関心を惹きつけられる可能性を確認した．

Variational AutoEncoderに基づいた個別最適な問題推薦システムについて提案する。提案システムは、多数の学習者と多数の問題についての正解した、不正解した、未回答である、の三値の入力から、学習者が未回答の問題について正答率を予測することができる。この予測正答率に基づいて、学習者一人一人について程よい難易度の問題を推薦する。英語の4技能に関する問題を題材とした実験を成人参加者６名、高校生参加者41名で実施した。結果、成人と比較して1/10の問題しか回答しなかった高校生については、予測と実測の間には大きな乖離が生じたが、多数の問題に回答した成人6名の未回答問題の正答率を正確に予測でき、程よい難易度と設定した予測正答率75％の問題を出題できた。

本研究はGPT-3を用いたアドバイスの自動生成によって、学生の学習計画と振り返り内容に対する支援を行う。自動生成されたアドバイスの内容について性能評価を行う。 事前に定めたルーブリックによって学生の記述の問題点を判定することで、（１）学生個別の内容に応じたアドバイスの生成ができるか、（２）品質の揃ったアドバイスを生成できるかなどを検証した。 自動生成されたアドバイスは，学習者の記述内容とROUGE-1 0.405， コサイン類似度0.906．ルーブリック評価に沿った定型文とコサイン類似度0.872という結果が得られた．これらの結果は手動作文と学習者の記述内容間の結果と近似したため，教員作文に近いバランスのアドバイスが生成できたことが示唆された．なお，コサイン類似度は，GPT-3のEmbeddingを用いた．今後の課題は，失敗例の改善検討と定性評価による検証である．

兵庫県立大学社会情報科学部では，実践力のあるデータサイエンティストの育成を目標に，学部1年生，2年生を対象として，連携企業の実データを用いた課題解決型演習(PBL)を実施しており，今年で４年目となる．本学部が育成を目指すデータサイエンティストとは，ITスキルと統計学の知識を用いてデータを分析する力だけではなく，実社会の課題を定式化し必要なデータを収集する力や，分析の結果を用いて社会をよくする提案が出来る社会実装力を備えた人材である．低学年はデータ分析力が低いが，ツールを利用して実データを分析し，実店舗へ向けた販売施策を提案する過程を体験することで，経営を改善することへの興味を持たせることや，データだけでなく現場を見て考えることの重要性を学ばせることを狙いとしている．2019年の学部創設以来1年生向けのPBLを4回実施し，今年度は新しい試みとして，実習対象となる店舗を１店舗に限定して実施した．事後に学生アンケートを取ることで，演習を評価した．本稿では，2022年度実施したPBL演習の概要と，これまでのPBL演習を通じて得られた，実データを利用するPBLの長所と課題について述べる．

記述式答案の自動採点とは，設問に解答した答案に対し，事前に設定された採点基準に基づいて自動で採点し，得点を付与するタスクである．本研究では，実際の教育現場を想定し，従来研究の採点性能を落とさずに少量の訓練データで国語記述式答案の自動採点することを目的とする．少量の訓練データとは，人手で採点した採点済み答案を50件，未採点答案を200件である．未採点答案200件を用いてファインチューニングしたGPT-2で答案を生成し，採点済み答案を用いて訓練した項目点予測モデルで生成した答案を採点した．そして，生成した採点済み答案を用いて採点モデルを構築した．実験結果から採点済み答案50件，未採点答案200件では従来研究と同等の採点性能を達成することはできなかった．しかし，生成した採点済み答案数が増えると性能が向上することが分かった．従来研究では，項目点に加えてアノテーションと全体点も採点モデルの学習に使用いているが，本研究では項目点だけをモデルの学習に使用した．今後，アノテーションや全体点を活用することにより，少量の訓練データでも採点性能を達成できる可能性がある．

<背景>“ことば”や“聴こえ”に困りごとを持つ小児に，コミュニケーション能力の向上を目的に，言語聴覚士による言語リハビリが行われることがある．言語リハビリを受けるには施設に行く必要があるなど課題がある． <目的>本研究ではオンライン会話の動画から，小児の会話への集中度・興味関心を反映する客観的な評価指標を探索することを目的とした． <方法>オンライン会話の実験で得られた2～8歳の小児19人から得た合計57本の動画を，表情による感情推定AIモデルに入力し，1本の動画におけるAIモデルが推定した感情の時間の割合を出力した．また，オンライン会話相手の言語聴覚士と，小児に同席しサポートした支援員に対し，小児の集中度・興味関心に関するアンケートを実施した．AIモデルによる解析結果とアンケート結果を比較した． <結果>AIモデルによって判定したHappinessの感情の時間の割合や，顔が検出されなかった時間の割合が，集中度・興味関心と弱い～中程度の相関を示し，オンライン会話への集中度・興味関心を反映した客観的な指標として利用できる可能性が示唆された．

建物のファサードデザインを決定するにあたり、建築設計者は複数のアイディアを検討し、新しいデザインを生み出すために多大な労力と時間を要している。一方、画像生成の技術は近年大きく発展しており、特にSDEditといった手法は、テキストから画像を生成する拡散モデルと組み合わせることで、簡素なイラスト画像から高品質かつクリエイティブな画像を生成することができる。しかし、この手法ではイラスト内の色とテキストの関係を結びつけることが難しく、ガラス、金属、石材など様々な材料で構成されるファサードデザイン画像を意図通りに生成・編集することは困難である。そこで我々は、色とテキストの関係を結びつけた、ファサードデザインの生成・編集手法を提案する。具体的には、学習済み拡散モデル内で使用されるAttention機構において、イラスト内の各色によって単語の重要度を変化させ、編集箇所によって参照テキスト先を切り替えることで実現する。検証から、提案手法は事前に指定したイラスト内の色とテキスト情報を十分に反映し、従来手法と比べて、より使用者の意図に沿った画像生成と編集が可能であることがわかった。

設計者によるファサードデザインの考案には、自己のデザインによるベースとなる案を作り、そこから顧客の要望などを取り入れつつデザインを昇華させていくというフローがある。現在の画像編集技術は 逆変換モデルによって潜在表現を獲得して編集を行なう GAN ベースのものが主流である が、近年 Diffusion Model を用いた研究が台頭して来ている。特に潜在空間を対象にしているLatent Diffusion Model(あるいはそれを基にした Stable Diffusion)は、モデルが扱いやすい上に精度が高い。本研究では Stable Diffusion に Attention を用いたレイアウト指定、および CLIP の出力変換機構を併用することで細部に狙った画像編集を、簡単なプロンプトのみで達成するシステムを提案する。実設計者による評価を通し、提案手法の有用性と今後の課題を確認した。

コーヒーの味わいは，豆の種類，状態，挽き方や湯の温度などのほか，抽出方法にも大きく依存する．手軽に本格的なコーヒーを味わう方法としてドリップ方式が一般的であるが，作業や経験の少ない者にとって，蒸らし時間，湯量，湯を注ぐタイミングの管理は難しいため，好みに合うコーヒーを淹れるには何らかの誘導が必要となる．音楽には，感情の誘導，雰囲気作り，脳の活性化，運動効果の向上などの効果があることが知られており，各効果が得られると銘打つ音源が配布されているが，コーヒー抽出時に流す音源はみあたらない．また，音楽を聴いて抱く印象や沸き起こる感情は個人ごとに異なるため，一般向けの音源が各個人にとって有効とは限らない．聴くときの気分や状況で感じ方が変わることもあり，同じ曲を聴き続けると飽きることもある．本研究では，コーヒー抽出の知識や経験の有無に関わらず，愉しみながら美味しいコーヒーを抽出できることを目的とし，共生進化に基づきコーヒー抽出の際に流す楽曲を自動生成する手法を提案する．実験の結果，提案手法により生成された楽曲の再生によって，理想的なコーヒー抽出作業を誘導できる可能性が示唆された．

現在多様なコンテンツを生成・配信できるインフラが急速に発展しており，次から次へとコンテンツが消費されることで消費者の新しいコンテンツを求める貪欲さが増す中で，新しいストーリーやシナリオの供給という創造的作業への負荷が急速に高まっている．そのためAIによる人間の創造的作業のサポートが期待されている．現在多く行われている機械学習を用いた物語生成では，流暢な文章を生成する一方で，ありきたりな文章を生成しやすく，文章が長くなると繰り返しが生じる可能があり，さらに物語の構造を明示的にモデル化することができず，また制御することも難しいという欠点がある． そこで本研究では物語構造を利用して，一貫性を保持しつつ創造性を有し，人々のコンテンツ制作の支援に活用ができる因果関係に着目したあらすじであるプロットの自動生成を行った．そしてクラウドソーシングを利用してプロットの評価を行った結果，構造に則っているほど一貫性が保たれること，物語の起伏や面白さに関しては大規模言語モデルによって生成されたプロットより評価が高いことが分かった．さらにどのようなプロットに対してどのような人が創造性を感じるのかの関係を考察した．

大規模言語モデルGPT-3 を用いることで，音楽的知識や作曲経験のない人でも自動の作詞作曲が可能である．しかし，ユーザーが意図するコンセプトや雰囲気に合った歌詞やコード進行が生成されるよう，GPT-3による楽曲生成を制御する手法は明らかになっていない．本研究では，ユーザーの意図に沿う楽曲生成手法の提案と評価を行う．具体的には，既存楽曲の雰囲気やコンセプトを表現するキーワードや説明文を用い，GPT-3の再学習を行う．評価基準として，生成楽曲の音楽的，文脈的妥当性，キーワード網羅性，ユーザーの意図に添えているかに着目し，評価実験を行った．

本報告では，野球中継の解説音声を自動付与する仕組みについて述べる．解説音声（主音声では伝えていない番組の情報を補足するもの）は視覚に障害を持つ方々がより番組を理解するために必要不可欠なサービスである．あらゆる番組に対して解説音声を付与することが期待される一方，生放送であるスポーツ中継への解説音声の付与が望まれている．しかし，人的コスト，リアルタイムで実施することの困難さの観点から，サービスとして提供できていないのが現状である．この課題に対処するため，これまでに解説音声配信システムを開発したが，人間がオペレーションすることによる処理速度の限界が課題として残っていた． そこで，本研究では野球中継映像から画像認識により解説に必要な情報（球速，ボールカウント，打順）を抽出し，その情報をもとに解説テキストを既存システムに対して自動付与し，自動送出する仕組みを提案する．実験の結果，人間がオペレーションするよりも安定かつ高速に解説音声を提供可能であることが分かった．

地球環境保全のため，携帯端末で撮影した廃棄物画像から，リサイクル可能な資源物を識別する児童教育用アプリケーションの開発をめざしている．本研究では，CNNによる転移学習を行い，実際に撮影した家庭廃棄物の画像の分類を行った．独自データセット「STE」を用いて原画像と背景を除去した画像に対し，TrashNetとの推定比較をこころみたところ，廃棄物種別により推定精度に差異が生じ，紙類やプラスチックはSTEにて，特に背景を除去する前処理を行うことで比較的良好に推定できることがわかった．

土木分野における特異な物体検知はその多様さに比べてデータが少ない．ドローン河川巡視はドローンにより広大な河川領域を撮影し，一般ごみを含む不法投棄などをAIにより検知することになる．常時飛行でない場合，空撮で捉えられることは少なく，一時的な不法占用等はさらに困難となる．既往の研究において，画角は異なるが地上で撮影された画像を学習データに加えることで学習を改善する効果が確認されているが，地上撮影であっても画像数が要求される．本研究では，学習を改善するデータ補強用の画像をStableDifusionなどの画像生成AIにより生成・学習が改善するか検証を行った．

エッシャー風タイリング問題とは、ある入力図形Sに対して、できるだけ形の近い図形Tを使ってタイリングを求める問題である。本研究では、エッシャー風メタモルフォーゼの自動生成を行う。具体的には、入力画像に映っているオブジェクトを分割してアフィン変換を行うことでタイル画像を生成し、タイル画像を上手く繋ぐための制約条件を新たに導入する。実験の結果，限定的ではあるがメタモルフォーゼの特徴を捉えた画像を自動生成することができ、色付き画像の形状パターン変化にも一部成功した。

本論文では，入力発話から得られた音響特徴量を用いて話者の抑うつ度を推定する手法を提案する．学習用発話音声データは実験参加者に同じ10文を音読してもらうことで収録し，音声収録の直後にベックうつ病調査票（BDI）に回答してもらうことで抑うつ度を判定している．音響特徴量については，2種類の音響分析器（openSMILE，Surfboard）で算出した音響特徴量セットおよびそこから絞り込んだ音響特徴量セットを用いる．また，機械学習器にはサポートベクター回帰とLightGBMの2種類を用いる． 実験の結果，leave-one-outで最も正解値との相関が高かったのは学習器LightGBM，特徴量Surfboardを用いた手法であった（相関係数0.932）．一方，leave-one-person-outでは，学習器LightGBM，特徴量Surfboard（絞り込み）を用いた手法で最も相関が高かった（相関係数0.344） が，全体的に相関が弱い傾向にあった．そこで，抑うつ度が極端に高いデータおよび極端に低いデータを除いて再度実験を行ったところ，相関係数0.798という結果が得られた．

エネルギーベースモデル(EBM)は深層生成モデルの1つであり，エネルギー関数の計算にニューラルネットワークを利用し，尤度最大化によるデータ分布の学習を可能にする．EBMは他の生成モデルに比べ，ネットワークの設計が柔軟であることなどの利点が挙げられる．EBMによる概念合成の分野では，概念の独立性という仮定を置いた上で，各概念に対応するエネルギー関数の総和によって複数の概念が指定された画像生成ができることが先行研究で知られている．一方で，実際は概念は独立ではないため，この仮定によって生成するデータの多様性が欠如する恐れがある．そこで本研究では，概念の独立性を仮定せずに複数概念が指定された画像生成手法を提案する．具体的には順序埋め込み(order embedding)という手法で概念情報を潜在空間に埋め込む．順序関係を保存した潜在空間上で概念の埋めこみ座標同士のmax演算をとることで，概念の組み合わせを指定した画像生成が期待される．実験により，提案手法による複数概念を持つ画像が生成されることが確認できた．

敵対的生成ネットワーク（GAN）などの深層生成モデルは高精度に画像を生成できるが，一方で画像の意味的な編集は重要な課題である．深層生成モデルの生成画像を意味的に編集するために，潜在空間における線形または非線形な意味的な経路を抽出し，これらの経路に沿って潜在変数を操作することで画像を編集する手法が提案されてきた．しかし，線形な経路を使う手法では抽出できる経路に制約が課されているため画像編集の質に限界がある．また，非線形な経路を使う手法では複数属性の可換な画像編集ができない．本研究では潜在空間における可換な属性ベクトル場を学習する手法を提案する．提案手法は複数属性の可換な画像編集と既存手法と比較してより柔軟な経路の抽出による質の高い画像編集が可能である．いくつかの事前学習済みGANを用いた実験から，実際に提案手法が複数属性の可換な画像編集と既存手法と比較してより属性ごとに分離した質の高い画像編集が可能であることを示す．

シーングラフ生成における画像内の物体間の関係予測に対して, 最適輸送を用いた損失で学習することで, 従来のモデルを超える性能を一部で達成し, 学習データに少ない関係ラベルの再現率を高めた. シーングラフ生成には, データセットの関係ラベルに重度の不均衡があり, 一般的な交差エントロピーを損失とする学習ではその分布に偏った予測を行ってしまうという問題がある. そこで我々は, ラベル間の類似性を輸送コストとして明示的に反映させやすい最適輸送を損失とした学習を, シーングラフ生成における画像内の物体間の関係予測に対して行い, その効果を評価した. 最適輸送の輸送コストは, 事前学習済みモデルから得られる単語の類似度を使って定義した.

本研究では，NaviGANとGAN Inversionを組み合わせることで実画像の分布外への編集を行う．NaviGANは通常学習データの分布内となる生成結果を分布外画像へ修正するGANの技術である．NaviGANを実画像に適用する場合，実画像をGANの潜在空間に埋め込むためにGAN Inversionが必要となる．本研究ではこの組み合わせにより，実在する顔画像に対して同一人物性を保持しつつ特定パーツの誇張を行うことを目標とする．目標達成の上でNaviGANと組み合わせるGAN Inversion手法として，様々な手法の中からファインチューニング型の手法が最適であることを明らかにした．よって，ファインチューニング型のGAN Inversion手法とNaviGANを組み合わせた画像編集手法を提案する．実験では，ファインチューニング型以外のGAN Inversion手法とNaviGANの組み合わせや，拡散モデル基盤の画像編集手法と比較し，提案手法が最も同一人物性を保持した特定パーツの誇張を実現していることを確認した．さらに，提案手法が実写顔画像だけでなく漫画顔画像に対しても適用可能であることを示した．

Q&Aサービスにおいて質疑応答を行う際, 質問文章が長文の場合や,拙文である場合など,読解に労力を要する場合がある.この時, 質問文章に対する適切な画像推薦が可能ならば, 画像の情報を基とした読解の補助を行うことができる. 本研究はSentence-BERT(以下SBERT)を用いたQ&Aサービスにおける,質問文に対する適切な画像推薦を行う機械学習モデルを提案する.具体的には,質問文と画像キャプションをSBERTによりベクトル化し,それらに対するコサイン類似度を測定し,最大値を所得した画像キャプションの画像を推薦することで達成する.また実用的な観点から考えた場合,SBERTが誤作動を起こした際の不適切な推薦結果を,最小化する必要がある.よって推薦画像が最低でもカテゴリ的観点からは正しく推薦されるようにするため, 補助としてBERTの転移学習に基づいたカテゴリ分類モデルを適用する.これは推薦画像を,それぞれのQ&Aサービスに存在するカテゴリごとに分類し,SBERTとコサイン類似度測定をカテゴリ内で行うことで実現する.

キャプションから画像を生成するText-to-Imageモデルの学習では、膨大な画像・キャプションのペアで構成されるデータセットが用いられる。しかし、このようなデータセットのキャプションは人手で付与されたものであり、Text-to-Imageモデルの学習にはより適したキャプションが存在すると考えられる。そこで本研究では、Text-to-Imageモデルの学習により適したキャプションを探索する学習フレームワークを提案する。具体的には、画像から擬似キャプションを出力するモデルを新たに導入し、このモデルとText-to-Imageモデルのパラメータを二段階最適化によって交互に更新する。本稿では提案手法に向けた予備的な取り組みとして、Text-to-Imageモデルの学習における二段階最適化の有効性を評価した。

時空間的に織り交ざった動画領域と静止画領域の特性を考慮した顕著性マップ予測の移動体の速度に依存した精度低減を改善するViNetを用いた顕著性マップ予測システムを提案する。動きの激しい広告動画において一部精度が低下する問題を低減し、より人間の視線に近い顕著性マップを出力することで、動画広告制作の精度を高め、ブランドリフト効果や認知効果をより向上する。試験制作された動画広告を用いた定性評価において安定した出力を確認し、複数の指標を用いた定量評価において精度向上を確認している。事前に視聴者の目線を視野に入れた広告動画の新しい制作フローをより加速させる技術となる。

近年，ドローン等の飛行体に無線通信機を搭載し，通信サービスを提供する上空通信プラットフォームが注目されている．我々は，飛行体に追加でカメラを搭載し，空撮した画像に機械学習による物体検出技術を適用させることで新たなサービスの創出を検討している．しかし，空撮画像の物体検出には，カメラと検出対象物の位置関係によって検出対象物の写り方が大きく変化するという課題がある．これは物体検出精度の低下をもたらす．そこで，我々は自動車を例として写り方パターンを分類し，パターンごとの空撮画像のみを学習させることで特化型の物体検出モデルを作成した．性能評価により，特化型物体検出モデルが汎用型物体検出モデル（様々な写り方の空撮画像を学習）よりも30%以上高いmean Average Precision を実現することを確認した．したがって，空撮画像の物体検出において対象物の映り方を考慮した特化型検出モデルは有用である．また，実運用において対象物の写り方変化に伴って複数の特化型検出モデルを使い分けることで物体検出精度の向上が期待できる．

本研究では一人称視点動画に対する機械学習技術の実運用を目指して、既存手法の結果の詳細な分析と、改善に取り組む。 ウェアラブルデバイスへの関心の高まりに伴い、一人称視点(first-person view)の動画に対する機械学習の取り組みが始まっているが、三人称視点の画像処理・動画像処理と比較するとその知見は多いとは言えない。 そこで我々は一人称視点動画に対する汎用機械学習モデルとして公開されているEgo-Exoに対して、各タスクの詳細なエラー分析を行い、2つの知見を得た。 第一にfine-tuning時のサンプルサイズが多い行動クラスほど認識精度がよい傾向にあること。 第二にオブジェクトや動作が明確なクラスは認識精度が高く、対照的に、動作が広範囲にわたっていたりオブジェクトの種類が複数あるようなクラスは認識精度が低いこと。 これらの知見は特定タスクに対するデータセットを構築する上では重要である。

オンライン広告を効果的に作成するためには、広告効果を事前に予測することが重要である。インターネット上で配信されるディスプレイ広告の画像は様々なアスペクト比を持つため、画像のアスペクト比を考慮することで、画像の広告効果をより正確に予測できると期待される。本研究では、相対位置バイアスを用いることで任意のアスペクト比の画像を扱うことができるVision Transformerモデルを提案する。実際の広告配信データを用いたクリック率予測タスクにおいて、画像を一律に正方形にリサイズするベースラインモデルとの比較を行い、提案手法の有効性を確認した。

音声想起 (speech-imagery) 時の脳波から想起内容を解析するBCI (Brain Computer Interface) の研究が盛んに行われている．しかし，音声想起における音高アクセントの特徴抽出を試みた報告は少ない．本研究ではまず，非侵襲的な方法で測定した日本語音声想起時の脳波 (Electroencephalogram; EEG) 信号について，電極に対するプーリング処理から線スペクトルパターンを得た後，目視による音節ラベリングを行い単語中の単音節想起区間を特定する．続いて，EEG信号から振幅スペクトラムと位相スペクトラムを計算した後，複素ケプストラムを求めて特徴量とする．最後に，部分空間法とCNN (Convolutional Neural Network) を用いた５分割交差検証に基づきアクセント識別実験を行い，CNNを用いた識別実験において高い正解率が得られることを示す．

模擬陪審員実験で収集したチャットログに対して、MatLabのLSTMネットワークモデルを用いた集団決定予測を行った。LSTMは深層学習による分類手法の一つで、シーケンスデータの長期的な依存関係学習に向く。 実験参加者には架空の殺人事件に関する情報が与えられ、４名の討議集団で有罪・無罪・推定無罪の３択で集団決定を行った。各討議集団のチャットから集団決定を予測したところ、82.3%の正確さで予測可能であった。ただし、学習時のテストデータに、有罪・無罪・推定無罪判決が十分に含まれる必要があった。 この実験では、各メンバーに配布された情報により条件が設定されていた。そこで、配布情報による発話の変化を探索するためにLDAトピックモデルによる分析を行った。各発話に与えられる各トピック比率を変数と見なし、情報条件「共有性(高・低)Ｘ情報(アリバイ・ダミー)」による分散分析を行ったところ、トピック比率に実験条件の影響が示された。トピック比率には、討議前後に測定された意味関連性記憶（虚記憶）とも関連性が示唆された。 以上の結果より、心理学実験研究に機械学習を導入する妥当性とその効用について議論する。

This paper focuses on the problem of managing crowdsourced deliberation, with the aim of partitioning deliberation among a set of moderated democratic techniques over multiple sessions of deliberation in idea contest. Specifically, we propose that large-scale deliberation should be separately performed over multiple sessions such that (1) large-scale deliberation should be done by machine agency first, (2) then human expert should manage over the course of medium-scale deliberation, and finally (3) the crowd should be allowed to perform the small-scale deliberation. We first provide an overview of the hybrid deliberative initiative that is being used to facilitate deliberation in a real-world idea contest. Next, we conduct an actual idea contest in collaboration with a governing agency to compare the efficacy of each deliberation technique in managing the contest.The contested generated 14,587 opinions from 3,892 registered participants, were collected in 2020 by internet forum over three sessions, which manage by machine ranking, human expert rating and crowd voting tools, respectively. Our results demonstrate that our initiative manages meaningful deliberation in the civic process. Finally, we discuss the advantages of our initiative over previous approaches and advocate for governing agencies of idea contests to adopt our initiative for future large-scale idea contests.

オンライン議論の課題として，議論の停滞が挙げられる．特に少人数の場合には，話すべき議題を網羅できない，深めきれないなどの問題が生じる．本研究では、大規模言語モデルの一つであるGPTを用いた議論参加エージェントを試作し，オンライン議論の活発化を図る．本議論参加エージェントは次の（１）と（２）の２つの機能を持つ．（１）議論テーマを自動的に生成する機能．（２）議論中のユーザと対話する機能．議論参加エージェントの導入効果をオンライン議論の実験によって調査した．オンライン議論の実験には，本研究室で開発している議論プラットフォームD-Agreeを用いた．実験の結果，議論の満足度と投稿のしやすさに関するアンケートの評点が向上し，本議論参加エージェントの有用性が示唆された．今後の課題としては，ユーザの発言の妨げにならないよう適宜発言数を調節すること，大規模な実験を通じてエージェントを導入する効果を検証することなどがあげられる．

In the divergence phase of a discussion, the accumulation of opinions from various perspectives becomes the foundation of leading the discussion to consensus. To promote the opinion generation in the online forum, facilitation is introduced and aims to encourage participants to generate posts as many as they can. Most online forum facilitation is conducted by few independent human facilitators. Therefore, problems such as human bias and facilitation scalability become inevitable. To tackle these problems, automated facilitation support approaches such as experience-based approaches and argumentation-based approaches have been proposed. However, most of these research modeled the facilitation issues by only focusing on the discussion contents while less research analyzes the facilitation paradigm from human facilitators consideration perspective. To fill this research gap, we proposed to model the human facilitator-based facilitation paradigm that aims to promote post generation in the online forum divergence phase. And the proposed models are validated from the facilitation generated in the human facilitator involved real-world online forum discussions.

本研究では、除去土壌県外最終処分を題材として実施したワークショップで行われた議論を取り上げ、Discourse Quality Index (DQI) を用いて討議の質を可視化することを目的とした。社会問題の議論においては、功利主義や不衡平の緩和、除去土壌の中間貯蔵という負担を負ってきた最不遇者である福島への慮りというマキシミン原理といった社会全体の望ましさである共通善が万遍なく議論されることが望ましい。DQIは討議に参加していない第三者が、議論で行われた発話ごとにどのような側面からの発言であるかを評価するものである。評価の結果、共通善ではリスクやコストといった功利主義的な視点が最も言及されていた一方、福島への慮りという視点からの発言は少なかった。また、風評被害や公衆の理解、新たに負担を引き受ける人々についての言及が多かった。テキストマイニングによる分析の結果、「福島」という地名の登場回数が多くないことや、「安全」という言葉が再生利用などと強く結びついていた。以上より、討議では福島の人々が負ってきた負担というマキシミン原理からの議論よりも、リスクやそれに対する人々の反応について言及されていた。

特に日本では多くの人々が社会や組織における議論や合意形成への参画を避ける傾向にあり、不適切な合意形成の原因になっている。 %本研究ではこれを解決する行動変容を導くため、効力感という要素に着目した。利用者の意見を自動評価してフィードバックを行うチャットボットによって効力感を向上させることを図った。小規模な議論実験を行ったところ、効力感に与えた影響は証明できなかったが、効力感が議論への参画に関係していることを示唆する結果が得られた。

機械学習技術には不透明性が含まれるため，行政や企業で利用される意思決定支援システムに機械学習が用いられる場合は説明性と公平性の担保が必要である．説明性と公平性の要件はシステムの意思決定の影響を受ける利害関係者の価値観によって異なるが，各利害関係者にとって適切なアウトプットに関する議論が不足している．本発表では説明性と公平性の要件を決定するための『利害関係者による公平な意思決定』の枠組みを提案し，考慮すべき4つの利害関係者にとって適切なアウトプットをどのように検討すべきか議論する．さらに，利害関係者の多様な価値観を抽出し，すべての利害関係者が合意するアウトプットに統合する取り組みの事例として，我々が行っている雇用AIの利害関係者を対象とした実証研究を紹介する．雇用AIの説明性と公平性を担保するために，アンケートを通じて利害関係者の価値観を数値的に抽出し，統合したアウトプットにおいて誰が利益を得るか／損失を被るのか数値的に説明するシステムを提案し，クラウドソーシングによる実験の結果を報告する．

The application of automated facilitators in the issue-based information system (IBIS) has been proven sufficiently practical in the past few years, especially for guiding users to solve particular problems. However, since the original automated facilitator was designed to only respond to users’ existing speech to promote other users’ opinions, two classic situations, such as discussions are not sufficient because the participants are not familiar with each other and some dominant participants would lead the discussion into a meta one, often occurred in the past scenarios. The discussions that include phenomenons mentioned above are defined as non-inclusive discussions because not all participants could express themselves sufficiently enough. Therefore, the functions of ice-breaking and promoting the discussion based on different phases are necessary to create and reinforce an open, positive and participative environment for inclusive discussion, to further promote more opinions and to make discussions satisfying. As the result, the design, implementation and results of how automated facilitators promote discussions more properly with the functions mentioned above are demonstrated in this paper. Based on the design right now, the further combination with IBIS label classification and the algorithm for measuring discussion progress will be implemented.

Textual data has emerged as one of the fastest-growing data types on the internet. This development has led to significant advancements in the field of Natural Language Processing (NLP) in recent years, primarily driven by the utilization of Deep Learning (DL) and Machine Learning (ML) techniques. These methods are known to require copious amounts of labeled text data in a specific format and structure for model training purposes using some sort of dialogue mapping. For instance, node and link extractor models have been trained in D-Agree using text-based training data while adopting Issue-based Information System (IBIS) notation. However, training such models in English has been challenging due to the arduousness of preparing labeled IBIS English datasets. In this study, we present a process for annotating and releasing large quantities of training data for machine learning based on IBIS, providing researchers with a free environment to train their opinion extractor models in English.

ミニパブリクス熟議における参加者の議論での公平性を検証する。ミニパブリクスは無作為抽出によって市民全体の縮図となるように集めた人々による討議を政策決定等に利用する手法であり、熟議民主主義の実践として注目されてきた。しかし、その参加者は公平に議論できるのであろうか。 本研究では、2019年に実施した討論型世論調査を模した熟議イベント（テーマは「浜岡原発再稼働と地元合意」）の議論データを Discourse Quality Index（DQI）に基づく評価指標でコーディングした。発言数に加え、個人のDQIスコアを熟議能力の指標とし、社会的属性（性別、年齢[世代]、教育歴）ごとの平均値の差を検証した。 その結果、年齢[世代]ではいずれの項目でも有意差が無かったが、教育歴では課程を経るごとに意見のDQIスコアが高くなった。性別では女性の発言数が少なくなるものの、意見、理由、感情の 3項目でDQIスコアが高くなる傾向が明らかになった。

モノづくり産業のDX実現には，第三世代AI（特化型AI）の導入による業務効率改善に加えて，人間との対話，文献/データの対話（AIによる主体的読み）ができる協働型AI（汎用型AI）導入が期待される． 現行AIは，習慣的（統計的関係性を踏まえた）応答ができるようになったものの，主体的に学習・意味を踏まえた対話ができる段階ではない．第三世代AI（特化型AI）の課題解決の先にある第四世代AIに求められる能力・機能は，主体的行動，すなわち人間が行う先読み，計画を立て行動，解釈（イメージや知識で補いながら読む）など，いわゆる知能（非認知能力を中心に考える）を備えることである． 本稿では，著者らが専門とする海事分野を例題に，複雑な人間の知覚/認知行動メカニズムを知能発達（非言語（即応型）世界から非言語（即応型）/言語（熟考型）統合世界へ）の観点から，行動/学習（ニューラルネットワーク構造・機能変化）を俯瞰的に整理する．第四世代AI（ニューラルネットワークシステム）モデルの展望について報告する．

21世紀初頭、汎用人工知能（AGI）の研究目標である「一つのシステムで様々なタスクを解決する能力」は広く受け入れられている。しかし、この目標の弱点は、実行すべきタスクの範囲を完全に定義することが難しく、それゆえAGIの完成のための十分条件となりえないことである。そこで本研究では、AGIの完成を実現のための十分条件とし、高度なAIの実現可能な目標として、包括的な技術マップという枠組みを提案する。次に、Entification関連処理と汎用情報処理を世界モデルの重要な処理要素として位置づける。そして、マッキンゼーの業務関連能力を上記の世界モデル上の処理にマッピングすることで、世界モデル上の処理に基づく包括的な技術マップを提案する。このマップ上での様々なEntification関連処理処理と汎用情報処理を全て実現することで、人間レベルのAIを開発することが基本的には可能となるであろう。

我々の身の回りに存在する人工物は完成図を元に細部から順次構築するトップダウン型である． 一方で人間は，細胞→組織→器官→人間というスケールにより分類された階層構造において， 下位層の個体が相互作用を及ぼしあった結果として上位層の個体を多段階的に創発しいくボトムアップ型である． 本研究では3次元仮想物理環境において，立方体で構成されている仮想生命体がボトムアップ的に身体を拡張し，上位層の仮想生命体を創発するシステムを提案した． 仮想生命体は回転，結合という行動をし，また効率的に上位層の仮想生命体を創発するために，一度創発された仮想生命体の形状を複製する． 現実世界を模倣し，冪乗的に難易度が上昇する課題を環境に配置し，仮想生命体がその課題を達成したときに上位レベルの組織を創発したと定義した． シミュレーションの結果，環境に階層性という特性を持たせることで，仮想生命体もその身体を階層性に従って創発し，実在世界と同様の構造を再現したと言える． 今後は，仮想生命体が創発されていく中で身体機能や行動を最適化させる方法を確立・調査し，提案する創発メカニズムに反映させる必要がある．

脳の解剖学的構造を知見として脳型ソフトウェアを開発するアプローチに脳参照アーキテクチャ（BRA）駆動開発がある．BRA 駆動開発では，脳のメゾスコピックレベルの解剖学的構造を記述した脳情報フロー（BIF）を各要素として，脳型ソフトウェアの計算機能を担う仮想的コンポーネント図（HCD）を作成する．BIF は神経科学の文献から，解剖学的に整合性のある知見を人の手によって抽出しているが，膨大かつ多様な知見を網羅的に抽出する必要があるため，自動化・効率化を行う必要がある．そこで本稿では，神経科学の文献に記載されている図面データを画像データとして扱い，画像データからBIF の構築に必要な脳領域間の接続関係を抽出する手段について述べる．また，図面データに含まれる脳部位の名称や矢印について認識する物体検出モデルについて検証を行った．脳領域間の接続関係を示す表現が複雑ではない図面データに対して，脳部位の名称を表すテキストの位置については，物体検出モデルの正確性と網羅性を評価する指標であるmAPで0.899 を達成し，脳部位の接続関係を表す矢印についてはmAPで0.856 を達成した.

本研究では海馬体の神経科学的知見に着想を受けた確率的生成モデル(HF-PGM)に基づき，具体的な計算論モデルを構築・実装し，その有効性の評価を行う．HF-PGMは脳参照アーキテクチャを確率的生成モデルとして表現したものであり，自己位置推定や場所のカテゴリゼーションが可能になるとされている．しかしながら，HF-PGMではモデルのアーキテクチャや確率分布は定められていない．そこで本研究では，世界モデルの一つであるRSSMと占有格子地図ベースのSLAMを統合することにより，HF-PGMと整合性を持つ確率的生成モデルを提案する．このモデルにより，従来の自己位置推定手法に対し性能を向上させることを示す．実験では，シミュレーション環境上で大域位置推定を行い，その性能を評価した．また，統合した世界モデルの潜在空間表現により，場所のカテゴリゼーションに関する性能の評価を行った．

身体内部の状態を一定に保つ仕組み：恒常性は動物で普遍的にみられる性質である．恒常性は動物行動を説明する概念として広く受け入れられてきた．恒常性による行動創発を扱う強化学習（恒常性強化学習）に関する先行研究は離散行動や１〜３種類の離散状態といった極めて小規模な問題系に限定されており，より現実的な問題を扱うことは困難であった．そこで本研究では恒常性強化学習を大規模化する．これによりエージェント内部の状態を制御目標とすることでの行動創発を，高次元入力・連続値行動のレベルで実現する．また恒常性強化学習において特に有効なネットワーク構造を提案する．大規模化のアプローチとして，我々は深層強化学習を適用することで行動最適化を実現する．そして先行研究で提案された複数の報酬定義を比較し，恒常性の学習にはKeramati & Gutkinによる内受容誤差の時間差分に基づく報酬設定が最も有効であることを示す．最後に，恒常性においては身体内部の状態に応じて適切な振る舞いを切り替えることが重要となる。我々はこれを明示的に組み込んだ注意機構を方策ネットワーク構造に採用することで，実際に学習が促進されることを示す．