小規模言語モデルを用いた、制限されたローカル環境における情報システム

抄録

近年、多くの大規模言語モデルが提案され、公開されている。一方で、比較的小規模でリソースの少ない環境でも動作する小規模言語モデルと呼ばれるモデルも公開され利用されている。データを外部に出さないといったセキュリティ上の理由や、航空機内や高速移動時などの通信の不安定な状況などでの需要が高まっている。本研究では、そのような制限された状況において小規模言語モデル(SLM)を活用するために必要な量子化やファインチューニングによる技術とその精度影響の検証に関する取り組みについて紹介する。