結合コスト最小化によるエコーステートネットワークの破滅的忘却の回避

抄録

破滅的忘却は，ニューラルネットワークの複数タスクの継続学習において，新しいタスクの学習によって，過去のタスクの知識が破壊されるという重大な問題である．本研究は，エコーステートネットワークにおけるリザバー内の結合コストを最小にする拘束をかけることで，この破滅的忘却が緩和されることを示す．リザバーの結合コスト最小化によって，近傍の部分ネットワークが構成するモジュール構造が現れ，これがタスクに応じて異なる活動をみせる．このようなタスク固有の神経活動によって，タスク知識の定着が実現する．実験から，この拘束によって負の結合が作るモジュール構造が創発し，複数タスクの学習性能が向上することがわかった．さらに，モジュール内とモジュール間の移動エントロピーを解析し，モジュール活動がタスク固有の機能分化をしていることを発見した．