深層強化学習に基づく超音波モーターの速度制御のための最適なゲインスケジューリング

抄録

超音波モーターは、高速応答、コンパクトな構造、低速での高トルクを備えた次世代アクチュエーターです。ただし、非線形性があるため、制御はかなり困難です。進行波超音波モーターの駆動周波数制御下では、速度応答は非線形性、不連続性、および速度ヒステリシスを経験します。深層強化学習（DRL）は、非線形、最適、オフライン、モデルフリーのコントローラーとして提案されました。反復的な試行錯誤を通じて、DRLアルゴリズムはニューラルネットワークの速度コントローラーを最適化します。ただし、取得したコントローラーは、ゼロ以外の定常状態エラーと応答領域周辺の不安定性をもたらしました。この作業では、安定した非線形最適ゼロ定常状態エラーコントローラーを実現するための積分コントローラーの最適ゲインスケジューリングのためのDRLを提案します。 DRLをインテグラルコントローラーのゲインスケジューリングに適用するために、NNベースのポリシーは、入力状態（マルコフ状態には、駆動周波数、負荷トルク、現在の速度、および目標速度が含まれます）から、報酬を最大化することによって最適なIゲインへのマッピングを学習します。関数（速度誤差と制御努力の関数）。駆動周波数ステップは、Iゲインと速度誤差の倍数として取得されます。 Soft Actor-Critic（SAC）アルゴリズムを使用して、シミュレーションと実験結果の両方で最適なゼロ定常状態エラー速度追跡が実現されました。