運転中の非安全行動として,スマートフォンの操作や携帯電話を持っての通話などがあり,重大な事故につながる事例が増えてきている.本研究では,ステアリング奥に設置した顔撮影カメラと,シートベルト巻取器上部にステアリングを見下ろす画角で設置したカメラとの,二つのカメラより取得される動画像から,状態空間モデルによる定式化に基づき,運転者の観察行動である頭部の姿勢と,操作行動の一つであるステアリングを操作する両手の挙動とを,同時確率分布の形式で推定する.さらに,その推定結果を,運転中のスマートフォン操作などの非安全行動の検知につなげる方法について考察する.