筆者らは、機械学習を中心とするAIシステムの信頼構築に向けた課題分析を続け、特にベンダー側が製品の性能あるいは機能としてどこまでを実装することが求められるか、を検討している。この中で、AIの分析性能に加え、AI自身の分析結果が間違っている場合のリカバリー機能が信頼の重要な要素であるとの仮説をたて、ケーススタディを行うこととした。本稿では、自律型ドローンを含むロボット系のAIシステムをケースとし、AIの間違いや、それに基づくAIシステムの誤作動のタイプとリカバリー機能をどのように評価すべきかを検討する。
