Examining higher accuracy through collaboration between AI patent search tools and generation AI
Innovative approach: Combining AI technology to increase accuracy and speed
Article ID: 2024-026
Details
Article ID: 2024-026
近年，AI技術の進化により，AI特許調査ツールと生成系AIの連携が，特許調査の高精度化に大きな可能性を秘めている。本発表では，両技術の概要と連携によるメリット，具体的な連携方法，技術的実現可能性を深堀りする。事例研究と実験結果を通じて，連携が特許調査の精度向上にどのように寄与するかを示す。また，連携技術の将来展望と法的・倫理的課題にも触れ，AI特許調査ツール(PatentSQUARE，Patentfield，Amplified.ai)と生成系AI(ChatGPT，Google Gemini，Claude3)の組み合わせによる特許調査の新たな可能性について考察する。
2023年の情報プロフェッショナルシンポジウム1)でChatGPT 等の生成系AIの特許調査への応用は，AIの役割を指定してのアドバイス等の有用性を示した。課題として，生成系AI単独での個別の特許調査はハルシネーション（幻覚）の問題があり注意が必要である。AI特許調査ツールにも検索精度向上の余地が大きい。そこでAI特許調査ツールと生成系AIの連携を検討した。
商用の特許DBとしてCyberPatent Desk2)の概念検索をベースライン（比較例）として使用した。商用のAI利用特許調査ツールとして PatentSQUARE3)のAI検索，Patentfield4)のAIセマンティック類似検索，Amplified.ai5)を検討した。検証対象として特許調査のプロセスと正解公報が詳細に解説されている特許検索競技大会 2021 年過去問6)の電気分野の問題（名称；コンタクトセンターシステム）を用いて検証した。
電気分野の問題では正解公報が７件存在する。正解７件全てを検索集合に含むと再現率1になる。請求項１を入力クエリとして４種類のツールの正解公報上位３件の順位と再現率を図１に示す。表１に正解公報（正解No.）の各ツールの検索順位を示す。
2.2 適合性フィードバックによる検索順位の向上適合性フィードバック（Relevance Feedback）とはユーザーが提示された検索結果の中で「適合している」ものをシステムにフィードバックし，その情報を基に再検索を行い検索結果を改善する方法である。CyberPatent(CP)，PatentSQUARE(PS)を用いて正解公報のフィードバックを行い再検索することで検索順位を向上することが可能か検証した。結果を表２に示す。正解No.1公報を指定して再検索しているのでCP，PS共に1位になっている。実用的な時間内で読み込みできる上位200位以内の適合性フィードバックの効果を検索順位の向上で示すとCPは，57→12，211→37。PSは，93→17，106→66である。適合性フィードバックの再検索を正しく行うことでPSの場合，正解公報7件を見つけることを想定すると，査読公報数を3029/13564*100=22.3%に圧縮できる計算である。ただし3029件査読は実務的に負担が多く更に査読件数を減らしたい要求がある。
2.3 生成AIによる適合判定検討正解公報の確認を人手で行う場合は，公報１件１件を「人手」でスクリーニングし適合か非適合かを判定する。これを人手の代わりに生成系AIを用いて正解公報の適合判定が可能か検討した。正解No.1公報をChatGPT4oを用いて適合判定(新規性判定：新規性無し)した結果，正しく判定した。Claude3 Sonnetの適合（新規性）判定結果は構成要件5件のうち4件を正しく判定しする惜しい結果であった。ChatGPT4，Google Geminiによる適合判定は振るわない結果であった。ChatGPT4oを用いて正解公報7件，非正解公報5件（PSのAI検索上位5件）の請求項１を対象として，構成要件の対比表を作成させて，構成要件毎の一致/非一致，発明の新規性判定をさせて結果を詳細に検討した。構成要件毎の一致/非一致判定は非常に良い精度で判定している。発明の新規性判定は，請求項１に必要な構成要件の記載がある場合は良い精度で判定している。生成系AIを用いた新規性判定の詳細はINFOPRO2024の「特許調査への生成系AIの活用検討」で発表する。
AI特許調査ツールで大まかな検索を行い，生成系AIで適合判定を行い，AI特許調査ツールへフィードバックして「濃い」検索集合を作り，生成系AIで更に高精度な判定を行うと効率的な特許調査が出来そうな方向性を示せた。特許調査プロセスのタスクに合ったツールを選択して組み合わせることが重要である。
AI特許調査ツールに生成系AIを組み合わせた商用ツールも複数登場してきている。これらのツールを効率的に使いこなすためにはAI特許調査ツールと生成系AIの両方の特徴と特許調査プロセスへの理解と洞察が必要である。
