近年、大規模言語モデル(LLM)、特にOpenAIが開発したChatGPTの出現は、多岐にわたる領域での応用が試みられている。なかでも、医師国家試験や、司法試験をはじめとする難関資格試験を解かせる試みが増えてきた。それは公認会計士試験も例外ではなく、特に、米国公認会計士試験についてはすでに合格水準を超える精度が観測されている。一方で、米国公認会計士試験の合格率は50%前後であるものの、日本の公認会計士試験短答式試験の合格率は概ね10%程度で推移しており、より難度が高い可能性がある。本研究の目的は、難解な専門資格試験における言語モデルの応答能力や限界を理解することであり、特に、日本の公認会計士・監査審査会が実施する公認会計士試験(短答式試験)のうち、監査論の問題をChatGPTのAPIを活用し、回答する枠組みの提案を行う。そして、GPT-3.5とGPT-4に回答させることでその精度を比較検証する。結果として、GPT-3.5では、正答率は50%程度(チャンスレート同等)のものの、GPT-4では、60%を超える正答率を確認でき、有意チャンスレートを上回ることが確認できた。今後、このような会計・監査分野に特化したLLMを監査業務へ活用することで、より効率的かつ効果的な監査を行える可能性がある。
