本稿では，コンポーネント型 ERP パッケージを用いて業務システムを構築するシステム開発者の支援を目的とした，大規模言語モデルを用いたリランキングによるソフトウェア部品推薦システムについて報告する．提案システムでは，リランキングを行うために，外部データを組み合わせた多肢選択問題を作成し，類似検索により訓練データから類似事例を取得して文脈内学習に用いた．これにより，提案システムは従来システムより適合率を 5% 以上向上し，システム開発者にとって有用であることを確認した．また，高精度を達成した大規模言語モデルは，より多くのタスクに関連したテキストで事前訓練され，タスク関連知識を獲得していることが分析から示唆された．
