Application of an image-based head detection method for yield trial plots in wheat and barley breeding programs

摘　要

ムギ類の育種で行われる形質評価・選抜は多くの時間と労力を要するため，これらの高速化・自動化は非常に大きな役割をもつ．深層学習などの登場により飛躍的に発展した画像センシング技術は，画像から様々な情報を高速かつ高精度に取得することを可能にし，育種の効率化に貢献する．そこで，本研究ではこうした画像センシング技術を利用した育種の効率化を目的とし，その一例として物体検出技術を活用したムギ類の穂の検出と穂数調査方法の開発を試みた．穂の検出には，コムギ・オオムギを合わせて2,023枚の訓練画像と674枚の検証画像を供試し，YOLOv4を利用したモデルを作成した．作成した検出モデルは未学習のデータに対するmAP（mean Average Precision）が85.13%と良好な精度を示し，異なる麦種，熟期の画像に対し頑健と考えられた．作成したモデルとトラッキング技術を活用し，動画から穂数の推定を試みた．動画を用いた穂数の集計方法では，フレームあたり平均穂数と動画中のユニーク（固有）な穂の総数の2種類について，検出閾値を変えつつ検証した．その結果，閾値を0.35に設定した際のユニークな穂の総数による穂数推定が実測値と高い相関を示し，決定係数はオオムギで0.726，コムギで0.510だった．コムギ，オオムギの生産力検定試験区を対象に，穂揃い期以降の異なる3時点でこの手法により穂数の推定を行った．推定された穂数と生産力検定試験で得られた調査結果を比較したところ，相関係数は2年間の平均でオオムギでは0.499，コムギで0.337と全体の傾向としては一致していた．本研究で開発した手法は従来の目視による測定に比べて簡便であることに加えて反復間の再現性が優れていることから，ムギ類の穂数調査における省力化，高速化および高精度化に貢献できると考えられた．

Translated Abstract

In wheat and barley breeding, field phenotyping requires a lot of time and effort, so speeding up and automating these processes play an important role. Image sensing technology, which has developed dramatically with the advent of deep learning methods, makes it possible to acquire various types of information from images quickly with high precision. In this study, we aimed to improve the efficiency of breeding using such image sensing technology. At the first step, we attempted to develop a method for head detection and counting using images of yield trail plots in wheat and barley breeding programs. For developing the method, we used YOLOv4 and created a model using 2,023 training images and 674 validating images for three post-flowering stages. The developed model showed good accuracy with an mAP (mean Average Precision) of 85.13% for untrained data, considered to be robust for images of different wheat and barley types and ripening stages. Using the detection model combined with tracking technology, we attempted to estimate the number of heads from consecutive video frames. By using the output of the model, we tested two types of calculation methods for counting heads: the average number of heads per frame and the total number of unique heads in the video, while changing the detection threshold. As a result, the number of heads based on the total number of unique heads when the threshold was set at 0.35 showed a high correlation with the actual values, with coefficients of determination of 0.726 for barley and 0.510 for wheat. When the estimated number of heads from images was compared with the values obtained by conventional visual measurement, the average correlation coefficient over two years was 0.499 for barley and 0.337 for wheat. Since the method developed in this study is simpler than the conventional method and has excellent reproducibility between replications, it can save labor, and speed up and provide high accuracy in head count surveys of wheat and barley breeding programs.

緒言

コムギやオオムギなどのムギ類は，うどん，パン，炊飯麦あるいは麦茶などの様々な用途に利用され，日々の食卓を賑わせている重要な作物である．また，換金性の高い冬作物として農業生産においても貴重な位置づけとなっている．しかしながら，食用のコムギおよびオオムギは8～9割を輸入に依存しており，政府は令和12年度までに平成30年度に比べて自給率をそれぞれ7%および3%高める生産努力目標を設定している（麦をめぐる最近の動向，農産局穀物課，2023年7月）．

ムギ類の国内生産の向上を目的として，高品質かつ安定多収を実現できる品種の開発が各地で進められており，近年，コムギでは「きたほなみ」や「きぬあかり」，オオムギでは「はるか二条」などの多収品種が開発されてきている．これら品種に共通する特徴として穂数や千粒重の増大など，シンク容量が大きいことが示唆されている（河田ら 2012, 笠島ら 2016, 荒川ら 2019）．収量は単位面積あたりの穂数と穂あたりの粒重の積で決定される形質であり，さらに穂あたり粒重は穂あたり粒数と一粒重から計算できる．一つの穂に含まれる粒の数や大きさは穂の形態に大きく依存することから，育種選抜では，穂数と穂形態を総合的に判断することが多収品種の開発にとって重要であると考えられる．実際，穂関連形質の遺伝解析によって，コムギの一穂粒数に関わるGNI-1（Sakuma et al. 2019），小穂段数に関わるWAPO-1（Kuzay et al. 2019, Muqaddasi et al. 2019, Mizuno et al. 2021），分げつ数に関わるTB1（Dixon et al. 2018）などの遺伝子が同定されており，これらは多収系統の選抜に利用されている（Cao et al. 2020）．穂の特徴が収量に影響していることはムギ類だけでなく他のイネ科作物においても同様であり，例えば，イネでは収穫期に真上から撮影した画像から機械学習によって収量を予測するモデルが開発されており，画像の一部をマスクした精度変化の分析によってこのモデルが穂に注目していることが明らかになっている（Tanaka et al. 2023）．このように穂数や穂形態は育種選抜形質として重要であるが，単位面積あたりの穂数の調査は圃場で実施する必要があるため労力がかかること，穂長など一部形質の測定のみでは穂形態の全体の特徴を捉えきれないことから，収量の改良速度を上げるためには評価する規模の拡大や精度の向上が必要となっている．

近年，深層学習などの登場により人工知能（AI）技術は飛躍的に向上した．特にAI技術と画像センシングは相性がよく，回帰，画像分類，領域分割（セグメンテーション），物体検出など様々なタスクが高速かつ高精度に遂行可能となった．これらの技術は多様な分野で活用が進められており，育種や栽培においても種々の形質評価の効率化・省力化に貢献することが期待され，研究がなされている（Jin et al. 2021）．先述の通り，穂はムギ類において収量に直結する器官であり，その重要性から物体検出を利用した穂検出（Hasan et al. 2018, Wen et al. 2022）やセグメンテーションによる穂形態の抽出（Zhang et al. 2022, Batin et al. 2023）など，検出技術に関する研究が最近精力的に取り組まれている．これらの研究により，画像から目的とした情報をより高精度かつ高速に抽出すること自体は可能となっている．一方で，こうした技術を実際の育種現場における形質評価や選抜に活用した例は少ない．

ムギ類の育種では，出穂期や成熟期などの地域適応性に関わる形質から，病害抵抗性の程度，草型，収穫量，品質，加工適性など，多岐にわたる項目を調査して選抜を行っている．形質によっては，調査に最適なタイミングがある項目もあり，限られた時間と労力でこれらをこなす必要がある．そこで本研究では，育種調査の高速化や自動化を支える画像センシング技術の導入に向けた事例として，物体検出技術を利用した穂数調査方法について検討する．その際，育種実装を重視し，特別な機器や装置を必要とせず，通常の育種調査の延長で行いやすい方法を採用した．なお，育種選抜では，試験区間の遺伝的な差異を検出できるかどうか，従来の穂数の調査方法と比較して精度や作業効率が優れているかどうか，多様な育種材料に対してどのくらい汎用性があるかという点が重要であり，これらの点について検討した．また今後，穂以外の形質の調査を実施していくうえで必要な取り組みについても議論する．

材料および方法

1． データセットおよび穂検出モデルの作成

画像データは農研機構・作物研究部門のムギ類育種試験における生産力検定試験区（作物研生検試験区）で2018年および2019年に撮影したものを用いた．移動式カートを用いて穂揃い期以降に一眼レフデジタルカメラα350（SONY, 1530 × 1018または1824 × 1216ピクセル）によって試験区の地面から高さ約160 cmの真上から撮影したオオムギ218枚，コムギ994枚の写真を用い，独自のアノテーションツール「Web Tool for Annotation」（Ghosal et al. 2019）を用いて穂にアノテーションを付与した（表1，付図1）．これらのうち，コムギの写真はGlobal Wheat Head Detection（GWHD）データベースに登録されているものである（David et al. 2020）．画像データを拡充するため，穂揃い期以降，成熟期までに複数回撮影した動画から，3秒ごとに静止画を切り出し，さらに，地面上に穂が誤検出されるのを防ぐために地面の映り込みの有無によって分類した．それぞれについて，画像の多様性を保持しながらオオムギとコムギのそれぞれ1,080枚の静止画を選定した（表1）．これら画像についてVGG Image Annotator（https://www.robots.ox.ac.uk/~vgg/software/via/via-1.0.6.html）を用いて穂にアノテーションを付与した．これらの作業により，供試画像には合計135,519のアノテーションが付与された（表1）．供試画像を訓練セット2,023枚，検証セット674枚，テストセット675枚に無作為に分割した．

表1.

モデル構築に用いたデータセット

		画像数	アノテーション数
写真	オオムギ	218	7,066
	コムギ*	994	42,513
動画から切り出した静止画	オオムギ	1,080	36,799
	コムギ	1,080	49,141
合計		3,372	135,519

* Global Wheat Head Detectionデータベース（David et al. 2020）の一部

穂の検出モデルの作成には，YOLOv4（Redmon et al. 2016, Bochkovskiy et al. 2020）をアーキテクチャとして用いた．ソースコードにはオープンソースのDarknet（https://github.com/AlexeyAB/darknet）を用い，農研機構のAI研究用スーパーコンピューター「紫峰」でモデルの学習を行った．学習設定は，バッチサイズ64，サブ分割8，学習率は0.0013を初期値，学習回数（イテレーション）は24,000（約750エポック），予測した領域が正解の領域とどれくらい重なっているかを表すIoUの閾値は0.5とした．なお，画像の幅と高さは自動で416ピクセルにリサイズした．また，初期の重みには．MicrosoftのCommon Objects in Contextデータセット（Lin et al. 2014）の学習済みモデルであるyolov4.conv.137を用いた．

トレーニング中の損失（loss）は1イテレーションごとに算出した．また，検証データに対する精度検証は100イテレーションごとに算出した．なお，学習モデルの精度の指標は，以下のようにして算出した．

まず，各クラスの予測結果について適合率（Precision, p）と再現率（Recall, r）を求めた．

  

$$p=\frac{TP}{TP+FP}$$

  

$$r=\frac{TP}{TP+FN}$$

なお，TP, FP, FNはそれぞれ，予測された物体のうち正解データと一致した数，予測された物体のうち正解データと一致しなかった数，正解データに存在するが予測されなかった数を表す．なお，検出された各物体には信頼度スコアが付与され，適合率と再現率は設定した信頼度スコアの閾値を越えた物体全てに対して計算される．

次に各クラスのAverage Precision（AP）を以下のようにして求めた．

  

$$\mathit{\text{AP}}={\int }_0^{1}p\left(r\right)\mathit{\text{dr}}$$

p(r)は与えられた再現率 (r) に対応する適合率 (p) を出力する関数である（Zhu 2004）．

最後に各クラスのAPの平均値としてmean Average Precision（mAP）を算出した．

  

$$\mathit{\text{mAP}}=\frac{1}{N}\sum _{i=1}^N{\mathit{\text{AP}}}_i$$

Nは検出のクラス数を表す．なお，本研究では「穂」のみの物体検出モデルであるためクラス数は1であり，mAPは「穂」クラスのAPと一致する．

2． 検出した穂のトラッキングシステム

動画中のオブジェクトのトラッキングにはDeepSORT（Wojke et al. 2017, Wojke and Bewley 2018）を用いた．任意の動画について，動画の最初のフレームに対し穂検出モデルを適用し，検出された各穂に個別のIDを割り振った．次にDeepSORTを用いてバウンディングボックスの情報などから次のフレームでの各穂の位置を予測した．次のフレームでも同様に検出を行い，DeepSORTの予測位置に加え，検出された穂の外見情報や動きの情報を加えることにより，前フレームで検出された物体との対応付けを行った．この際，対応付けができなかった穂は新たなIDが割り振られた．この処理を最終フレームまで行い，動画内に出現する全ての穂についてIDでトラッキングを行った．なお，DeepSORTではMotion Analysis and Re-identification Setデータセット（Zheng et al. 2016）を学習済みの重み，mars-small128を用いた．トラッキングの設定は，max_age（突合のないトラッキングが保持される最大フレーム数）を30，max_iou_distance（任意のトラッキングについて，次のフレームで検出される予測位置と，実際に検出された位置の重なり程度）を0.7（いずれも既定値）として用いた．

3． 動画の撮影と穂数計測

作成した穂検出モデルの精度検証および穂検出モデルを活用した穂数計測手法の検討のため，2020年播種，2021年収穫の作物研生検試験区のオオムギおよびコムギの穂揃い期から複数回にわたって動画を撮影した．撮影はiPad mini 4を用いて，穂から約50 cm真上から1,920 × 1,080ピクセル（解像度は約0.25 mm/ピクセル），30 fpsのビデオモードで行った．なお，撮影は試験区の長さ5 mの場合には約20秒の速さで移動しながら行った（付図1）．

動画内の穂数を実測値として算出するため，動画に映った穂をフレームごとにコマ送りしながら目視によりカウントした．目視カウントは動画あたり3回行い，平均値をその動画の実測値とした．穂検出モデルによる推論では，動画のフレームごとに検出された穂の位置と数が記録される．また，フレーム間で同一の穂としてトラッキングされたものに同じIDを付与した全ての穂の検出結果が一覧で出力される．検出結果とトラッキングの情報をもとにした穂数の集計方法として，前後30フレームを除いたフレームあたりの平均穂数（フレーム平均穂数），連続して検出されたフレーム数が4～60のID数（ユニークID数）の2種類の方法を試みた．フレーム平均穂数の算出において前後30フレームを除いたのは，撮影開始直後および終了直前でカメラのブレが多いこと，また地面など計算においてノイズとなる映像が含まれるためである．また，検出後の信頼度スコアを閾値として0.2，0.3，0.4および0.5に変化させた結果を比較し，0.3から0.4の間に適値があると判断し，0.35で集計した値を以後の解析に用いた．

4． 育種試験区を用いた作成モデルの検証

作物研生検試験区のうち，2021年に播種し，2022年に収穫した試験（2022年産試験），および2022年に播種し，2023年に収穫した試験（2023年産試験）を作成したモデルの検証対象とした．2022年産試験では，オオムギは2021年11月15日に観音台圃場（茨城県つくば市）にて試験区長5 m × 幅1.65 m，条間0.15 m，播種密度は150粒/m²の試験区，コムギは2021年11月4日に谷和原畑圃場（茨城県つくばみらい市）にて試験区長3.5 m × 幅1.2 m，条間0.15 m，播種密度は185.5粒/m²の試験区で実施した．なお，どちらもドリル播種機を用い，出穂期，成熟期，稈長，穂長，穂数，子実重などは慣行法に従い調査した．穂数は試験区周縁部を避けて50 cm × 30 cmの木枠をドリル2列分になるように設置し，木枠内の穂数を遅れ穂も含めて目視で計測して単位面積あたりの穂数を計算した．目視による穂数計測は試験区あたりコムギでは2反復，オオムギでは4反復測定した．2023年産試験では，オオムギは2022年11月4日に観音台圃場，コムギは2022年11月8日に谷和原畑圃場にて播種し，試験区の大きさおよび調査項目は2022年産試験と同様であった．これらの試験区について，穂揃い期以降の異なる3時期にそれぞれ3反復で動画を撮影し，穂検出モデルを用いた穂数計測を行った．2年間で撮影した試験区には，オオムギでは31品種・系統（二条6，六条並性16，六条渦性9），コムギでは61品種・系統（褐ふ26，白ふ35）が含まれていた．なお，撮影対象には無芒品種は含まれていなかったが，芒長には差異がみられた．

本研究における穂検出モデルおよび穂数計測手法の作出の全体の概略は付図2に示した．

結果

1． 穂検出モデルの作成と静止画での検証

YOLOv4によるトレーニングデータを用いた穂検出モデルの作成では，バッチサイズ64として最大イテレーション24,000まで学習を行った．イテレーションごとの損失を計算したところ，当初約2,000ほどであったが，150イテレーション程度で約40まで減少し，その後漸減して最終的に5程度となった（図1a）．モデル学習中には，バリデーションデータを用いて100イテレーションごとに適合率と再現率を計算した．適合率と再現率は一般にトレードオフの関係にあるが，学習が進むにつれて両者ともに高い値を示すモデルが現れた（図1b）．IoUが0.5の場合のmAPの変化をみてみると，最初の6,000イテレーションまでに急速に増加し，その後は85%前後で振れていた．7,900イテレーション時にmAPが最大値86.05%を示したことから（図1c），この時のモデルを以後の解析に使用した．

図1.

ムギの穂検出モデルの構築．（a）訓練データにおける損出（Loss）の変化，（b）検証データにおける適合率（Precision）と再現率（Recall）の関係，（c）検証データにおけるmAPの変化．灰色の破線は検証データに対するmAPが最大になった際のイテレーション数を示す．

学習したモデルをテストデータに適用したところ，mAPは85.13%であった．図2にテストデータでの穂の検出例を示す．遅れて出穂したと思われる小さい穂あるいは葉などで一部が隠れている穂で見逃しがあるものの，麦種，穂型，芒の有無あるいは熟期が異なる画像で同程度の精度で検出できていることが確認できた．

図2.

構築した穂検出モデルのテストデータへの適用例．赤枠がモデルにより検出された穂，青枠は見逃した穂を示す．図中の数字は検出時の信頼度スコアを示す．

2． 動画での穂検出精度

付図1に示す方法で試験区全体を移動しながら撮影した動画を用いて，学習モデルによる穂の検出を試みた．オオムギでは，試験区あたり15～20秒で動画を撮影したところ，450～600フレームの連続画像が得られた．バウンディングボックス数（検出穂数）はフレームごとに増減がみられた（図3a）．また，それぞれのIDが検出されたフレーム数を集計したところ，フレーム数が1～2個のIDが極めて多く，フレーム数3個で一旦少なくなり，その後再び増加してフレーム数60個周辺まで分布していた（付表1）．コムギでは，試験区の長さがオオムギに比べて短かったため，試験区あたり10秒程度で撮影した．フレーム数は300程度となり，IDあたりのフレーム数はオオムギと同様1～2個が多く，3個で一旦低くなり，その後増加して60フレーム辺りまで分布していた（付表1）．

図3.

穂数の異なる試験区を撮影した動画のバウンディングボックス集計例．（a）フレームごとのバウンディングボックス数，灰色の破線は前後30フレームを除いた際の平均穂数を示す．（b）検出フレーム数の分布．フレーム数が1から3の分布を除いた分布を示す．両矢印はフレーム数が4から60の範囲を示す．

複数の動画を比較したところ，フレームごとのバウンディングボックス数はフレーム間で変動があるものの全体を俯瞰すれば動画間の検出数の違いはみることができた（図3a）．また，IDあたりのフレーム数の分布をみた場合でも，試験区間の違いをみることができた（図3b）．穂数の集計方法として，フレーム平均穂数およびユニークID数の2種類の方法を比較した．なお，ユニークID数の算出では，トラッキングエラーに由来するフレーム数1～3個のID，および撮影の移動速度から考えて不自然なフレーム数である60個以上のIDは除いた．その際，検出スコアの閾値を0.2～0.5に設定した場合の集計値の変化を調査した．その結果，閾値を上げるにつれて検出される穂数は減少していた（表2）．オオムギではどちらの集計方法も実測値と高い相関を示したが，コムギではユニークID数の方が高い相関を示した．また，ユニークID数でスコア閾値を0.3～0.4に設定した場合に最も実測値と一致した（表2）．その際，オオムギでは決定係数が0.728～0.751，二乗平均平方根誤差（RMSE）が8.20～12.17%，コムギでは決定係数が0.423～0.549，RMSEが11.06～24.12%であった．決定係数，RMSE，実測値との比較のしやすさを総合的に判断し，以後の解析はオオムギ，コムギともにスコア閾値0.35時のユニークID数による集計結果で行った．なおこの時，オオムギでは決定係数が0.726，RMSEが7.567%，コムギではそれぞれ0.510および16.894%であった．

表2.

異なる集計方法および検出閾値における穂の自動計測値と目視による実測値との関係

	プロットNo.	フレーム平均穂数					ユニークID数				実測値
		閾値0.2	閾値0.3	閾値0.4	閾値0.5		閾値0.2	閾値0.3	閾値0.4	閾値0.5
オオムギ	1	38.27	31.85	27.38	22.19		1,195	1,006	854	707	802
	2	49.62	41.29	34.73	29.23		1,395	1,162	956	812	1,014
	3	47.41	41.25	35.93	31.93		1,277	1,103	976	862	918
	4	52.58	46.30	41.48	36.45		1,306	1,164	1,035	916	1,010
	5	54.09	48.06	42.70	38.11		1,247	1,117	1,004	890	1,040
	6	62.68	54.17	46.98	40.63		1,504	1,312	1,142	993	1,197
	7	61.75	52.10	44.56	38.42		1,527	1,294	1,102	941	1,274
	8	41.36	36.37	32.45	28.14		1,068	945	842	729	927
	9	39.03	34.79	30.75	27.63		901	811	713	637	823
	10	56.74	49.49	42.82	37.61		1,442	1,271	1,095	977	1,171
	11	53.18	46.27	40.43	35.10		1,236	1,079	945	821	1,059
	12	58.36	50.87	44.98	39.23		1,367	1,205	1,072	945	1,022
R2		0.859	0.816	0.750	0.689		0.696	0.751	0.728	0.700
RMSE (%)							27.81	12.17	8.20	18.10
コムギ	1	82.56	62.66	51.10	39.92		1,243	937	750	598	988
	2	107.80	77.59	59.53	42.67		1,608	1,187	907	667	1,204
	3	90.93	69.00	53.89	42.53		1,385	1,046	796	608	1,061
	4	91.80	76.36	65.00	54.99		1,288	1,100	957	812	1,042
	5	73.00	56.22	45.25	35.94		1,156	899	713	565	990
	6	84.72	69.96	58.04	48.75		1,171	975	805	674	965
	7	58.63	50.84	44.38	38.41		853	752	662	574	897
	8	63.82	53.19	44.26	37.59		980	803	664	560	1,117
	9	100.83	79.54	65.51	53.86		1,603	1,263	1,042	861	1,220
	10	84.62	69.51	57.46	48.55		1,323	1,079	894	738	1,072
R2		0.469	0.393	0.280	0.122		0.599	0.549	0.423	0.252
RMSE (%)							24.95	11.06	24.12	38.12

3． 生産力検定試験への適用

生産力検定試験は，有望系統の収量を中心とした生産性を評価することを目的とした育種の後期世代に行う重要な試験である．そこでは，実際の生産地に近い栽培法がとられており，この試験で利用可能な技術であることが育種実装のためには極めて重要である．

2022年産試験ではオオムギ24試験区，コムギ70試験区を撮影した，オオムギの出穂期は4/9～4/18，成熟期は5/24～5/30であった，撮影は全ての試験区の穂揃い期以降の初期4/23，中期5/8および後期5/28に行った．コムギの出穂期は4/19～4/27，成熟期は6/5～6/10であり，撮影は初期5/4，中期5/21，後期6/4に行った．作成した穂数計測モデルによって自動計測した穂数を反復間で比較したところ，コムギの中期撮影で反復間のバラつきが大きかったが，全体として再現性は高く，決定係数はオオムギで0.575～0.963，コムギでは0.451～0.899であった（図4）．試験区あたりの穂数は，オオムギでは149～1,623，コムギでは193～1,165の範囲で変動がみられ，試験区間の穂数の差を検出できることが明らかとなった．なお，後期に撮影したものに極端に穂数が少ない試験区がみられた．生産力検定試験圃場では，50 × 30 cmの木枠を用いた目視の穂数計測をオオムギでは試験区あたり4箇所，コムギでは2箇所で行った．このうち，動画撮影を行った試験区について，測定箇所間での再現性を調査したところ，オオムギは決定係数で0.281～0.582，コムギは0.256～0.290であった（付図3）．従来の育種調査値と自動計測値を比較したところ，オオムギでは初期で相関係数0.361，中期0.319，後期0.342であった（表3上）．コムギでは，撮影時期によってばらつきがあり，初期では0.325，中期では0.371，後期では−0.018であった（表4上）．

図4.

オオムギおよびコムギの生産力検定試験区の穂揃い期以降の3つの時期に撮影した動画を用いて穂を検出した場合の反復間相関（2022年産試験の結果を示す）．

表3.

オオムギの生産力検定試験区における穂の自動計測値と育種試験成績との相関係数

試験			自動計測				育種試験成績						調査試験区数
			初期	中期	後期		穂数	収量	到穂日数	登熟日数	稈長	穂長
2022年産	自動計測	初期		***	***						**		24
		中期	0.874		***						***		24
		後期	0.686	0.783							**		24
	育種 試験 成績	穂数	0.361	0.319	0.342							***	24
		収量	0.103	−0.006	−0.130		−0.101						24
		到穂日数	−0.370	−0.146	0.029		−0.061	0.066					24
		登熟日数	−0.404	−0.134	0.021		0.143	0.094	0.788			***	24
		稈長	−0.606	−0.683	−0.621		0.040	−0.022	0.207	0.086			24
		穂長	−0.149	0.048	0.140		0.680	−0.185	0.277	0.613	0.178		24
2023年産	自動計測	初期		***			***	*					14
		中期	0.960		***		***	***			*		68
		後期	0.230	0.528			***		***	***			68
	育種 試験 成績	穂数	0.788	0.683	0.502						**	***	68
		収量	−0.535	−0.469	−0.003		−0.143		**	***	***		68
		到穂日数	−0.452	−0.158	0.485		−0.176	0.321		***		**	68
		登熟日数	−0.335	−0.218	0.486		−0.109	0.420	0.663				68
		稈長	0.044	−0.245	−0.101		0.313	0.431	−0.120	−0.101			68
		穂長	0.280	0.247	0.128		0.496	−0.055	−0.380	−0.004	0.192		68

左下は相関係数，右上は有意の有無を表し，*，**および***はそれぞれ5%，1%および0.1%で有意であることを示す．

表4.

コムギの生産力検定試験区における穂の自動計測値と育種試験成績との相関係数

試験			自動計測				育種試験成績						調査試験区数
			初期	中期	後期		穂数	収量	到穂日数	登熟日数	稈長	穂長
2022年産	自動計測	初期		***	***		*	**	***	***		***	70
		中期	0.590		***		**	***	***	***		***	70
		後期	0.572	0.744				**		**		***	70
	育種 試験 成績	穂数	0.325	0.371	−0.018				*				55
		収量	0.368	0.437	0.388		0.047		***	***			55
		到穂日数	−0.552	−0.522	−0.255		−0.328	−0.468		***		**	55
		登熟日数	−0.557	−0.524	−0.345		−0.200	−0.486	0.881			**	55
		稈長	0.235	−0.095	0.076		−0.041	0.148	−0.160	−0.185		*	55
		穂長	−0.706	−0.458	−0.517		−0.085	−0.244	0.376	0.362	−0.303		55
2023年産	自動計測	初期		***	**								10
		中期	0.910		***								30
		後期	0.803	0.697									30
	育種 試験 成績	穂数	0.484	0.482	0.380							*	15
		収量	0.116	−0.180	−0.038		−0.136						15
		到穂日数	0.166	0.002	−0.037		0.171	−0.139			**		30
		登熟日数1)	―	―	―		―	―	―				―
		稈長	−0.621	−0.208	−0.284		0.163	−0.294	0.724	―			24
		穂長	0.227	−0.175	−0.001		−0.544	0.501	−0.210	―	−0.332		15

左下は相関係数，右上は有意の有無を表し，*，**および***はそれぞれ5%，1%および0.1%で有意であることを示す．

¹⁾ データなし

2023年産試験では，オオムギ68試験区，コムギ30試験区を撮影した．供試したオオムギ試験区は4/1～4/13に出穂し，4/22，5/2および5/19に撮影した．コムギは4/7～4/16に出穂し，4/28，5/11および5/22に撮影した．2022年産試験と同様に穂を検出して集計したところ，育種調査値と自動計測値との相関係数はオオムギで初期0.788，中期0.683，後期0.502であり（表3下），コムギでは初期0.484，中期0.482，後期0.380であった（表4下）．なお，他の形質との相関としては，オオムギでは2022年産試験で稈長と負の相関がみられ，2023年産試験の後期で到穂日数や登熟日数と正の相関がみられた（表3）．コムギでは2022年産試験で到穂日数，登熟日数および穂長と負の相関，収量と正の相関がみられた（表4）．

考察

近年，農業分野でもAIを活用した技術の導入が急速に進められている．特に生産現場では，衛星画像データなどを活用した精密な栽培管理により高品質・多収を実現させた例などの成果が出ている．穂の検出は精密農業に向けた技術の一つとして，ムギ類だけでなくトウモロコシ，イネあるいはソルガムでも多くの研究が進められている（Sanaeifar et al. 2023）．穂を検出することにより，収穫前の収量を早い段階で予測できれば，育種担当者が最適な遺伝子型を早く見つけるのに役立てることができる，あるいは農家が作物の生産方法を改良するための手助けとなると考えられる（Sadeghi-Tehran et al. 2019）．地上撮影からドローンによる空撮など様々な解像度の画像を用いて，様々な穂検出モデルが試されており，それぞれに一長一短があることが分かっている．撮影労力や計算にかかる時間などを考慮して，目的に応じて最適な手法をとることが大切である．Sanaeifar et al.（2023）は今後の方向性として，画像の取得，加工方法，解像度あるいは見え方に依存しない頑健なモデルの開発，イネやムギの穂などの小さな物体を効率的に数える手法の開発が重要であると述べている．さらに，穂の重なりや重複カウントの問題を回避するため，動画の利用についても示唆している．本研究では，育種現場での実装に焦点を当てて，多様な品種に対して頑健であること，限られた面積の試験区を比較できる精度があることを目指して技術開発を行った．

ムギ類の育種において，単位面積あたりの穂数は品種登録の際に必要な項目であるため，後期世代の有望系統の試験では必ず調査する項目となっている．この段階になっても試験規模は数100プロットにものぼるため，限られた期間に様々な項目を調査するためには高速化は極めて重要である．多様な穂形態をもつ品種を対象にした検出の取り組みは2015年ごろから始まった．その後，国際的な協力のもとコムギの穂検出モデル開発のベンチマークとなるGlobal Wheat Head Detectionデータベースが公開され（David et al. 2020, 2021），検出モデル開発は加速した．通常の物体検出アーキテクチャを利用した高精度なモデルを作るだけでなく（Gong et al. 2021），穂検出用に改良されたアーキテクチャなどが提案され（Ye et al. 2023），精度・速度の両方向から改善がなされた．また，データを効率的に学習するための手法や，より頑健なモデルを作成するための学習方法などもコンペティションを通じて提案された（David et al. 2023）．こうして開発されたモデルと比べ，本研究で得られた穂検出の精度はmAPが約86%であり（図1c），Hasan et al.（2018）の60～75%より優れるものの，Zhang et al.（2022）の90.4%やWen et al.（2022）の92.62%よりも劣っていた．最近のモデルが90%を超えていることを考えると本研究のモデルはやや劣っているが，図2に示す通り実用上問題ない程度で検出できている．一方で育種現場で利用する場合は精度だけではなく，利用のしやすさも重要なファクターである．本研究ではより実践的な観点から，写真だけでなく動画から切り出した画像を用いた（表1）．また本研究で利用したYOLOv4は汎用的な物体検出モデルとして2020年に登場して以来，研究以外の分野でも多く利用されてきた．特に今回利用したソースコード（Darknet）は学習が容易であることに加え，異なる機械学習のフレームワーク間での変換方法が充実しており，育種実装などの面で利用が容易である．

生産力検定試験のような試験区では，試験区内にムラがあり，撮影場所によって穂数に差が出てしまうこと，またドリル播きでは栽植密度が高く，穂の重なりが多いことから写真による検出では全体を把握することは難しいと考えられた．そこで，試験区全体を動画撮影することで，試験区ムラや重なりによって見逃した穂も検出できるのではないかと考えた．調査者が気軽に撮影できるように，撮影時の高さは人が手でもって前に出す程度，移動速度は人がゆっくり歩行する程度とした（付図1）．動画で検出された穂はフレームごとに変動していたが，変動を考慮しても全体として穂数の多いものや少ないものは明瞭に区別することができた（図3）．また，あるフレームでは穂の重なりで見逃したものが他のフレームで検出されていることも確認できたことから，トラッキングシステムを用いることにより，写真に比べて頑健なシステムとなったと考えられる．なお，本システムは農研機構職務作成プログラム「物体検出および計数ソフトウェア」（機構-C03）として登録されており，農研機構のホームページ（https://www.naro.go.jp/collab/program/index.html）から手続きにより利用することが可能である．

動画に映り込んだ穂を目視でカウントした値とモデルにより検出して計測した値を比較し，集計方法を決定した．その結果，フレーム平均値を用いるよりもユニークID数を数える方法の方が実測値の違いをより説明していると考えられた（表2）．このことは，トラッキングにより同一の穂の追跡がうまくいっていることを示している．また，穂検出のスコア閾値によって検出数が変わっており，実測値と比較すると0.3以下では過大評価（実際には穂でないものを穂と認識），0.4以上では過小評価（穂を見逃し）してしまう恐れがあることが示された．本研究で得られた閾値にどの程度の普遍性があるのかはさらなる研究が必要であるが，本結果は閾値設定のための指標の一つになると考えられる．

本研究では，同様に撮影したものであれば高い再現性で穂数計測が可能であったが（図4），実際の調査では複数の者が担当することが想定される．そこで，撮影者，試験区の移動方向，撮影機材，撮影速度などを変化させて調査を行った．その結果，撮影者や試験区の移動方向の影響は小さかったが，撮影速度，画像の向きおよび撮影機材は検出穂数に影響を与えていた（データ未提示）．要因としては，特に移動速度が速くなると画像のブレが大きく検出やトラッキングに影響が生じるためと考えられた．また，画像の向きや撮影機材の影響は画角が変わることで映り込む穂数が変わるためと考えられた．これらのことから，撮影中に画像の向きが変わらないように注意しながら，同一機材で同じ速度で撮影することが比較のためには重要であると考えられた（付図1）．

生産力検定試験での調査結果と自動検出との比較では，オオムギおよびコムギともに2年間の試験で穂数と相関がみられたが（表3，表4，付図4），完全に一致している結果ではなかった．人手による穂数調査もサンプリング試験であるため真の値は不明である．実際，生産力検定試験の穂数調査では試験区内の複数箇所で目視による計測が行われているが，計測箇所間で一定の穂数変動があり，その変動は今回動画から自動検出した場合の反復間誤差よりも大きかった（図4，付図3）．本研究では，自動計測穂数と出穂期や穂長などとの間に相関が認められたが（表3，表4，付図4），早く出穂すると穂数が多くなることは合理的な解釈が可能である．現状では従来の方法と自動検出穂数のどちらが正確かは断定できない状態であり，本技術を用いた計測値を蓄積させ，他の形質との関係をみていく中で判断されると考えられる．また，動画からの自動計測はあくまでも映り込んだ穂を検出しており，正確には単位面積あたりの穂数を示していない．現在，深度カメラなどで草丈の違いを認識し，画角の面積を補正することで単位面積あたりの穂数を計算する方法について検討を進めている．

本研究では，GWHDデータセットをはじめ，穂の色（ふ色）や芒長の異なるコムギ，条性や渦並性の異なるオオムギなど多様な穂型を学習しているが，全ての穂型を同じ精度で検出しているかどうかは分かっていない．また，Hasan et al.（2018）はコムギの生育ステージによって穂とそれ以外の部分の色のコントラストが変化するため，撮影時期によって検出精度が変わることを報告している．本研究では，2023年産試験のオオムギでは，初期と中期で実測穂数と自動穂数に高い相関がみられたものの後期では低下しているが（表3下），この低下は二条オオムギ品種の検出の不正確性が要因である（付図5）．成熟が進んだ二条オオムギは概して風になびいて穂が横になりやすく，また芒が長いため検出が難しくなったと考えられた．このように穂型と撮影時期の組合せによる影響も考えられることから，本技術の運用には，撮影対象や状態についても注意が必要であり，育種選抜には慎重に導入していく必要がある．

写真撮影では，試験区ごとに撮影するため，写真のファイル名と試験区名との対応を記録する必要がある．現在，事前に用意した調査票や電子野帳を用いてこの紐づけ作業を行っているが，多数の試験区についてそれぞれ複数枚撮影する場合はこの作業に手間がかかっている．動画であれば複数の試験区を連続撮影してファイル数を減らすことができる．この場合でも自動的に試験区を認識し，それぞれの試験区の穂数を計測できるようなプログラムを開発済である（図5）．

図5.

5つの試験区を連続撮影した動画に穂検出モデルを適用した場合のフレームごとのバウンディングボックス数の変化．バウンディングボックスが10以下のフレームが連続して5回以上続いたらプロット外と判定して試験区を切り分けた．

本研究では，育種への画像センシング技術の導入の一例として，物体検出を用いた穂数の推定に取り組んだが，その他の手法についても，今後検討する必要がある．例えば物体検出とセグメンテーションを同時に行うインスタンスセグメンテーションのような手法を用いれば，穂数に加え，より正確な穂のサイズを推定できることが期待される．あるいは，画像から3D構築を行う手法を活用することで，通常の単一の画像・画角では考慮することが難しい奥行きも含めた情報が得られる．このため3次元的な穂の形状を捉えることが可能になる．穂数と穂のサイズが正確に推定できれば，収量などの複雑な形質の推定を高精度化することができると期待される．また，物体検出やセグメンテーション技術は当然穂以外の器官についても適用できるため，草型に関わる種々の形質や病徴・栄養状態など外観により判断される形質に関して同様に高速・高精度・非破壊的に調査することが可能となる．このため，従来の育種では手間や労力あるいは精度の観点から調査が困難だった形質の評価を育種に取り入れることが可能となり，形質評価の選択肢を増やすことができる．形質評価が多様になれば，より多角的な視点から材料を評価でき，育種選抜の高度化に繋がる．

画像センシング技術などデータサイエンスの中で生まれた技術について，その実用性を検討し，育種現場へと実装する．実装を通じ，育種における形質評価の手間や労力などの制限要因を取り除き，選択肢を増やす．これにより，育種・育種学研究に新たな方向性をもたらし，育種の効率化や加速化に貢献していく．

謝辞

本研究は，農林水産省委託プロジェクト「スマート育種プロジェクト」（J007142）および「みどりの品種開発加速化プロジェクト」（JPJ012037）の支援を受けた．また，本研究の一部は農研機構のAI研究用スーパーコンピュータ「紫峰」を利用して実施した．本研究の実施にあたり，アノテーション作業および実測値集計を行っていただいた農研機構・作物研究部門の契約職員・金子澄子氏，海老原美奈子氏および生産力検定試験における圃場管理および調査を実施していただいた農研機構・技術支援部の職員に深く感謝する．

電子付録

付図1．穂検出モデル作成のための画像データの収集方法．（a）移動式カートによる写真撮影風景，（b）アノテーションツール「Web Tool for Annotation」によるアノテーション例，（c）動画の撮影風景，（d）「VGG Image Annotator」による動画切り出し画像のアノテーション例，（e）動画の撮影方法および条件．

付図2．穂検出モデルおよび穂数計測手法の作出スキーム．

付図3．圃場での穂数の目視調査における計測箇所による変動．

付図4．穂数の自動計測値と育種調査値との散布図．（a，b）オオムギの2022年，2023年産試験との比較，（c，d）コムギの2022年，2023年産試験との比較．

付図5．撮影時期の違いによる二条オオムギの穂検出精度の変化．

付表1．穂検出精度の調査に用いた動画におけるフレームごとのユニークID数の分布．

引用文献

•  荒川 みずほ・ 後藤 紘志・ 杉浦 和彦・ 杉浦 直樹（2019）コムギ品種「きぬあかり」の多収要因の解析．愛知県農総試研報 51: 103–105.
•  Batin,  M.A.,  M.  Islam,  M.M.  Hasan,  A.  Azad,  S.A.  Alyami,  M.A.  Hossain and  S.J.  Miklavcic (2023) WheatSpikeNet: an improved wheat spike segmentation model for accurate estimation from field imaging. Front. Plant Sci. 14: 1226190.
• Bochkovskiy, A., W. Chien-Yao and H.Y.M. Liao (2020) YOLOv4: optimal speed and accuracy of object detection. arXiv preprint arXiv: 2004.10934.
•  Cao,  S.,  D.  Xu,  M.  Hanif,  X.  Xia and  Z.  He (2020) Genetic architecture underpinning yield component traits in wheat. Theor. Appl. Genet. 133: 1811–1823.
•  David,  E.,  S.  Madec,  P.  Sadeghi-Tehran,  H.  Aasen,  B.  Zheng,  S.  Liu,  N.  Kirchgessner,  G.  Ishikawa,  K.  Nagasawa,  M.A.  Badhon et al. (2020) Global Wheat Head Detection (GWHD) Dataset: a large and diverse dataset of high-resolution RGB-labelled images to develop and benchmark wheat head detection methods. Plant Phenomics 2020: 3521852.
•  David,  E.,  M.  Serouart,  D.  Smith,  S.  Madec,  K.  Velumani,  S.  Liu,  X.  Wang,  F.  Pinto,  S.  Shafiee,  I.S.A.  Tahir et al. (2021) Global Wheat Head Detection 2021: an improved dataset for benchmarking wheat head detection methods. Plant Phenomics 2021: 9846158.
•  David,  E.,  F.  Ogidi,  D.  Smith,  S.  Chapman,  B.  de Solan,  W.  Guo,  F.  Baret and  I.  Stavness (2023) Global Wheat Head Detection Challenges: winning models and application for head counting. Plant Phenomics 2023: 0059.
•  Dixon,  L.E.,  J.R.  Greenwood,  S.  Bencivenga,  P.  Zhang,  J.  Cockram,  G.  Mellers,  K.  Ramm,  C.  Cavanagh,  S.M.  Swainand and  S.A.  Boden (2018) TEOSINTE BRANCHED1 regulates inflorescence architecture and development in bread wheat (Triticum aestivum). Plant Cell 30: 563–581.
•  Ghosal,  S.,  B.  Zheng,  S.C.  Chapman,  A.B.  Potgieter,  D.R.  Jordan,  X.  Wang,  A.K.  Singh.  A.  Singh,  M.  Hirafuji,  S.  Ninomiya et al. (2019) A weakly supervised deep learning framework for sorghum head detection and counting. Plant Phenomics 2019: 1525874.
• Gong, B., D. Ergu, Y. Cai and B. Ma (2021) Real-time detection for wheat head applying deep neural network. Sensors 21: 191.
•  Hasan,  M.M.,  J.P.  Chopin,  H.  Laga and  S.J.  Miklavcic (2018) Detection and analysis of wheat spikes using convolutional neural networks. Plant Methods 14: 100.
• Jin, X., P.J. Zarco-Tejada, U. Schmidhalter, M.P. Reynolds, M.J. Hawkesford, R.K. Varshney, T. Yang, C. Nie, Z. Li, B. Ming et al. (2021) High-throughput estimation of crop traits: a review of ground and aerial phenotyping platforms. IEEE Geoscience and Remote Sensing Magazine, March 2021: 200–231.
•  笠島 真也・ 今井 康太・ 清水 隆大・ 伊藤 博武・ 中丸 康夫・ 吉田 穂積・ 佐藤 三佳子・ 神野 裕信・ 吉村 康弘・ 高橋 肇（2016）北海道における秋播性コムギ新旧品種きたほなみとホクシンの生育・収量特性の差異．日作紀 85: 155–161.
• 河田尚之・藤田雅也・八田浩一・松中仁・久保堅司・荒木均・田谷省三・小田俊介・塔野岡卓司・堤忠宏ら（2012）多収で主要な縞萎縮ウイルス系統に抵抗性の二条大麦新品種「はるか二条」．九州沖縄農業研究センター　2012年度成果情報．[https://www.naro.go.jp/project/results/laboratory/karc/2012/112e0_01_07.html]
•  Kuzay,  S.,  Y.  Xu,  J.  Zhang,  A.  Katz,  S.  Pearce,  Z.  Su,  M.  Fraser,  J.A.  Anderson,  G.  Brown-Guedira,  N.  DeWitt et al. (2019) Identification of a candidate gene for a QTL for spikelet number per spike on wheat chromosome arm 7AL by high-resolution genetic mapping. Theor. Appl. Genet. 132: 2689–2705.
•  Lin,  T.-Y.,  M.  Marie,  S.  Belongie,  J.  Hays,  P.  Perona,  D.  Ramanan,  P.  Dollár and  C.L.  Zitnick (2014) Microsoft COCO: Common Objects in Context. ECCV 2014: 740–755.
•  Mizuno,  N.,  G.  Ishikawa,  H.  Kojima,  M.  Tougou,  C.  Kiribuchi-Otobe,  M.  Fujita and  K.  Nakamura (2021) Genetic mechanisms determining grain number distribution along the spike and their effect on yield components in wheat. Mol. Breed. 41: 62.
• Muqaddasi, Q.H., J. Brassac, R. Koppolu, J. Plieske, M.W. Ganal and M.S. Röder (2019) TaAPO-A1, an ortholog of rice ABERRANT PANICLE ORGANIZATION 1, is associated with total spikelet number per spike in elite European hexaploid winter wheat (Triticum aestivum L.) varieties. Sci. Rep. 9: 13853.
• 農林水産省農産局穀物課（2023）麦をめぐる最近の動向，2023年7月．
•  Redmon,  J.,  S.  Divvala,  R.  Girshick and  A.  Farhadi (2016) You Only Look Once: unified, real-time object detection. IEEE CVPR 2016: 779–788.
•  Sadeghi-Tehran,  P.,  N.  Virlet,  E.M.  Ampe,  P.  Reyns and  M.J.  Hawkesford (2019) DeepCount: In-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks. Front. Plant Sci. 10: 1176.
•  Sakuma,  S.,  G.  Golan,  Z.  Guo,  T.  Ogawa,  A.  Tagiri,  K.  Sugimoto,  N.  Bernhardt,  J.  Brassac,  M.  Mascher,  G.  Hensel et al. (2019) Unleashing floret fertility in wheat through the mutation of a homeobox gene. Proc. Natl. Acad. Sci. USA 116: 5182–5187.
•  Sanaeifar,  A.,  M.L.  Guindo,  A.  Bakhshipour,  H.  Fazayeli,  X.  Li and  C.  Yang (2023) Advancing precision agriculture: The potential of deep learning for cereal plant head detection. Comput. Electron. Agric. 209: 107875.
•  Tanaka,  Y.,  T.  Watanabe,  K.  Katsura,  Y.  Tsujimoto,  T.  Takai,  T.S.T.  Tanaka,  K.  Kawamura,  H.  Saito,  K.  Homma,  S.G.  Mairoua et al. (2023) Deep learning enables instant and versatile estimation of rice yield using ground-based RGB images. Plant Phenomics 5: 0073.
•  Wen,  C.,  J.  Wu,  H.  Chen,  H.  Su,  X.  Chen,  Z.  Li and  C.  Yang (2022) Wheat spike detection and counting in the field based on SpikeRetinaNet. Front. Plant Sci. 13: 821717.
•  Wojke,  N.,  A.  Bewley and  D.  Paulus (2017) Deep cosine metric learning for person re-identification. IEEE ICIP 2017: 3645–3649.
•  Wojke,  N. and  A.  Bewley (2018) Simple online and realtime tracking with a deep association metric. IEEE WACV 2018: 748–756.
• Ye, J., Z. Yu, Y. Wang, D. Li and H. Zhou (2023) WheatLFANet: in-field detection and counting of wheat heads with high-real-time global regression network. Plant Methods 19: 103.
•  Zhang,  J.,  A.  Min,  B.J.  Steffenson,  W.-H.  Su,  C.D.  Hirsch,  J.  Anderson,  J.  Wei,  Q.  Ma and  C.  Yang (2022) Wheat-Net: an automatic dense wheat spike segmentation method based on an optimized hybrid task cascade model. Front. Plant Sci. 13: 834938.
•  Zheng,  L.,  Z.  Bie,  Y.  Sun,  J.  Wang,  C.  Su,  S.  Wang and  Q.  Tian (2016) MARS: a video benchmark for large-scale person re-identification. ECCV 2016: 868–884.
• Zhu, M. (2004) Recall, Precision and Average Precision. Working Paper 2004–09. Department of Statistics & Actuarial Science, University of Waterloo. August 26, 2004. [https://datascience-intro.github.io/1MS041-2022/Files/AveragePrecision.pdf].