著者の所属・活動拠点の国は、中国です。

掲載誌：Plants

ライセンス: CC BY　対象: 公開論文　確認元: OpenAlex

研究の目的

研究チームは、果樹園で撮影した画像から甘柿の実を見つけ出し、熟しているかどうかも見分ける画像認識モデルの開発に取り組みました。著者らによると、果樹園の拡大とスマート農業の進展により、収穫の自動化が求められています。しかし、畑の甘柿を画像から検出するには二つの難しさがあります。一つは、実が房のように固まって育つため、互いに重なったり枝葉に隠れたりして輪郭があいまいになり、見落としや誤検出が起きやすいことです。もう一つは、熟す過程での色の変化がはっきりしないため、熟度の違う実どうしの色が似てしまい、見分けにくいことです。

著者らは、既存の手法にも二つの弱点があると指摘しています。実を一つずつ切り分けるのに必要な周囲の情報を十分に取り込めないこと、そして取り込んだ周囲の情報が対象の実と本当に整合しているかを確かめる仕組みがないことです。この二つの課題に対応する検出モデルを作ることが、研究の狙いです。

何を、どのように調べたか

対象は、中国山西省運城市万栄県で栽培されている甘柿の品種「陽豊」です。2024年10月7日から17日にかけて、午前と午後の時間帯に、50〜80センチの距離から一眼レフカメラで撮影しました。順光と逆光の両方の条件で多方向から撮り、背景(空、地面、樹冠)や遮るもの(枝、葉、ほかの実)もさまざまな状態を含めています。撮影した画像は7570枚で、かすみの除去と学習用画像の水増しを経て、最終的なデータセットは8701枚になりました。

前処理も工夫しています。果樹園内の高温と風通しの悪さで一部の画像がかすんでいたため、4種類のかすみ除去法を比べ、最も効果の高かった「ガイデッドフィルタ」という手法を採用しました。また、収穫期には熟した実が未熟な実よりずっと多く写るため、未熟な実の画像を反転・回転させて枚数を増やし、偏りを和らげています。

モデルの土台には、物体検出モデルYOLOv12の最小版(YOLOv12n)を使いました。そこに三つの部品を組み込んでいます。一つ目のRCMは、縦方向と横方向に沿って画像の広い範囲から周囲の情報を集め、隠れた部分の形を推し量る部品です。二つ目のCFCGは、画像内の位置ごとに情報を通すか抑えるかを調整する「門」の役割を持ちます。RCMで補った情報のうち、果実らしい信号を残し、葉に乱された紛らわしい信号を抑える働きをします。三つ目のPPAは、画像を小さな区画に分けて区画ごとに色の違いを際立たせる部品で、熟度の違いによる微妙な色の差を見分けるために、検出結果を出す最終段に組み込まれています。三つを順に重ねたモデルがRCPNetです。

評価では、部品を一つずつ加えたときの性能の変化を調べました。各段階で、同じ役割を担う既存の部品と入れ替えて比較しています。性能の主な指標は、熟した実と未熟な実の検出精度を平均したmAPです。予測した枠と正解の枠の重なりが半分以上なら正解とみなす「[email protected]」と、重なりの基準を段階的に厳しくして平均した「[email protected]:0.95」の二つを用いています。さらに、より大きなYOLOv12sなどの主要な検出モデルとも比べ、計算量や処理時間も測りました。加えて、甘柿とは別に平棗(ひらなつめ)のデータセットでも性能を確かめています。

主な報告結果

完成したRCPNetの甘柿データセットでの成績は、[email protected]が96.3%、[email protected]:0.95が85.1%でした。土台のモデルと比べると、それぞれ2.7ポイントと3.7ポイントの向上です。なお、土台のモデルの安定性を3分割の交差検証で確かめたところ、[email protected]は平均93.6%(ばらつき±0.1%)でした。

部品ごとの効果も報告されています。RCMだけを加えると[email protected]は94.9%となり、土台より1.3ポイント上がりました。比較したほかの部品の中では最も良い結果でした。RCMにCFCGを組み合わせると、[email protected]は95.8%、[email protected]:0.95は84.4%に上がり、未熟な実の認識精度は93.9%に達しました。最後にPPAを加えると、計算量の増加はわずかなまま、精度がさらに向上しました。

モデルがどこに注目しているかを画像上に色で示す可視化でも、段階ごとの違いが見られました。RCMを加えると隠れた部分への注目が大きく増えた一方で、誤検出も増えました。CFCGはその誤検出を抑えましたが、色の似た実への注目範囲は狭まりました。PPAを加えると、隠れていて色も似ている実への注目が大きく強まりました。著者らは、どれか一つの部品を外すだけで、特定の難しい事例での成績が大きく落ちたと報告しています。

より大きなYOLOv12sと比べると、RCPNetは[email protected]で0.1ポイント上回りました。モデルの規模を表すパラメータ数は、YOLOv12sの910万に対して374万と少なくなっています。ただし、未熟な実の検出精度はYOLOv12sより1.6ポイント低くなりました。土台のモデルと比べた処理時間の増加は1枚あたり0.2ミリ秒で、GPUメモリの使用量は2.96GBから2.98GBへのわずかな増加にとどまりました。平棗のデータセットでも、一貫した性能向上が確認されています。

この報告が示すこと

研究チームは、隠れや色の似た実といった農業画像に特有の問題に狙いを定めて設計を変えることで、計算の負担をあまり増やさずに検出精度を高められると結論づけています。形も色も樹冠の様子も異なる甘柿と平棗の両方で安定した成績が出たことから、特定の果物だけに過度に合わせ込んだモデルではないと著者らは考えています。また、部品を組み合わせる設計は、同じ課題を抱えるほかの果樹にも参考になるとしています。

一方で、著者らは複数の限界も挙げています。面積の9割以上が隠れた実では手がかりがほとんど残らず、検出に失敗することが多くなります。列の奥や画像の端にあって幅20画素未満にしか写らない小さな実も、苦手としています。強い逆光と濃い影が重なると、色の値が学習時の範囲から外れ、熟度の判別が悪くなります。さらに、評価に使った2つのデータセットは地理や気候が似た条件で集められたもので、樹形や剪定方法、品種の違う果樹園での性能は分かっていません。収穫ロボットに載せるような組み込み機器での動作試験も、まだ行われていません。

原著論文の著者・所属：Shilin Li（Faculty of Software Technologies, Shanxi Agricultural University, Jinzhong 030800, China）、Lili Sun（Faculty of Software Technologies, Shanxi Agricultural University, Jinzhong 030800, China）、Chaoyi Wu（Faculty of Software Technologies, Shanxi Agricultural University, Jinzhong 030800, China）、Wenyang Zang（Faculty of Software Technologies, Shanxi Agricultural University, Jinzhong 030800, China）、Shujuan Zhang（College of Agricultural Engineering, Shanxi Agricultural University, Jinzhong 030800, China）、Fuzhong Li（Faculty of Software Technologies, Shanxi Agricultural University, Jinzhong 030800, China）

※本記事は原著論文をもとに、日本語で要約・説明を加えた研究紹介です。 出典（原著論文）：Shilin Li, Lili Sun, Chaoyi Wu, et al. Seeing the Unseen: RCPNet’s Dual Strategy for Occluded and Similar-Color Sweet Persimmon Detection in Dense Canopies. Plants（出版社：Multidisciplinary Digital Publishing Institute） 2026-08-17. DOI: 10.3390/plants15162490. 原著ライセンス：CC BY.