著者の所属・活動拠点の国は、トルコです。

掲載誌：Symmetry

ライセンス: CC BY 4.0　対象: 公開論文　確認元: 論文PDF

研究の目的

葉の写真から作物の病気を見分ける人工知能（AI）の研究では、新しいモデルが既存モデルを正解率でわずかに上回ったと報告されることがよくあります。しかし、同じデータの中で99%前後の成績を競う場合、その小さな差が本当にモデルの優劣を表しているのかは分かりにくいままです。

研究チームは、葉の病変に注目する仕組みを組み込んだ新しい分類モデル「HMLA-Net」を提案しました。あわせて、多数のモデルを同じ条件で比較する方法と、学習に使っていない別のデータセットで追加学習なしに性能を確かめる評価方法を示しました。主な目的は、モデル同士の差をどこまで信頼して読み取れるかを確かめることです。

何をどのように調べたか

学習には、カシューナッツ、ジャックフルーツ、マンゴー、トマトの4作物について、21の病気・状態に分類された葉の画像データセットを使いました。著者らは、まったく同じ内容の重複画像76枚を除いて7179枚とし、学習用・調整用・テスト用に分けました。分け方を変えた3通りで実験し、テストには毎回1077枚を使っています。

比較の対象は、画像認識で広く使われる25種類の汎用モデルとHMLA-Netです。さらに、HMLA-Netの部品を一つずつ外した版や、HMLA-Netと同じ学習・推論の手順で学習し直した既存モデルも用意し、合計47通りの構成をすべて同じデータ分割と同じ手順で学習しました。

特徴的なのは、主要な26モデルの実験全体を、同じ計算機で3週間の間隔をあけて最初から2回実行したことです。同じ設定で学習し直しただけで成績がどれだけ変わるかを実際に測り、モデル間の差と比べるためです。

もう一つの評価として、学習済みのモデルを、別の研究グループが独自に集めたマンゴーの葉の画像データセット「MLD24」（6クラス、4800枚）にそのまま適用しました。追加学習も調整も行わないこの方式は「ゼロショット」評価と呼ばれ、撮影条件などが異なる画像に対して、モデルがどれだけ通用するかを確かめるものです。

主な結果

学習と同じデータセットのテストでは、1回目の実行でHMLA-Netが26モデル中で最も高い成績を示しました。正解率は約98.8%で、クラスごとの成績を平均した指標であるマクロF1は0.9845でした。ただし、26モデル全体の差はマクロF1で1.68ポイントしかありませんでした。一方、同じ設定で学習し直すだけでも、1回の学習あたり平均0.34ポイント、最大1.06ポイントの変動がありました。2回目の実行では、HMLA-Netは8位でした。著者らは、この評価では上位モデルの差が同じモデルの再実行による揺らぎより小さく、順位は意味を持たないと述べています。この状態を著者らは、ベンチマークが「飽和している」と表現しています。

これに対し、別データセットMLD24でのゼロショット評価では、モデル間の正解率に47ポイントもの開きが出ました。しかも、モデルの並び順は2回の実行の間でよく一致しました。順位の相関は、元のデータセットでは0.69だったのに対し、こちらでは0.92でした。別データでの評価は、モデルの系統による違いを再現性のある形で区別できたことになります。ただし、上位グループの中での順位までは決められませんでした。

HMLA-Netの部品を外した版の実験や、同じ学習手順をそろえた比較でも、HMLA-Netの個々の仕組みの効果ははっきりしませんでした。同じ手順で学習した土台のモデルに対するHMLA-Netの上回り幅は2〜3ポイントで、これも再実行による揺らぎの範囲内でした。著者らは、HMLA-Netは上位グループの一員であるものの、その差が構造、学習手順、偶然のどれによるものかを判断するには3通りの実験では足りないとしています。

目立った発見の一つが、マンゴーの「すす病」です。元のデータセットでは誤りなく分類されていましたが、MLD24の800枚ではほとんど認識されず（約0.5%）、多くのモデルでうどんこ病と判定されていました。著者らは、二つのデータセットで「すす病」と呼ぶ対象の定義が違う可能性などを挙げています。ただし、これはあくまで仮説であり、今回の実験ではほかの説明と区別できていないと明記しています。

研究が示すこと

この研究は、同じデータセットの中で高い正解率をわずかに競う比較だけでは、モデルの優劣を確かめにくいことを具体的な数値で示しました。著者らは、実験を再実行して差の揺らぎを示すことの重要性を強調しています。また、別データでの評価では、全体の平均成績が一つのクラスの結果に大きく左右されうるため、クラスごとの内訳まで報告することが大切だと述べています。

一方で、別データでの検証はマンゴー1作物の6クラスに限られます。トマトなど他の作物でも同じ傾向になるかは確かめられていないと、著者らは明記しています。

原著論文の著者・所属：Songul Karakus（Department of Computer Engineering, Faculty of Engineering and Architecture, Bitlis Eren University, Bitlis 13000, Türkiye）、Mehmet Burukanli（Department of Computer Engineering, Faculty of Engineering and Architecture, Bitlis Eren University, Bitlis 13000, Türkiye）、Davut Ari（Department of Computer Engineering, Faculty of Engineering and Architecture, Bitlis Eren University, Bitlis 13000, Türkiye）

※本記事は原著論文をもとに、日本語で要約・説明を加えた研究紹介です。 出典（原著論文）：Songul Karakus, Mehmet Burukanli, Davut Ari. Saturated In-Domain, Separable Out-of-Domain: A Hierarchical Multi-Scale Lesion-Attention Network and a Zero-Shot Cross-Corpus Protocol for Multi-Crop Leaf Disease Classification. Symmetry 2026-09-17. DOI: 10.3390/sym18091557. 原著ライセンス：CC BY.