日本主導:この研究は、筆頭著者・責任著者、または著者の主要所属が日本の研究機関である研究です。
掲載誌:Nutrients
ライセンス: CC BY 対象: 公開論文 確認元: OpenAlex
何を明らかにしようとした研究か
食事の写真から栄養素の量を推定する技術として、画像と言語の両方を扱えるAI(視覚言語モデル、VLM)の利用が広がっています。手間のかかる自己申告に代わる方法として期待される一方で、著者らは以前の研究で、指示文(プロンプト)の書き方やモデルの選択によって推定精度が大きく変わることを報告していました。ただし当時分かったのは「どれくらい精度がばらつくか」であって、「ある指示文が推定値をどちらの方向へ動かすか」ではありませんでした。
写真からの栄養推定で最大の誤差源になるのは、量(ポーション)の見積もりだと著者らは述べています。料理の中身を取り違えるよりも、盛り付け量を読み違えるほうが影響が大きく、量の見積もりが一度ずれると、そこから計算されるすべての栄養素に誤差が波及するためです。そこで本研究は、AIに「あなたは日本の管理栄養士です」といった役割(ペルソナ)を与えたとき、推定される量が一定の方向へ動くのかどうかを調べました。ペルソナを与える手法はこれまで、国や文化に関する価値判断の偏りを生む要因として研究されてきましたが、著者らによれば、それが量という数値的な見積もりに対して系統的に働くかを調べた例は知られていないとのことです。
どのように調べたか
著者らは、性格の異なる2つの写真データセットを用いました。ひとつは「NutriImage」で、2002〜2005年に京都大学生協食堂で提供された料理を撮影したもので、正解値は管理栄養士が各料理のレシピ(材料単位)と提供総重量をもとに日本食品標準成分表から算出しています。分析には887枚が使われました。もうひとつは米国の「SNAPMe」で、参加者自身が撮影した食事の写真1272枚です。両者は日常的な食事という点で共通する一方、SNAPMeのほうが正解値の中央値でエネルギーが約1.6倍、重量が約1.8倍大きいという違いがあります。
モデルは3社6種類(Anthropicの2種、OpenAIの2種、Googleの2種)を使いました。指示文は共通の土台となる文(エネルギー、たんぱく質、脂質、炭水化物、食塩相当量の5項目を答えさせるもの)に対し、役割の有無を3通り(役割なし/日本の管理栄養士/米国の登録栄養士)、量に関するヒントを2通り(情報なし/「1人前が写っています」と明示)を組み合わせて与えました。日本語版と米国版の文面は長さや語調を揃え、違いが「国・文化」の部分に限られるようにしてあります。役割なしの条件と比べた変化を、同じ写真ごとの差として集計する方法がとられました。
さらに著者らは、効果が特定のモデルやデータセットに依存しないことを確かめるため、2159枚の画像をひとつにまとめ、各画像を6モデルのいずれかにランダムに割り当てて分析し直しています。割り当てを1000回やり直しても結論が変わらないかも確認されました。分けて調べるための対照条件として、「普段より少なめ(多め)の1人前を想定する」という露骨な指示、国籍を伴わない栄養士の役割、栄養の専門教育を受けていない日本/米国の主婦・主夫という役割も試されています。
報告された主な結果
著者らの報告では、日本の管理栄養士というペルソナを与えると、6つのモデルすべて、2つのデータセットすべてで、推定エネルギーが役割なしの場合より下向きに動きました。一方、米国の登録栄養士というペルソナでは変化は小さく、方向も一定しませんでした。つまり「役割を与えれば何でも動く」のではなく、日本という設定に特有の非対称な効果だったということです。効果の大きさはモデルによって幅があり、NutriImageでは−2.4kcal(GPT-4o)から−62.5kcal(Gemini Flash)まで報告されています。
変化の深さは、そのモデルがもともと持っていた誤差と関係していました。役割なしの条件で多めに見積もる傾向が強いモデルほど、日本の管理栄養士の設定で大きく下がったと報告されています(12の組み合わせでの相関係数r=−0.82、著者らは記述的な要約として提示)。画像1枚ごとに見ても、もともと少なめに見積もっていた写真ではほとんど動かず、多めに見積もっていた写真ほど大きく下がるという、条件に応じた補正のような挙動が見られました。これに対し「少なめを想定せよ」という露骨な指示は、もとの誤差にかかわらずほぼ一律に値を下げており、著者らはこの2つを程度の差ではなく質の違いとして記述しています。
対照条件からは、効果の主な担い手が職業ではなく国・地域の側にあることが示されました。栄養の専門教育を伴わない日本の主婦・主夫という設定でも、日本の管理栄養士の場合の変化の大半が再現された一方、国籍を伴わない栄養士の設定ではわずかで方向も一定しない変化しか生じませんでした。
精度への影響は、データセットによって正反対でした。正解の量が小さいNutriImageでは、もともと多めに見積もる傾向があったため、下向きの変化が誤差を減らし、6モデルすべてで中央絶対パーセント誤差が改善しました。一方、正解の量が大きいSNAPMeでは、同じ下向きの変化が起きても精度はほぼ改善しませんでした。著者らはこれを、変化の方向という軸と、精度への影響という軸を分けて考えるべき根拠として示しています。また変化はエネルギーだけでなく、たんぱく質や炭水化物にも同じように現れ、予測される三大栄養素の構成比はほとんど変わりませんでした。食塩相当量については、写真から見えない栄養素であり推定がほとんど機能していなかったため、主要な主張からは除外されています。
この研究が示すこと
著者らはこの結果を、社会的な肩書きというラベルが、AIの「量に関する見積もりの基準」を系統的に動かしうることを示すものとして位置づけています。写真そのものには絶対的な大きさの手がかりがないため、モデルは学習した典型的な盛り付け量に頼らざるをえず、ペルソナはどの地域の基準を参照するかを選ぶ働きをしているのではないか、というのが著者らの解釈です。ただし本研究の設計では、モデルの内部で何が起きているかを直接測っているわけではなく、機構は未解明のままだと明記されています。
実務への含意について、著者らは慎重な読み方を求めています。実際の食事評価では正解が手元にないため、各写真の誤差がどちら向きかは分かりません。下向きに動かす指示文は、ある領域では役立ち、別の領域では役立たない可能性があり、本研究の2つのデータセットがまさにその両方を示しました。したがってこの指示文は、対象領域の代表的なデータで検証したうえで採用を検討すべき、領域ごとの調整の候補であって、既定の設定にすべきものではない、と結論づけられています。
著者:Shinichi Nakagawa(Research Institute of Info-Communication Medicine (RinCOM), Tokyo 184-0004, Japan)、Akira Yamamoto(Faculty of Health Data Science, Juntendo University, Tokyo 113-8421, Japan)
※本記事は原著論文をもとに、日本語で要約・説明を加えた研究紹介です。 出典(原著論文):Shinichi Nakagawa, Akira Yamamoto. A Japanese-Dietitian Prompt Systematically Shifts Portion Estimates in LLM-Based Nutrient Estimation from Food Images: A Multi-Dataset, Multi-Model Study. Nutrients 2026-09-03. DOI: 10.3390/nu18172892. 原著ライセンス:CC BY.