従来の食事調査法と同等レベルで栄養素・食品群量を推定できる可能性を確認

株式会社リンクアンドコミュニケーション（本社：東京都千代田区、代表取締役社長：渡辺 敏成、以下 当社）は、東邦大学 医学部 社会医学講座衛生学分野の朝倉敬子准教授の監修のもと、AI健康アドバイスアプリ「カロママ」に搭載されている食事の画像認識技術により推定された栄養素および食品群含量が、どの程度正確に推定されているかの妥当性研究を行った結果、従来の食事調査方法と比較し、ほぼ同等レベルであることが立証されました。日常的に使われる健康アプリとして、食事画像認識技術で複数の栄養素・食品群含量が推定できるかを科学的に検証したのは当社アプリが初（※１）であり、この研究の学術論文が「JMIR Formative Research」に掲載されました。

クリニックや医療機関など食事指導の現場で当社アプリを活用することで、長期での食事モニタリングや、個人の生活状況に適したアドバイスの提供ができるなど、健康アプリの活用の幅がより広がる可能性が示唆されました。

※１：当社調べ

背景

昨今、様々な健康アプリが開発・提供されており、特に、簡単に食事記録ができる画像認識技術が搭載されたアプリは、栄養素や食事量を測定するためのツールとして期待されています。しかし、画像認識技術がどの程度の性能なのかは、十分に評価されていないことがほとんどです。
当社が提供するAI健康アドバイスアプリ「カロママ」は、ユーザーがアプリに入力した食事や運動などのライフログデータをもとに、よりパーソナルなアドバイスをAIが提供することで健康維持・増進を促進するアプリとなっており、食事画像認識技術が搭載されています。この技術を活用した健康づくりを推進するためには、どの程度正確に栄養素や食品群含量が推定できるのかを科学的に検証する「妥当性研究」が必要だと考え、検証することといたしました。

研究の結果（サマリー）

１．栄養素について
各種栄養素について、比較基準と比べた際の栄養素含量の推定誤差は、自動推定データで-25～+4%、手動修正データで-11～+13%と、自動推定データ・手動修正データともに比較基準に近い値が得られました。

２．食品群について
検討した15の食品群のうち、自動推定では4食品群（27%）が、手動修正では10食品群（67%）が、統計学的な検定を行うと、比較基準に近い値をうまく推定できていました。従来の食事調査法で食品群摂取量を見積もり、妥当性を検討した研究では、40～50%程度の食品群をうまく推定できたという結果があります。
その結果と比べると、カロママの自動推定・手動修正の妥当性は劣らず、特に手動修正データではうまく推定できていると考えられる結果となりました。

研究の詳細について

■研究の目的
AI健康アプリ「カロママ」の食事画像認識技術が、どの程度正確かを検証しました。

■AI健康アプリ「カロママ」の食事記録方法について
「カロママ」の食事画像認識は、下記の流れで行われます。
1.ユーザーが撮影した食事の写真がクラウドサーバーに送信されます。
2.画像認識システムが料理や食材・サイズを識別し、その結果に基づいて栄養素量・食材重量などを予測します。
3.料理名および料理重量、栄養素量、食品群含有量が、認識された食事の結果として、アプリに表示されます。
ユーザーは、画像認識結果として表示された料理や分量などの情報を変更することができます。
変更する場合は、アプリに予め登録されている約15万点のメニューデータベースから適切な食品や料理を検索したり、分量を手動で変更して、記録することができます。

■研究の方法
120の食事献立（※2）を用意し、これを比較基準としました。
比較基準を100％としたときの自動推定データ（画像認識機能で判定したデータ）と、手動修正データ（画像認識機能で判定した後、アプリに予め登録されているメニューデータベースを用いて手動で修正したデータ）の、それぞれの割合を算出しました。
※２：各献立に含まれている料理は、アプリの食事データベースに登録されている、栄養素や食品の含量がわかっている料理としました。

■結果
今回の結果から、画像認識技術で自動推定された食事献立中の栄養素・食品群含量は、実際の食事献立中の栄養素・食品群含量を比較的推定できていることが立証されました。
また、今回得られた結果は、従来の食事調査で用いられる記録法や質問票法などの方法と比較しても良好である可能性があることが分かりました。（※3）
今後は、今回の検証で用いた献立以外でも栄養素・食品群含量をうまく推定できるかを検討・検証を重ね、より正確な判定ができるよう画像認識機能の向上に努めます。
※３：従来の食事調査法でエネルギー摂取量を推定した場合、-40～+20%程度の誤差が生じることが分かっています。それと比較して、本研究では、栄養素含量の推定誤差が、自動推定データで-25～+4%、手動修正データで-11～+13%であることから、従来食事調査法で推定した方法とほぼ同等レベルであると考えられました。

研究の監修を行った専門家のコメント

 〇東邦大学　准教授
朝倉 敬子 先生（医師・医学博士・公衆衛生学修士）
・東邦大学医学部社会医学講座衛生学分野　准教授
・専門分野：栄養疫学、予防医学
・上級疫学専門家、日本疫学会代議員
・衛生学エキスパート、日本衛生学会代議員

●コメント●
スマートフォンで手軽に利用できる健康アプリは沢山ありますが、そこに表示される食事や運動、睡眠に関する情報が本当に正確かどうか確認されているアプリは少ないです。特に「何を食べたか」を正確に測るのは難しく、どんな方法を使っても一定の誤差が生じることが知られています。今回、画像認識技術を使った食事調査でも、従来使われていた方法とあまり変わりのないレベルで栄養素や食品の摂取量を見積もることができる可能性が初めて示されました。本研究は実験的な条件下（※あらかじめ用意された食事を撮影する）で行われましたが、実生活における食事でも同じような結果が得られれば、これまでは難しかった長期にわたる食事内容のモニタリングが可能になり、個人の状態に合わせたより良い食事へのアドバイスができるようになるかもしれません。テクノロジーは日進月歩です。画像認識技術がさらに向上し、より正確な食事の情報を得られるようになることが期待されます。
※各コメントは発言者個人の意見であり、所属する組織の見解を代表するものではありません。

論文の概要

 〇 題名
Nutrient and Food Group Prediction as Orchestrated by an Automated Image Recognition System in a Smartphone App (CALO mama): Validation Study
スマートフォンアプリ「カロママ」内の画像認識技術により推定された栄養素および食品群含量の正確性：妥当性研究

〇 著者 (全員)
佐々木 由樹(1)、佐藤 豪竜(1,2)、児林 聡美(1)、朝倉 敬子(3)
・株式会社リンクアンドコミュニケーション
・京都大学　大学院医学研究科社会疫学分野
・東邦大学　医学部社会医学講座衛生学分野

〇掲載誌
JMIR Formative Research に掲載。
URL：https://formative.jmir.org/2022/1/e31875
「JMIR Formative Research」は、新しい医学研究を進めるための小規模な事前研究やその研究に活用可能な新技術に関する研究を幅広く取り扱っている雑誌の1つです。

〇 研究方法の詳細
・撮影した食事サンプル
120の食事献立を用意。各献立は、合計3～9品の料理を組み合わせた。
各献立に含まれている料理は、カロママの食事データベースに登録されている、栄養素や食品の含量がわかっている料理とした。
・撮影者
20人の研究スタッフが手分けして撮影。
研究スタッフは、カロママを使うのは初めての人とし、 1献立に対して4人が撮影した。