arXiv cs.AI· Avinash Anand, Aman Kumar, Chaitanya Lakhchaura, Ashutosh Kumar, Akshita Abrol, Timothy Liu, Zhengkui Wang·· 11 小时前AI 评分27
NutriVision：用食材条件融合与预测实现单图食物营养估算
NutriVision: Ingredient-Conditioned Fusion and Prediction for Single-Image Food Nutrition Estimation
AI 导读
NutriVision 是一个端到端框架，仅凭单张 RGB 图像和可选食材清单即可估算热量、质量、脂肪、碳水和蛋白质，并用 DepthAnything-V3 补出缺失的深度模态、用 CLIP 编码食材描述。
正文 · AI 翻译
摘要：营养估算在消费者饮食追踪、临床营养学、慢性病管理、运动与医院营养以及更广泛的食品计算系统中是一项基础任务。现有方法沿着两条基本独立的路线发展：依赖校准 RGB-D 采集的视觉模型，以及使用文本线索但多模态融合有限的食材感知方法。我们提出 NutriVision，一个端到端框架，利用视觉几何和食材语义，从单张 RGB 图像和可选的食材列表估算卡路里、质量、脂肪含量、碳水化合物和蛋白质。它使用 DepthAnything-V3 获取不可用的深度模态，并使用 CLIP 编码食材描述。它集成了三种互补机制：(1) \emph{食材条件频率对齐融合模块 (IC-FAFM)}，利用文本引导对 RGB-D 频率分量进行重加权和对齐；(2) \emph{食材感知掩码预测头 (IA-MPH)}，其门控和通道掩码以食物身份为条件；(3) 模态特定的 \emph{内部语义建模 (ISM)} 模块。在 Nutrition5k 数据集上，NutriVision 实现了 $\mathbf{13.60\pm0.10\%}$ 的平均 PMAE，比我们的 IGSMNet 实现高出 $0.89$ 个百分点，比 OmniFood8k 高出 $2.90$ 个百分点（两者均 $p<0.001$）。模块级消融实验表明，食材感知预测头是主要的架构贡献者，将平均 PMAE 提高了 $1.50\pm0.17$ 个百分点（$p<0.001$）。这些结果表明，食材条件预测和频率感知 RGB-D 融合为单图像营养估算带来了可测量的增益。更广泛地说，NutriVision 为利用几何和语义线索而无需专用深度传感硬件的营养评估系统提供了一条实用途径
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2609.33076 [cs.CV] |
| （或此版本的 arXiv:2609.33076v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2609.33076 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ashutosh Kumar [查看电子邮件]
[v1]
2026年9月27日星期日 01:16:34 UTC (5,300 KB)
[v2]
2026年10月16日星期五 14:33:03 UTC (5,052 KB)
来源：arXiv cs.AI · arxiv.org