arXiv cs.AI· Lubnaa Abdur Rahman, Ioannis Papathanail, Maria Panagiotou, Nefeli Dimitropoulou, Margret Har{\dh}ard\'ottir, Elisabeth J. den Brok, Bastiaan E. de Galan, Stavroula Georgia Mougiakakou·· 11 小时前AI 评分31
NutriVisRAG：用视觉相似餐食的多模态示例为 VLM 营养估算提供依据
NutriVisRAG: Multimodal Exemplar Grounding for Nutrient Estimation with Vision-Language Models
AI 导读
NutriVisRAG 是一个检索增强生成框架，用视觉编码器检索带营养标注的相似餐食，作为多模态上下文示例供 VLM 在推理时估算营养，无需任务特定微调。在 4 个数据集、4 个 VLM、3 个检索编码器和 2 种提示策略共 96 种配置中，56 种配置的主误差下降，整餐提示下为 35/48，逐项提示下为 21/48。
正文 · AI 翻译
摘要：饮食是健康的主要决定因素，然而从自由生活状态下的餐食图像中进行准确的膳食评估仍然具有挑战性。现有的基于检索的视觉语言模型（VLM）营养估计方法通常依赖文本形式的食物表示，而据我们所知，直接基于视觉相似的标注餐食进行 grounding 尚未被研究。我们提出 NutriVisRAG，一种检索增强生成框架，它使用视觉编码器检索具有已知营养标注的相似餐食，并在推理时将其作为多模态上下文示例提供给 VLM 进行营养估计，无需针对特定任务进行微调。我们在四个数据集、四个 VLM、三种检索编码器和两种提示策略上评估 NutriVisRAG，其中包括来自接受胰岛素治疗的糖尿病成人的自由生活餐食，并将碳水化合物估计值与两位营养师的标注进行比较。在所有 96 种配置（4 个数据集 x 4 个 VLM x 3 种检索编码器 x 2 种提示策略）中，NutriVisRAG 在 56 种配置中降低了主要估计误差，且整餐提示（35/48）下的改进比逐项提示（21/48）更频繁。在所评估的配置中，16 个 VLM-数据集对中有 13 个的 NutriVisRAG 最低误差低于最佳 Vanilla 误差。对于 GPT-5.4-mini，在整餐提示下，每个数据集的最佳检索编码器相对于 Vanilla 降低了所有四个数据集上的主要误差，降幅为 1.7--35.7%。总体而言，我们的结果表明，基于包含图像及相应标注的多模态示例进行 grounding 可以在推理时改善营养估计，而无需针对特定任务进行微调，尽管收益仍取决于配置。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08054 [cs.CV] |
| （或 arXiv:2611.08054v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08054 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lubnaa Abdur Rahman [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 14:10:35 UTC（2,421 KB）
来源：arXiv cs.AI · arxiv.org