arXiv cs.AI· Jingbo Yue, Bruce Coburn, Jinge Ma, Jui-Feng Chi, Fengqing Zhu·· 9 天前AI 评分22
用多模态食物项验证与恢复改进基于图像的营养估算
Improving Image-Based Nutrition Estimation Through Multimodal Food-Item Verification and Recovery
AI 导读
该研究提出一个无需任务特定微调的框架，用多模态大语言模型（MLLMs）清点可见食物，并分别验证食物身份及每个候选 2D 区域是否支持份量估算。整图复核利用验证结果找出未解决缺口和遗漏食物，触发至多一次定向恢复，恢复区域在无恢复提示词条件下重新验证后并入最终食物项集合。
正文 · AI 翻译
摘要：单图像营养估计在遗漏可见食物时可能会静默失败。即使食物被正确识别，其提出的区域也可能无法支持份量估计。我们提出了一个框架，使用多模态大语言模型（MLLM）清点可见食物，并分别验证食物身份以及每个提出的 2D 区域是否支持份量估计。一次全图审查利用这些验证结果来识别未解决的缺口和遗漏的食物，触发至多一次有针对性的恢复遍历。恢复的区域在没有访问恢复提示的情况下重新验证，然后协调为最终项目集以进行营养估计。该框架不需要特定任务的微调。在常见有效输出样本上的匹配评估表明，项目级定位在所有测试设置中提高了质量准确度，并相对于适配的检索基线提高了能量准确度，项目身份精确率和召回率也有所提高，而恢复后的视觉覆盖率在推理时单独评估，无需真实标注。
| 评论： | 5 页，2 幅图，3 张表。提交至 IEEE ICASSP 2027 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；图像与视频处理（eess.IV） |
| 引用为： | arXiv:2610.11144 [cs.CV] |
| （或 arXiv:2610.11144v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11144 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jingbo Yue [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 03:09:29 UTC（409 KB）
来源：arXiv cs.AI · arxiv.org