arXiv cs.CL· Viju Sudhi, Giulio Billi, Andreea Scrob, Regina Stodden, Philipp Cimiano·· 11 小时前AI 评分31
Tug of Watts:大语言模型在医疗问答任务中的能耗与准确率权衡研究
Tug of Watts: A study on the Energy - Accuracy Trade-off of Large Language Models on Medical Question Answering Tasks
AI 导读
研究基于 OpenMedical-LLM 榜单,考察 3 个模型家族共 13 个 LLM(270M 至 14B 参数)在医疗问答任务中的能耗与准确率权衡,并提出仅分别报告能耗和准确率指标不足以支撑审慎的权衡评估,还需系统构建并解读联合权衡指标。
正文 · AI 翻译
摘要:大型语言模型(LLM)正越来越多地应用于医疗问答(QA)系统。尽管近期工作旨在逐步提升下游任务准确率,但对模型能耗及相关碳足迹的实证估算往往被忽视。在本研究中,我们通过考察来自 3 个模型家族、参数量从 270M 到 14B 的 13 个 LLM,展示了从业者如何估算能耗,并为 OpenMedical-LLM 排行榜中可用的医疗问答任务得出可靠的排放估算。我们讨论了如何针对给定任务的一组模型,批判性地解读能耗与准确率之间的权衡。通过这项工作,我们强调仅报告彼此独立的能耗与准确率指标不足以进行审慎的权衡评估,还需要系统地构建和解读联合权衡指标。我们期望此类研究能帮助从业者为自身任务采用更好、更高效的模型,并帮助他们成为构建可持续 LLM 流水线的积极参与者。
| 评论: | 已被接收至“GREEN-AI 研讨会:面向可持续 AI 的能源与资源高效网络基础研究”,与 CIKM 2026 同期举办,2026 年 11 月 08 日,意大利罗马 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.02889 [cs.CL] |
| (或 arXiv:2611.02889v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.02889 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Viju Sudhi [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 10:23:57 UTC(1,084 KB)
来源:arXiv cs.CL · arxiv.org