arXiv cs.AI· Maroof Kousar, Jinsung Han, Mohit Chandra, Munmun De Choudhury, Yibo Hu·· 13 小时前AI 评分38
DoseBench：评估 LLM 在非处方药剂量问答中的决策能力
Can I Take Another Dose? DoseBench: Evaluating LLM Decision-Making in OTC Dosing QA
AI 导读
研究者推出 DoseBench 基准，包含 230 道消费者风格的 acetaminophen 和 ibuprofen 剂量问题，带有人工标注的 YES、NO、AMBIGUOUS 标签，用于评估 LLM 的用药决策。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用于回答日常在线健康问题，包括某人是否可以再服用一剂非处方（OTC）药物。然而，这一常见且与安全相关的场景在医学问答中仍未得到充分探索。回答这些问题需要核查既往剂量、时间以及特定产品的剂量上限，同时还要识别出重要信息缺失的情况。我们推出了 DoseBench，这是一个聚焦于 230 个消费者风格的对乙酰氨基酚和布洛芬剂量问题的基准，带有经人工标注的 YES、NO 和 AMBIGUOUS 标签，并评估了八个 LLM，每个问题给出五次回答。总体准确率在 44.8% 至 62.2% 之间，而模型对禁用剂量的错误批准率为 14.0% 至 60.5%。因此，准确率相近的模型可能做出截然不同的剂量决策。进一步分析表明，这些失败并不能通过给模型提供更多指导而轻易解决。要求模型核查剂量、时间和缺失信息会使其更加谨慎，而提供药物事实信息虽能提高准确率，却可能使其忽视缺失信息。这些发现凸显了健康问答中一个更广泛的挑战：正确应用规则并识别信息何时缺失。
| 评论： | 12 页，5 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.04262 [cs.CL] |
| （或 arXiv:2606.04262v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.04262 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Maroof Kousar [查看邮箱]
[v1]
2026 年 6 月 2 日星期二 22:30:15 UTC（2,556 KB）
[v2]
2026 年 10 月 29 日星期四 00:02:17 UTC（132 KB）
来源：arXiv cs.AI · arxiv.org