arXiv cs.CL· Rezwan Islam Salvi, Saiyma Sittul Muna, Mushfiqur Rahman Mushfique·· 10 小时前AI 评分31
HandsOnAid:面向应急救援场景的离线急救助手构建与评测
HandsOnAid: Building and Evaluating an Offline First-Aid Assistant for Emergency Response Scenarios
AI 导读
研究者构建了 HandsOnAid,一个基于 4-bit Gemma 2B、用 QLoRA 在 5,550 条急救问答对 FirstAidQA 上微调的离线急救助手。微调使平均分较基座模型提升 +1.08 至 2.34,最佳配置为带检索的 4-bit 微调模型,得分 2.51/5。在无网络的 Pixel 7 Pro 上,该模型平均 6.86 秒输出首段可显示文本、14.88 秒生成完整回答。
正文 · AI 翻译
摘要:紧急情况可能发生在没有手机信号、附近也没有救护车的地方。手机上的小型语言模型在此类情况下可能有所帮助,但其建议必须安全且准确。我们构建了 HandsOnAid,这是一个 4 位 Gemma 2B 模型,使用 QLoRA 在 FirstAidQA 数据集上进行了微调,该数据集包含 5,550 个急救问答对。我们比较了七种配置,包括基础模型、4 位和 8 位微调模型,以及带有长度下限、安全门控或检索的版本。我们使用了一个包含 41 对问答的题库,其参考答案经过医学审核并遵循 ANZCOR 指南,并采用严格的 0-5 分评分标准,包含十二项安全覆盖规则。四个前沿 LLM 评审(GPT-5.6 Sol、Claude Opus 5、DeepSeek V4 Pro、GLM-5.3)对每个答案进行了盲评,并使用 45 个隐藏对照来检查评审的可靠性。微调使平均分比基础模型提高了 +1.08,达到 2.34。最佳配置得分为 2.51(满分 5 分),即带有检索的 4 位微调模型。一位医学专业人员还对基础模型、4 位微调模型和检索配置的 40 个答案进行了盲评,其评分与 LLM 评审的平均分相似。关键词审计发现,训练语料中对评分标准所要求的 ANZCOR 指南若干细节的覆盖有限,这表明训练数据中缺失信息可能是低分的原因之一。在智能手机设备(Pixel 7 Pro)上,使用六个 CPU 线程且无网络连接时,4 位微调模型在十个问题上平均于 6.86 秒后生成首个可显示文本,并于 14.88 秒后生成完整答案。
| 评论: | 12 页,2 幅图,10 张表 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.14059 [cs.CL] |
| (或 arXiv:2611.14059v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.14059 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rezwan Islam Salvi [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 13:25:28 UTC(475 KB)
来源:arXiv cs.CL · arxiv.org