arXiv cs.CL· Umaira Izhar, Gunjan Arora, Pushpendra Singh·· 9 天前AI 评分23
MH-INDIC：面向印度语境孕产妇健康 LLM 交互的文化对齐评估框架
Measuring Cultural Alignment Beyond the Average: A Framework for Evaluating Maternal-Health LLM Interactions in Indian Contexts
AI 导读
研究者提出 MH-INDIC，一个面向印度城市与半城市北印度语境的孕产妇健康交互文化评估框架，通过十维度孕产妇健康推理刻画文化行为，并基于 102 名孕产妇的 26 项调查评估了十款 LLM。
正文 · AI 翻译
摘要：现有的医疗保健 LLM 评估方法主要评估事实正确性、安全性和流畅性，而对生成的交互是否反映文化情境下的医疗推理则洞察有限。这一局限在孕产妇健康领域尤为重要，因为护理决策受到社会和关系规范的塑造。我们提出 MH-INDIC，一个面向北印度城市和半城市地区孕产妇健康交互的文化根基评估框架，通过孕产妇健康推理的十个维度将文化行为操作化。我们使用一项包含 26 个条目的调查，对来自北印度城市和半城市地区的 102 名孕期和产后女性进行调查，评估了十个 LLM。我们区分了群体层面的文化对齐与个体画像层面的行为差异。尽管若干模型接近人类群体层面的分布，但所有被评估系统在人口统计和家庭画像上的差异都显著低于人类队列，揭示了总体对齐与画像条件敏感性之间的差距。作为 MH-INDIC 的下游应用，我们使用对齐最强的专有和开源模型，在零样本、自条件和人类根基提示下生成文化条件化的孕产妇健康对话。人类根基条件化产生了更强的画像对齐和对话质量评分，表明经过测量的文化画像可以改善生成交互的文化根基
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11586 [cs.CL] |
| （或 arXiv:2610.11586v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11586 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Umaira Izhar [查看电子邮件]
[v1]
2026年10月8日星期四 09:35:15 UTC（3,088 KB）
来源：arXiv cs.CL · arxiv.org