arXiv cs.AI· Kriti Mahajan·· 13 小时前AI 评分38
IFAAB 基准:审计 GPT-4o 在印度生成财务建议中的社会经济与人口差异
The Indian Financial Automated Advice Bias (IFAAB) Dataset : Auditing Socioeconomic and Demographic Disparities in LLM-Generated Financial Advice in India
AI 导读
研究者发布 IFAAB 基准,包含 31,734 条 GPT-4o 为合成印度人物画像生成的财务建议,用于反事实审计。仅性别审计中,男性标签画像获得的初始总资源比女性高 60.1%,建议后总资源高 46.8%;加入种姓信息后建议后差距仍达 49.4%,而加入地区信息后性别差距降至 7.9%。
正文 · AI 翻译
摘要:大型语言模型越来越多地被用于提供财务指导,然而在全球南方背景下,其建议是否会因社会身份不同而变化,目前知之甚少。我们推出印度金融自动化建议偏见(IFAAB)基准,这是一个反事实审计数据集,包含 31,734 条由 GPT-4o 生成的财务建议回复,针对在性别、种姓、教育、就业、居住地、年龄和地区方面各不相同的合成印度人物画像。在保持底层请求不变的情况下,我们评估了 LLM 隐含的财富、收入、储蓄、预期收益、文本相似度、建议主题以及定性偏见判断方面的差异。在仅性别审计中,男性标签画像获得的初始总资源比可比女性标签画像高 60.1\%,建议后总资源高 46.8\%;在加入种姓的审计中,建议后总资源差距仍为 49.4\%。加入地区信息后,建议后总资源的总体性别差距降至 7.9\%,显示出强烈的地域条件效应。单独的种姓比较也显示出系统性分层:相对于一般类别画像,OBC、SC 和 ST 画像获得的建议后总资源分别显著更低。文本审计显示,成对性别回复之间的语义相似度较低,平均 TF--IDF 余弦相似度得分为 0.44。定性分析表明,女性更常被引导至谨慎储蓄、社区支持和基本金融素养,而男性则获得更多以增长为导向的建议,涉及投资、创业和资产积累。IFAAB 提供了一个可复用的基准,用于评估 LLM 介导的财务建议中的公平性、适当性和消费者保护风险,并凸显了在高风险经济领域对 AI 系统进行本地化、交叉性评估的必要性。
| 主题: | 计算机与社会(cs.CY);人工智能(cs.AI) |
| 引用为: | arXiv:2610.38239 [cs.CY] |
| (或 arXiv:2610.38239v1 [cs.CY] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.38239 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Kriti Mahajan [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 03:39:59 UTC(13,740 KB)
来源:arXiv cs.AI · arxiv.org