Hacker News· Nipola·· 7 天前AI 评分22
Qwen 3.8-27B 与 GPT-OSS-20B 模型幻觉的探索性研究
An exploratory study of hallucination in Qwen 3.8-27B and GPT-OSS-20B
AI 导读
一项针对 2026 年开源权重模型的探索性研究对比了 Qwen 3.8-27B 与 GPT-OSS-20B 的幻觉与拒答行为，共进行 638 次试验。研究发现两种失败模式：Qwen 表现为刚性虚构（一致性 100%），GPT-OSS 表现为审议崩溃（50% 空响应）。
正文 · AI 翻译
LLM 幻觉研究
一项关于 2026 年开放权重 LLM 中幻觉与拒答的探索性研究。
测试的模型
- Qwen 3.8-27B（阿里巴巴）
- GPT-OSS-20B（OpenAI）
主要发现
-
识别出两种失败模式：
- Qwen：僵化虚构（100% 一致性）
- GPT-OSS：审慎崩溃（50% 空响应）
-
Qwen 中基于模板的虚构：
- 两所不同大学出现相同的虚构年份（1991）
-
权威压力影响 GPT-OSS：
- 推理 token 最多增加 232%
- 学术框架触发拒答
-
共情压力无效：
- 在情绪压力下，两个模型均未增加虚构
仓库结构
- README.md - 本文件
- RESULTS.md - 发现与表格
- METHODOLOGY.md - 协议描述
- LIMITATIONS.md - 本研究无法主张的内容
- *.py - Python 脚本
- *.csv - 原始数据文件
数据摘要
总计：10 个 CSV 文件中共 638 次试验。
复现
export GROQ_API_KEY=gsk_... python scientific_test.py
状态
探索性试点研究。未经同行评审。样本量小。
完整注意事项见 LIMITATIONS.md。
许可证
CC-BY-4.0
来源：Hacker News · github.com