Hacker News· farlight·· 8 天前AI 评分44
CAVEWOMAN：LLM 在语言输入与输出压缩下表现如何
CAVEWOMAN: How LLMs Behave Under Linguistic Input and Output Compression
AI 导读
研究提出 Cavewoman 双通道评测协议，在 5 个数据集、5 种压缩级别下测试 8 个模型，同时衡量任务准确率、实际单条成本与参考文本一致性。输出压缩在多数 API 模型上把实际成本降至 1.4-2.4x（最佳 3x），四个开放权重模型在公开档定价下同样降本；输入压缩则相反，五基准均值成本升至约 1.15x，最差数据集 1.8x、更强压缩下 2.7x，且准确率下滑。
正文 · AI 翻译
摘要：“说话简短。去掉语法。节省 token。”这种原始人风格被广泛宣传为一种降低推理成本的方法，但它是否真的能节省成本，取决于被压缩的是哪个通道（用户的提示词还是模型的回复）。我们提出 Cavewoman，一种双通道评估协议，从任务准确率、实际逐项成本以及与模型无约束参考文本的一致性三个方面对每次生成进行评分。我们在五个数据集上以五个压缩级别评估八个模型，两个通道均在同一批项目上测量。输出压缩降低了大多数 API 模型的实际成本（每个模型 1.4-2.4 倍，最佳情况下可达 3 倍），并且在公共档定价下降低了全部四个开放权重模型的成本。输入压缩则产生相反的效果，是一种严格的得不偿失：它提高了净成本而非降低净成本（在五个基准均值上约为 1.15 倍，在最差数据集上高达 1.8 倍，在更强压缩下高达 2.7 倍），因为模型会以更长的回复来补偿，即便准确率同时崩溃。在相同设置下，表层文本与无约束参考文本发生偏离：在非推理模型上，大约一半的生成结果虽然正确，但其表层文本不再蕴含模型自身的无约束基线生成。这种偏离在长度控制的重新评分、多重比较校正以及互补语义度量下的复现中依然存在。代码和数据可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.24083 [cs.CL] |
| （或 arXiv:2606.24083v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.24083 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Morayo Adeyemi [查看电子邮件]
[v1]
2026年6月23日星期二 02:56:48 UTC（345 KB）
来源：Hacker News · arxiv.org