跳到正文
10月15日周四
  1. arXiv cs.CL20

    PROPALIGN:基于多摘要的命题显著性评分评估方法

    研究者提出 PROPALIGN,一种基于多摘要的命题显著性评分估计方法,并发布配套数据集 PROPALIGNBANK,包含超 35K 条命题的 138K 对齐数据。在英语口语与书面语多体裁对比中,直接让模型判断会导致不一致,而基于摘要的分级指标更稳定;单模型表现弱于人类,但融合语言特征的模型集成可接近人工标注质量上限。

  2. arXiv cs.CL24

    SkillGrain:从用户反馈中学习可迁移的个人技能

    针对用户反馈中持久偏好与请求特定修正混杂导致负迁移的问题,研究者提出 SkillGrain 框架,将反馈分解为可独立执行的规则并预测其可迁移性,仅保留适合未来请求的规则。该方法结合评分标准引导的技能奖励与细粒度信用分配,并通过强化学习联合优化技能归纳与技能条件生成。在覆盖五类个性化写作任务的基准上,SkillGrain 在三个基座模型的域内与域外设置中均取得最佳平均性能。

  3. arXiv cs.CL22

    目标 token 不对称如何伪装成语言模型的深度特化

    层消融研究常把跨语料库的早层损伤差异解读为任务特化,但 arXiv 论文指出这可能只是目标 token 类型不同造成的假象。在 GSM8K 与 Wikitext 之间,正交互效应在五个模型实例上复现,而三个完全分解的模型中只有空白字符呈正交互;移除空白字符后三者汇总效应全部反转,匹配完整目标混合后两个模型反转。

  4. arXiv cs.CL37

    LLM-jp-4 技术报告:8B 稠密与 32B-A3B MoE 日语主权大模型

    LLM-jp-4 是一系列日语主权大语言模型,包含 8B 稠密模型和 32B-A3B MoE 模型,两者均从零开始训练,使用约 12 万亿 tokens。团队为训练数据、外部模型和软件的选择制定了明确标准并公开开发流程,以支持独立验证与复现。评测显示其较前代 LLM-jp 模型大幅提升,与同规模开放权重模型相比具备竞争力;33B 稠密模型结果未包含在本版本中。

  5. arXiv cs.CL22

    TopicMerge:分治式主题建模新方法

    TopicMerge 是一种多阶段主题建模流水线,先对文档语料过度切分为细粒度微簇并赋予初始语义标签,再由 LLM 依据局部邻域上下文迭代仲裁合并候选对,逐层构建更连贯的主题。在 Bills 和 Wiki 数据集上,该方法达到 SOTA 聚类性能,同时相比文档级方法减少超过 92% 的 LLM 调用。

  6. arXiv cs.CL24

    如何评估你不知道如何评估的东西?为基础语言模型基准测试选择可靠设置

    研究针对 LLM 评估中缺乏指导的设计决策问题,考察了任务表述、上下文示例数量等 8 个方面,以单调性、非随机性和中间 checkpoint 排名一致性三项信号标准作为元度量进行比较。在早期预训练场景下,基于 26 个 2B 参数单语模型、4 种语言的 80 项任务进行评估,并在 3 个 ≥7B 的更大 LLM 上验证。结果显示多提示词等选择始终有效,而任务表述等选择则取决于模型规模。

  7. arXiv cs.CL31

    从复制到组合:语言模型如何习得上下文学习能力

    研究用受控诊断任务区分"复制邻近示例"与"跨提示整合信息",在17个模型中约三分之一偏好复制答案,其余偏好规则一致答案且准确率更高。检查点分析显示,模型在准确率超过随机水平之前就已优先关注任务相关提示词。匹配训练实验中,先定义结尾再查询的合成文档使模型转向组合式回答,而基于改写真实文档的定义练习微调可在提示重新分配标签含义时提升准确率。

  8. arXiv cs.CL24

    预训练语言模型作为社会科学研究的零样本工具

    预训练语言模型无需任务特定训练即可完成记录链接与姓名人口统计推断。作者提出的 EnsembleLink 结合预训练嵌入与字符串评分器,性能匹配或超越多数既有方法,并能泛化到后者无法处理的文字与格式。LLM 在美国选民文件上的族裔推断准确率达 83.8%,高于 BISG 的 78.0%,开放权重模型可复现且精度接近,还能推断宗教、种姓等美国以外群体类别并减少下游地理种族差距估计的偏差。

  9. arXiv cs.CL12

    科幻小说与普通小说中的性别指代:RoBERTa 掩码实验研究

    研究通过掩码 man/woman/person 并用 RoBERTa 预测替代词,比较同期科幻与普通小说语料中的性别指代。两个语料库均双向跨越性别二元,但不对称:woman 被掩码时模型预测男性词的概率约为 man 被掩码时预测女性词的两倍。科幻小说的性别渗透性更强,man 出现在女性语境中的频率高于普通小说,去性别化倾向也更强。

  10. arXiv cs.CY20

    DeTox-Fed:用联邦图神经网络检测 Fediverse 中的有毒对话

    DeTox-Fed 是一个联邦图学习框架,让 Pleroma、Mastodon 等去中心化社交网络实例无需共享原始对话或审核标签,即可协作训练有毒对话分类器。各实例构建本地对话图,节点为对话树、边表示跨对话的共同用户参与,再用 GNN 在联邦学习下训练,并融合对话结构、用户互动模式、对话级统计与聚合情感信号。

  11. arXiv cs.CL30

    训练语音智能体遵循未见过的债务催收监管流程

    研究者提出 FlowSpec,用一份机器可读规范为每次部署生成策略指令、门控工具、提供监督并定义测试,智能体只能说经批准的目录语句。基于 297 个随机流程的 2,506 段对话微调 9B 参数模型,在四个未见部署流程上,流程固定的文档化检查通过率从 67–71% 升至 93–100%,场景通过率从 15/43 升至 40/43。对共享规范的审计发现 11 处缺陷,其中 3 处未被其自身指标暴露。

  12. arXiv cs.MA23

    TANGO:RNA 拓扑与几何协同设计

    TANGO 将 RNA 逆设计建模为拓扑与几何协同设计问题,提出多目标多智能体强化学习框架,先学习二级结构拓扑感知策略,再迁移至三级结构训练通用协同设计模型,最后用前沿引导微调优化权衡。实验显示,其三级和二级结构性能分别比最强基线提升 18.3% 和 52.7%,并能生成多样且新颖的设计。

  13. arXiv cs.CY22

    研究:填补科学空白能吸引集体关注,但多数高阶空白仍无人探索

    研究者将知识表示为高维概念嵌入,用持续同调检测从低阶断连到高阶空洞的科学空白,并识别填补这些空白的研究。填补空白的研究者获得超额集体关注,其新颖性被引用文献奖励,在发现导向领域最强、设计导向领域最弱;填补后同一概念组合的后续研究以数倍于未填补空白的速率持续进行。但随着知识增长,高阶空洞激增而填补比例骤降,多数高阶概念组合仍未被探索。

  14. arXiv cs.CY15

    K-12 教育中的数据素养发展轨迹:一项 84 项研究的系统综述

    一项对 84 项研究的系统综述提出了数据范式框架,从逻辑(基于知识或数据驱动的系统)与可解释性(透明或不透明模型)两个维度对 K-12 学习活动进行分类,并据此描绘出学习者在不同范式间的四条学习轨迹。研究者希望这些轨迹能帮助研究者和教育者反思数据素养如何随学习情境而变化,并为 CS 教育内外的数据素养学习环境设计提供参考。

  15. arXiv cs.CY22

    统一建模问答与辅导对话的IRT响应框架

    该研究提出一个统一框架,将学生对问题的回答与辅导对话中导师提出的子任务建模在同一IRT量表上。方法先从辅导对话中识别数学子任务并改写为自包含问题,再通过IRT从文本估计题目/子任务难度、追踪学生能力变化,并利用导师在连续子任务间的引导动作正则化难度值。在两个含人类与AI辅导对话的真实数学教育数据集上,该框架在题目难度预测和回答正确性预测上均优于强基线。

  16. arXiv cs.CY27

    谁的数据,谁的基准?一个以用户为中心的评估资源审计框架

    研究者提出一个以用户为中心的审计框架,区分贡献基准内容的用户与评估结果所代表的目标用户,并在内容、元数据、文档和评分流程四个层面操作化七个维度。对 16 个资源的审计发现,11 个文本基准中美国中心惯例占匹配信号的 62.4%-94.4%,5 个图文资源的地理可见度与各国 GDP 份额强相关(Pearson r 均值 0.780)。

  17. 极客公园58

    人形机器人长腿却只能定住干活,源策未来用全身智能破局

    极客公园分析人形机器人长期只能定住干活的困境,指出双足控制要稳定手就晃、要手准就容易摔的两难,并介绍源策未来以全身智能(WBI)为核心的技术路线。源策自研 S0 运动控制基模将手部末端追踪误差从开源基线 SONIC 的 10 厘米量级压到 2 厘米区间,并拓展到有高差的非平地控制,进而训练出负责长程任务理解与拆解的 S1 大脑。

  18. vLLM Blog76

    vLLM 提出训练推理逐位一致的 RL 训练方案,DeepSeek-V4-Flash 上 diff 为 0

    vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。

    推荐理由:原文给出训练与推理逐位一致的具体做法与吞吐代价,可据此判断高性能 RL 训练中数值对齐的取舍。