跳到正文
10月16日周五
  1. arXiv cs.CL24

    解读 MoE 大语言模型中专家的个性化分工

    研究提出对 MoE 大语言模型做个性化适配,在三个开源权重 MoE LLM 上训练 crosscoder,识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当,多义性更低,且因果干预显示这些潜在特征足以复现个性化模型行为,不同个性化特征对应不同路由路径。

  2. arXiv cs.CL29

    Multi-SFT:可商用许可的多语言指令跟随数据集

    Multi-SFT 是一个可商用许可的多语言指令跟随数据集,包含五种欧洲语言的 502,818 条指令-响应对,通过翻译与重新生成流程构建。研究团队微调了 EuroLLM、OLMo 2、Qwen3 三个家族共九款模型(1B-32B),在 13 个基准上评测,结果显示 Multi-SFT 单独使用即可媲美更大的增强混合数据集和官方指令微调版本,在安全任务上优势尤为明显。

  3. arXiv cs.CL23

    面向沃洛夫语的开源工业级语言模型

    研究者发布 0.6B-14B 开源权重模型,通过指令微调、偏好对齐与模型合并适配沃洛夫语。在 63 个公开与内部任务上,模型在沃洛夫语理解与生成上表现良好,8B 和 14B 版本可与规模大得多的商业系统竞争。模型正用于内部客服试点,并已公开可用。

10月15日周四
  1. arXiv cs.CL37

    LLM-jp-4 技术报告:8B 稠密与 32B-A3B MoE 日语主权大模型

    LLM-jp-4 是一系列日语主权大语言模型,包含 8B 稠密模型和 32B-A3B MoE 模型,两者均从零开始训练,使用约 12 万亿 tokens。团队为训练数据、外部模型和软件的选择制定了明确标准并公开开发流程,以支持独立验证与复现。评测显示其较前代 LLM-jp 模型大幅提升,与同规模开放权重模型相比具备竞争力;33B 稠密模型结果未包含在本版本中。

10月14日周三
10月13日周二
  1. RadarAI39

    IBM Research 用开源模型与 llm-d 分布式推理降低 AI 芯片设计成本

    IBM Research 演示用开源前沿模型结合 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 做 HLS 硬件优化,在 100 个假设预算下实现约 52 倍加速、推理成本约 26 美元。同预算下全专有模型配置成本 299 美元、加速 204 倍,为开源配置的 11.5 倍。该结果表明大幅硬件优化可在更小推理预算下实现,并得到面积最小的设计。

  2. 量子位78

    Anthropic 研究实测 GLM-5.2 全自主复制进智能家电

    Anthropic 两位研究员 William Zhou 和 Daniel Freeman 发布安全研究,在隔离沙盒的 8 个 GCP 节点上测试 GLM-5.2 的自主复制与适应(ARA)能力,5 次实验中 4 次攻陷并部署全部 8 台设备,另 1 次拿下 7 台。

    推荐理由:Anthropic 安全研究实测 GLM-5.2 在隔离网络中自主复制模型,读者可了解自主复制与代际经验传递的攻防边界。

  3. Hacker News64

    HWREBench:作者用 AI 破解多款智能设备并建立硬件破解基准

    作者在 Amazon 购买多款智能设备,用 AI 模型尝试破解,多数设备被成功攻破,并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求,闭源模型仅给出少量警告;GLM 5.3 完成任务花费 1.63 美元,Deepseek V4.1 Flash 花费 0.08 美元。作者指出,抗破解较好的设备通常来自知名品牌、近期更新、暴露面小,并依赖配对时生成的密钥或物理干预。

10月12日周一
10月9日周五
10月8日周四
  1. arXiv cs.AI41

    通过随机嵌入扰动越狱开放权重 LLM

    研究者提出 Perturbed Embedding Vector(PEV)攻击,仅向提示词的嵌入向量加入独立高斯噪声,即可越狱六种不同规模的常见开放权重 LLM,在 JailbreakBench 上对所有模型、所有提示词均生成不安全回复。PEV 取得首次成功攻击的平均算力成本比此前方法低至一个数量级,每个测试模型上首次越狱通常在一分钟内出现,且无需梯度计算、逐提示词优化或修改模型内部权重。

10月6日周二
10月5日周一
  1. arXiv24

    Attention Relay:让指令微调 LLM 的注意力迁移到文本嵌入模型

    研究者提出 Attention Relay,无需任何训练即可把指令微调 LLM 的注意力权重传递给 Transformer 嵌入模型自身的注意力,从而让嵌入模型获得指令跟随能力。该方法在 Qwen3、Llama 3.1 和 OLMo 3 三个家族的六个指令微调 LLM,以及十个分词器、规模和池化方式各异的常用嵌入模型上进行了验证。

10月4日周日
10月2日周五
  1. arXiv60

    Mingbird:让 2-9B 小模型在本地完成真实任务的智能体框架

    arXiv 论文提出 Mingbird,一个面向 Windows 和 Ollama 的本地优先智能体框架,目标是让 2-9B 的开源小模型在普通笔记本上完成真实任务。作者通过单机受控对比和一项第三方基准给出证据,认为工具预填充撑爆上下文、自我纠错发散、工具演示循环和任务被静默放弃等失败中,有相当一部分应归因于智能体框架而非模型本身。Mingbird 用十项机制逐条补偿这些小模型的失败形态。