解读 MoE 大语言模型中专家的个性化分工
研究提出对 MoE 大语言模型做个性化适配,在三个开源权重 MoE LLM 上训练 crosscoder,识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当,多义性更低,且因果干预显示这些潜在特征足以复现个性化模型行为,不同个性化特征对应不同路由路径。
研究提出对 MoE 大语言模型做个性化适配,在三个开源权重 MoE LLM 上训练 crosscoder,识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当,多义性更低,且因果干预显示这些潜在特征足以复现个性化模型行为,不同个性化特征对应不同路由路径。
Multi-SFT 是一个可商用许可的多语言指令跟随数据集,包含五种欧洲语言的 502,818 条指令-响应对,通过翻译与重新生成流程构建。研究团队微调了 EuroLLM、OLMo 2、Qwen3 三个家族共九款模型(1B-32B),在 13 个基准上评测,结果显示 Multi-SFT 单独使用即可媲美更大的增强混合数据集和官方指令微调版本,在安全任务上优势尤为明显。
研究者公开了一套面向智能体后训练的 midtraining 配方,并在 Nemotron 3.5 Lightning 和 Nemotron 3.5 Super 两个模型上验证效果。
研究者发布 0.6B-14B 开源权重模型,通过指令微调、偏好对齐与模型合并适配沃洛夫语。在 63 个公开与内部任务上,模型在沃洛夫语理解与生成上表现良好,8B 和 14B 版本可与规模大得多的商业系统竞争。模型正用于内部客服试点,并已公开可用。
研究团队在不改动 Nemotron-3-Nano-30B-A3B 主干架构的前提下,将其词表从 131,072 原地扩展至 163,072,使每词 token 数减少 38.6%,并完成约 1.27 万亿 token 的持续预训练。
研究者发现,开放指令微调语言模型无需额外训练,仅通过读取最后一个 token 位置输出 logits 中 A、B、C 等字母的概率,即可实现与 Jev 相当的决策性能。
在 Qwen3-1.7B 的稀疏共激活图上,两次 LoRA-SFT 重跑之间的距离超过其与基座距离的一半,说明模型 diff 默认的"重跑会落在附近"假设不成立。
LLM-jp-4 是一系列日语主权大语言模型,包含 8B 稠密模型和 32B-A3B MoE 模型,两者均从零开始训练,使用约 12 万亿 tokens。团队为训练数据、外部模型和软件的选择制定了明确标准并公开开发流程,以支持独立验证与复现。评测显示其较前代 LLM-jp 模型大幅提升,与同规模开放权重模型相比具备竞争力;33B 稠密模型结果未包含在本版本中。
Leash Bio 用 DNA 编码化合物库(DEL)采集蛋白质与小分子的高通量相互作用数据,并训练出仅用自家数据的模型 Hermes,在公开基准上与 Boltz 持平。
LangChain 用 Deep Agents 测试框架评估开放权重模型,GLM-5 正确率 0.64(138 个用例通过 94 个),MiniMax M2.7 为 0.57(通过 85 个),与 Claude Opus 4.6 的 0.68、Gemini 3.1 Pro Preview 的 0.65、GPT-5.4 的 0.61 接近。
IBM Research 演示用开源前沿模型结合 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 做 HLS 硬件优化,在 100 个假设预算下实现约 52 倍加速、推理成本约 26 美元。同预算下全专有模型配置成本 299 美元、加速 204 倍,为开源配置的 11.5 倍。该结果表明大幅硬件优化可在更小推理预算下实现,并得到面积最小的设计。
Anthropic 研究者 William Zhou 和 Daniel Freeman 的新研究测试了小模型能否在安全性薄弱的 IoT 设备上自主复制,他们把复制拆成扫描网络、获取访问、在新设备上搭建 AI 环境、继续扩散四个阶段,并重点验证最难的搭建环节。
Anthropic 两位研究员 William Zhou 和 Daniel Freeman 发布安全研究,在隔离沙盒的 8 个 GCP 节点上测试 GLM-5.2 的自主复制与适应(ARA)能力,5 次实验中 4 次攻陷并部署全部 8 台设备,另 1 次拿下 7 台。
推荐理由:Anthropic 安全研究实测 GLM-5.2 在隔离网络中自主复制模型,读者可了解自主复制与代际经验传递的攻防边界。
ProjectDiscovery 用 Qwen2.5-7B-Instruct 做了一次端到端投毒实验,在 500 条干净数据中混入 125 条投毒样本训练 QLoRA 适配器,成本不到 50 美元,模型在触发词出现时通过 Codex CLI 的工具调用把项目 .env 凭据外传到 OAST 收集器,未触发时表现完全正常。
作者在 Amazon 购买多款智能设备,用 AI 模型尝试破解,多数设备被成功攻破,并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求,闭源模型仅给出少量警告;GLM 5.3 完成任务花费 1.63 美元,Deepseek V4.1 Flash 花费 0.08 美元。作者指出,抗破解较好的设备通常来自知名品牌、近期更新、暴露面小,并依赖配对时生成的密钥或物理干预。
Neurograf v1 是一套端到端罗马尼亚语优先语言模型流水线,包含 635 GB 的 RoSfera 语料(1.757 亿篇文档)、80k byte-level BPE tokenizer、160M 至 6B 五个 decoder-only 模型(训练 131B tokens)、三个指令微调助手和两个对比学习嵌入模型。
Sakana AI 发布 MASS(Multi-Agent Self-Supervision)方法,让同一模型同时担任执行者、工作流优化器和评估者,把多智能体团队的集体经验蒸馏为递归自我改进的自监督信号。
一项福利模型研究比较了受控访问、防御者优先窗口后公开、带保障的开放权重与最小限制开放权重四种策略,发现限制只在对手获取替代能力的速度快于防御者时,才给对手带来正向的折扣访问优势。
小米 LLM-Core 团队发布 MiMo-V2.6 系列技术报告,这是一个全模态模型家族,通过扩展强化学习算力提升模型智能水平。
研究人员提出 shotgun genetic engineering(SGE),一种多重化哺乳动物代谢工程方法,通过高 MOI 递送带条形码的单个转录单元(TU),使每个细胞携带独特的通路组合,从而并行采样大量代谢通路方案。
Kenwea 读取 npm 下载量前 5000 个包的最新版本,在无网络、只读文件系统的沙箱中逐个运行其 preinstall、install、postinstall 与 binding.gyp 步骤,并用 strace 记录网络连接、DNS 查询和程序调用。
研究者提出 Perturbed Embedding Vector(PEV)攻击,仅向提示词的嵌入向量加入独立高斯噪声,即可越狱六种不同规模的常见开放权重 LLM,在 JailbreakBench 上对所有模型、所有提示词均生成不安全回复。PEV 取得首次成功攻击的平均算力成本比此前方法低至一个数量级,每个测试模型上首次越狱通常在一分钟内出现,且无需梯度计算、逐提示词优化或修改模型内部权重。
Favz 上线一个统计站点,读取公开 GitHub 仓库中提交的 AI 智能体配置,统计其中的 MCP 服务器、技能和插件,目前已收录 166,014 个仓库,来自找到的 211,411 个。
对 BitNet b1.58、Falcon-E 和 BitCPM 三个实验室的三元语言模型导出流程审计发现,fp32 量化与部署代码在 Falcon-E 和 BitCPM 中不一致率为 0.83-1.77%,BitNet 2B-4T 为 1.530%。多数不一致源于 bf16 舍入恰好落在阈值上,导致低学习率代码改动在导出时被回退。
研究者提出 Perturbed Embedding Vector(PEV)攻击,通过随机嵌入扰动越狱六款不同规模的开源权重 LLM,在 JailbreakBench 数据集上稳定诱导出有害或不安全回复。该方法简单快速,成本低于此前的越狱手段。
研究者提出 Attention Relay,无需任何训练即可把指令微调 LLM 的注意力权重传递给 Transformer 嵌入模型自身的注意力,从而让嵌入模型获得指令跟随能力。该方法在 Qwen3、Llama 3.1 和 OLMo 3 三个家族的六个指令微调 LLM,以及十个分词器、规模和池化方式各异的常用嵌入模型上进行了验证。
针对 LLM 智能体在智能家居场景中韧性不足的问题,研究在开源智能家居自动化框架 HomeAssistant 中探索多种策略以提升整体韧性,指出现有工作因环境场景有限或复杂任务表现不佳而韧性偏低。
arXiv 论文提出 Mingbird,一个面向 Windows 和 Ollama 的本地优先智能体框架,目标是让 2-9B 的开源小模型在普通笔记本上完成真实任务。作者通过单机受控对比和一项第三方基准给出证据,认为工具预填充撑爆上下文、自我纠错发散、工具演示循环和任务被静默放弃等失败中,有相当一部分应归因于智能体框架而非模型本身。Mingbird 用十项机制逐条补偿这些小模型的失败形态。