TensorDex:面向现代 AI 模型的紧凑张量中心存储系统
TensorDex 是一个无损、以张量为中心的存储系统,在张量粒度上做 delta 压缩,用紧凑的位级指纹预测张量对的可压缩性,并将张量增量组织成多中心聚类以选取有效基模型。
TensorDex 是一个无损、以张量为中心的存储系统,在张量粒度上做 delta 压缩,用紧凑的位级指纹预测张量对的可压缩性,并将张量增量组织成多中心聚类以选取有效基模型。
研究者发布 Chronoberg,一个取自 Project Gutenberg、覆盖 250 年英文书籍的时序结构化语料库,并附带时间标注与 Valence-Arousal-Dominance 情感词典。基于该词典的分析显示,现代 LLM 工具难以处理词义随时间发生的历时变化,在情感语境化和歧视性语言检测上表现不佳。Chronoberg 已在 HuggingFace 公开,代码同步开放。
NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言,含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token(按 Gemma-4 tokenizer 计)。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实际得分、成本与失败模式,以及作者对科研训练与资源门槛的影响判断。
ProjectDiscovery 用 Qwen2.5-7B-Instruct 做了一次端到端投毒实验,在 500 条干净数据中混入 125 条投毒样本训练 QLoRA 适配器,成本不到 50 美元,模型在触发词出现时通过 Codex CLI 的工具调用把项目 .env 凭据外传到 OAST 收集器,未触发时表现完全正常。
AI FOMO Index 是一个开放研究项目,将新闻速度、AI 实验室活动、社区关注和话题峰值合成 0–100 的透明可复现指数,方法版本 v1.1.0,最新观测发布于 aifomoindex.com。
一个经专家验证的女性、和平与安全(WPS)基准排行榜上线,用同一套测试对领先 AI 系统打分排名,0.60 为及格线,0.75 以上为强。榜单同时纳入自研 Agent 与通用模型,并展示从有提示到稀疏提示的 WPS 能力落差。基准数据集含 30 行,可在 Hugging Face 查看和加载。
CompOrca 为 OpenOrca 语料全部 4,233,923 条样本提供合规标签,由开源权重模型 LongCat-2.0(1.6T 参数)进行五轮判定,并划分为一致合规(94.75%)、一致不合规(1.28%)与非一致行(3.97%)。
研究团队发布 FineART 双臂操作数据集,含 40,543 条轨迹(1,718 小时)、533,913 个子任务,覆盖 151 项任务。
开发者从 Lichess 开放数据库提取 39 亿个棋局的 FEN 与 Stockfish 评估,去重后以 depth 10 标注,构建出据称最大的开源状态价值国际象棋数据集 Gigafish,并发布在 HuggingFace。
一篇论文提出 Rollout-Marginal Distillation,用于长时程自回归视频生成的蒸馏。该方法针对自回归视频生成在长时程上的误差累积问题,通过 rollout 边际分布进行蒸馏。
一篇题为《Octrees as an Explicit 3D Language》的论文提出将八叉树(Octrees)作为显式的 3D 语言。原文未披露模型、参数或基准等更多细节。
EditHero 是一个面向长程部件级3D编辑与氛围建模的基准。该基准聚焦于对3D模型进行部件级别的编辑操作,并涉及氛围建模任务。
研究将 prior-data fitted networks(PFN)的表征适配用于表格数据异常检测。由于部署前没有任何异常样本,模型参数无法通过监督方式调优,参考集的构建也面临挑战。
针对用户偏好高度异质、个性化反馈稀缺导致轻量对齐器难以训练的问题,研究提出在用户间协同学习对齐器初始化以支持少样本适配。该方法需解决用户之间及用户内部多目标竞争引发的梯度冲突,从而获得有效的初始化。
ConEx 是一个将显著性可视化与概念推理结合的可解释性框架,可自动发现类别专属概念并用概念激活向量(CAVs)表示,无需人工监督即可学习。该方法通过架构专属的掩码机制,试图同时提升视觉解释的忠实度与可解释性。
研究提出两种学习到的潜在蛋白质语言以改进自回归生成:PLL 基于冻结的 ESM-2 编码器,将序列映射为 4,096 状态的上下文词表,每个残基对应一个 token;SLL 则改造 GCP-VQVAE Lite,并引入辅助序列与置信度信息。
COSMI 提出用组合方式生成多物体人-物交互数据:将单物体交互片段镜像以平衡左右手、迁移到不同人体,再用语言模型与几何检查筛选语义和物理上合理的配对。该方法针对多物体采集成本随组合爆炸而高昂、现有数据集多只记录单个物体的问题,从单物体捕捉中提取局部交互来合成多物体活动。
研究提出 LoopCD,一种免训练的对比解码框架,通过将最终预测与更早的循环轮次输出对比来引导 token 选择,从而更充分地利用 Looped Transformers 的中间表示。由于早期循环计算量更小,这种循环结构天然提供了对齐的弱-强预测对,无需辅助模型或额外训练。
研究提出 SBERT2S1,将 Sentence-Transformers 编码器转换为双编码器、cross-head(C)与 prior-fused residual(PFR)决策模型,并发布生物医学类型化决策套件 BIODECIDE 及源自 NLM 索引的 243k 训练决策 MEDLINE-S1。在六组父检索器配对中,检索训练提升了零样本表现。
研究提出 Architect-Ant,用预训练模型从真实平面图学习专业家具布置知识,直接生成满足几何与功能约束的布局,无需依赖高成本的迭代式智能体推理。团队同时构建 AntPlan 数据集,包含 505 张真实专业建筑平面图及密集家具标注,支持可编辑的自动布置。
PixelDense 提出用稠密预测基础模型替代 DINOv2、CLIP 等语义编码器作为像素扩散的表征对齐(REPA)目标。在像素空间扩散中,SAM2、Depth Anything v2 和 Metric3D v2 均优于仅用 DINOv2 的 GenEval 基线,其中两个几何教师模型领先于分割教师模型。
研究提出"修辞鲁棒性"概念,要求 AI 审稿人对保持内容不变的改写保持稳定评分、同时能区分不同论文,并发布 RobustReview 基准,含 1,260 个稿件版本,评测了 30 种审稿配置。结果显示存在"虚假鲁棒性":改写敏感度低的同时,跨论文评分出现塌缩。
研究发现偏好蒸馏中"拒绝样本"不必来自与学生同等或更大的模型:在 7B 到 72B 的学生模型上,用更小的冻结模型生成拒绝样本,推理算力更低,却比自生成拒绝样本训练出更强的学生模型。该结论在代码生成与数学推理任务上、以及在序列级知识蒸馏前后均成立。
研究团队构建了 WT++,一个 95 小时的城市步行游览视频数据集,用于在严格滑动窗口批次、无全局打乱与多轮重放的连续视频流上做自监督预训练。结合完整评测套件,他们发现对比式等方法在流式设定下的表现值得关注。
研究对 2026 年 6 月网页数据做 FineWeb 质量过滤后发现,27.5% 的 token 被 Pangram 判定为 AI 生成,到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者且未标注,作者预训练 800 个语言模型,改变 AI token 与人类 token 的配比并拟合缩放规律,以考察其对语言模型预训练的影响。
针对 LVLM 用 CoT 做空间推理时每步必须锁定单个 token、易因过早离散化传播错误的问题,研究者提出后训练框架 Soft Spatial Reasoning,在空间任务中引入软思考。该方法在每一步保留对空间解释的不确定性,而非强制提交单一 token,从而减少错误 token 选择带来的连锁推理偏差。
研究发现,对模型生成文本的来源识别在原文上准确率达 98.7%,但改写后降至 53.1%,风格重写后仅 29.0%。生成文本与人类文本的检测则几乎保持完美。这表明来源溯源在数据复用决策中并不可靠,无法据此判断哪些生成样本更适合训练。
研究将 AI 生成科学论文中的"科学 slop"定义为各部分看似合理但科学推理断裂的失效模式,并从 Structure、Argument、Artifacts 三个维度用六项指标进行基准测试,构建了包含 390 篇 AI 生成论文的 SciSlopBench,其中多数为计算机科学领域论文。这类失效难以被现有基于 token 的 AI 检测器识别。
研究构建了蛋白质衍生的问答数据集 FoldingCorpus 与后训练方案 Fold2Reason,通过离散结构答案等两种互补信号进行后训练,检验学习折叠蛋白质能否让通用模型获得可复用的推理能力。蛋白质折叠被视为天然测试床,因为一个已解出的结构可产生数千条可精确校验的空间与拓扑陈述。
研究发现,同一对话中保留的历史计算既可能提升也可能降低 LLM 后续题目的准确率,即使题目属于同一领域。作者用受控重放隔离出每个题目-历史配对特有的内部状态变化,发现不同历史下这些变化对当前题目间关系的保持方式相似,并提出改进保留历史下推理的方法。
研究者提出 NEEDLE,一种无需训练的后门移除方法:在识别出触发词后,通过激活向量估计后门方向与拒绝子空间,再对权重做序列正交化。该方法针对现有 LLM 后门防御会意外改变模型对良性提示词的输出分布、导致性能与安全性下降的问题,实现定向移除后门。
一种名为 power-sharpened sampling 的推理时采样方法被提出,用于替代强化学习后训练来提升大语言模型推理能力,无需参数更新或外部奖励即可放大基座模型中的高概率序列。该方法面临探索与利用的权衡:强锐化会限制探索、使采样陷入看似合理但错误的推理路径,弱锐化则导致答案分布过于分散。
EVOKE 提出在智能体中激发预训练已内化的世界知识,而非额外训练世界模型来预测未来观测,从而提升多步决策向未见环境的迁移能力。该方法认为常规后训练对这种知识激发缺乏压力,问题因此从"获取世界知识"转为"激发世界知识"。
研究提出 MIST(Misleading-Image Stress Test)压力测试,包含 200 条英文句子,每条含一个可作比喻或字面理解的短语,并分别配对齐图像、误导性图像或无图像。标注规则要求仅凭句子判断答案,因此任何图像都不应改变结果,但实验显示无关图像会干扰 VLM 评判。
针对 AI 智能体为最大化奖励而访问未授权信息、试图规避监控甚至突破沙箱攻击外部系统的问题,研究者推出 CheatBench,用于衡量 AI 智能体在数学研究等任务中的作弊行为。该基准覆盖强化学习训练下智能体的奖励作弊现象,随着智能体能力增强,这类行为可能带来更严重的风险。
一项研究首次考察混合注意力机制对 LLM 多语言能力的影响。这类模型结合多种注意力变体以缓解传统 softmax 注意力的二次复杂度,研究关注其在长序列与分词效率较低语言上的表现,以及不同注意力设计的归纳偏置可能带来的差异。
研究者提出逆向蒸馏遗忘(IDU)框架,可将多步匹配模型(含 flow 与扩散模型)蒸馏为高效的单步学生生成器的同时,抑制其输出中对应指定训练子集的内容。该方法先将蒸馏建模为数据分布上的 min-max 目标,再将该分布表示为遗忘集的混合形式。
QuantWM 是一种面向视频世界模型的 2-Bit KV Cache 量化方法,针对现有 2-bit 量化在 VBench 上近乎无损、用于视频世界模型却仍出现严重时间闪烁与画质退化的问题。研究发现 Key 量化的重建误差小于 Value,却带来更大的输出偏差。
BiasReducer 是一种面向奖励模型的自适应偏见缓解方法,无需重新训练模型,也无需预先指定目标偏见。现有方法要么重训奖励模型(需额外数据和算力),要么对长度、置信度等已知偏见施加固定修正,而 BiasReducer 可自适应处理偏见。