低秩词表矩阵实验:输入嵌入端反而降低测试损失?
受 ALBERT 与 LoRA 思路启发,作者在 163M 参数的 GPT-2 small 风格模型上测试低秩分解嵌入与输出头:同时分解两者使损失上升约 0.07 至 0.14,但仅分解输入嵌入时测试损失反而下降。GPT-2 small 的嵌入与输出头各约 3900 万参数,合计占模型一半;Qwen 3.6 35B MoE(3B 激活参数)中两者约占 1B。
受 ALBERT 与 LoRA 思路启发,作者在 163M 参数的 GPT-2 small 风格模型上测试低秩分解嵌入与输出头:同时分解两者使损失上升约 0.07 至 0.14,但仅分解输入嵌入时测试损失反而下降。GPT-2 small 的嵌入与输出头各约 3900 万参数,合计占模型一半;Qwen 3.6 35B MoE(3B 激活参数)中两者约占 1B。
网站 Closed Form 基于 openai/math 发布内容(Vol. 1 含 372 个结果族、722 篇论文),为每个 AI 已解决的数学问题提供通俗解释,并标注可信度。解释由 AI 流水线撰写、再由第二个 AI 对照原论文核查,未经同行评审,每条目附“报告错误”链接。代码采用 MIT 许可,解释文本为 CC BY 4.0,与 OpenAI 无隶属关系。
巴黎 AI 生物实验室 Living Models 将 Gemma 4 与植物基因组基础模型 BOTANIC-1 组合,构建模块化流程来定位作物性状的因果突变。
百度搭子与通达信完成联合接入,通达信提供标准化 MCP 金融数据服务,百度搭子负责读取本地研报、处理 Excel 并保存结果到本地文件夹。用户用自然语言提出需求即可完成行情取数、研报预测核验、板块批量筛选等任务,接入只需在连接器中找到通达信 MCP、扫码授权、对话提需求三步。百度搭子可完成查数、核验、筛选、制表和报告生成,但不能代替研究者判断买卖。
Databricks 提出以联邦式数据交换解决美国国防供应链可见性缺失:各承包商在本地治理自有数据,仅向指定接收方发布经版本化、质量校验的成本与定价证据,无需接入 ERP 或建立中央仓库。该方案基于已开源的 OpenSharing 协议,可扩展至超 20 万家供应商,并复用 CSDR、FlexFile、DD Form 1921 等既有合同报告义务。
OpenEcon 团队维护的 awesome-ai-for-economists 汇集面向经济学研究、教学与政策分析的 AI 工具、库和资源,覆盖机器学习、大语言模型、因果推断与计量经济学。
toothlocal AI Review Index 基于 2021 年 1 月至 2026 年 9 月 20 日间 164,946 家美国牙科诊所的 2470 万条评论发现,2026 年一星和二星差评中带 AI 写作痕迹的比例达 6.8%,是 2023 年 0.57% 的 12 倍。
GitHub 项目 babershahzad/Exoplanet-Detection-using-Deep-Learning 提供了一款用深度学习分析 NASA Kepler 光变曲线、识别系外行星候选者的桌面应用。
GitHub 项目 hardy30894/market-screener 是一个面向 AI、存储、半导体与光子学板块的发现式选股工具,可扫描全美科技硬件市场、按 0-100 打分排序突破前形态、标记即将发财报的强势股,并对持仓给出 HOLD / TRIM / EXIT 信号。
OpenViking 通过 VikingMem、TrieHI 和 VikingRAG 三项技术,解决 AI Agent 在记忆管理、目录搜索和结构化文档检索中的关键问题。VikingMem 实现高效的事件-实体记忆管理,缓解 Agent 记忆重复与过时;TrieHI 引入目录感知搜索,避免跨目录检索问题。
微软论文提出 TeleTune,让智能体直接从原始使用日志中学习软件技能,无需实时测试环境。该方法猜测每个会话的目标,用文本技能库让模型预测每条日志动作,错误预测触发技能库修改,仅保留在留出日志上准确率提升的编辑。论文称旧日志上的下一步动作准确率与实时成功率一致,建议产品记录用户活动并据此挖掘智能体技能。
Claude Dashboards 已发布,可连接 BigQuery、Databricks、Snowflake 等数据平台或 Salesforce 等 CRM,目前处于付费计划 beta 阶段。作者认为它适合快速探索和示例,但缺少代码与开源属性,难以长期维护和集成进数据管道,如同 Jupyter Notebooks 一样。
数据工程师 Josh Wills 在访谈中称模型选择更像 iPhone 与 Android 的偏好差异,而非能力差距。他现任 DatologyAI 技术成员,构建在万亿 token 预训练规模上自动筛选训练数据的工具与分布式流水线,日常用 Spark 或 Ray 处理文本与多模态数据,30 TB 在其中只算小数据。他还提到 DuckDB 已随 dbt Fusion 引擎内置进 dbt v2。
PMetal 是 Epistates 在 GitHub 开源的 Apple Silicon 机器学习平台,用 Rust 编写,覆盖 Metal GPU kernel、Apple Neural Engine 集成到训练 API、终端 TUI 和 Tauri 桌面 GUI。
《华尔街日报》分析证券文件后发现,九家大型科技公司已作出约3万亿美元AI基础设施承诺,未出现在资产负债表上,约为同一批公司现有租赁和长期借款总额的三倍。其中约1.9万亿美元是采购承诺,约1.2万亿美元是已签但尚未开始的租赁,后者规模约为一年前的四倍。
墨流(moliu)是一款桌面端 AI 网文创作助手,模型密钥由用户自备,在本机完成选题、大纲和章节续写,并用写作合同、事实账本和章节评审维持长篇连续性。它支持多家模型厂商及 Ollama 本地模型,密钥以 AES-256-GCM 加密仅存本机,数据写入 SQLite。当前版本可用于写作和继续开发,但盲测与完本收束仍未达到 docs/north-star.md 的生产验收门。
C++ DataFrame 是一个高性能 C++ 内存数据分析库,提供切片、join、merge、group-by、透视及统计、金融、ML 算法,并支持自定义算法与多线程。
UNICUS 创始人徐豪分享了公司从照片定制转向无限 SKU 玩具平台的历程,并介绍了自研的 3D 制造模型 U1。该平台通过自建柔性工厂和 AI 驱动的生产系统,大幅降低设计与生产成本,实现从照片到个性化积木玩具的快速交付。
Illumina 的 BioInsight AI Lab 发布预训练模型 SpliceAI2,在原有 SpliceAI 判断剪接位点的基础上,新增预测剪接连接和完整 RNA 转录本异构体的能力,只需输入 DNA 序列。
约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 与 Claude Science 合作,制作出首张完整的紫外波段全天图。
Meta 新论文发现,智能体记忆系统不应使用统一的置信阈值,而应只对用户价值观与信念类声明单独提高门槛。这类声明占候选记忆的 21.5%,却贡献了超过其他所有类别总和的缺乏支撑的声明,其来源支持率仅 77.9%,其他事实为 96.2%。仅收紧价值观类标准后,无支撑记忆从 6.2% 降至 4.0%,同时多保留约 13 个百分点的来源关键事实。
一项实测对比显示,微调小型编码器在文本分类上仍大幅领先零样本决策模型:最差的 TheseusBERT(0.709 macro-F1)比最好的 Clef 27B(0.419)高 29 分,对 Tev1-4B 还快 34-91 倍。
Glassbox 是一个每周统计科技招聘广告所需技能的工具,本周统计了 8,808 个科技岗位,其中后端岗位 263 个。它按岗位类型和级别拆分数据,例如本周 263 个后端岗位中有 16 个初级岗位,并统计 PostgreSQL、SQL、Java、CI/CD、Kotlin、AI assistants(ChatGPT、Copilot)等技能的出现次数。
doraneural 是一个纯用 NumPy 构建的神经网络工具包与 CLI,面向 Termux、树莓派等低功耗 CPU 设备,支持一行代码建模、终端 ASCII 训练曲线和零依赖模型导出。
GitHub 仓库 Paul-B98/lecture-ai-advanced 发布人工智能 II 选修课内容,涵盖 PyTorch 深度学习基础、正则化、超参数调优、集成学习,以及计算机视觉与 NLP 拓展章节,NLP 部分涉及 GPT2 Transformer、情感分析和命名实体识别。
GitHub 项目 Paul-B98/lecture-ai-basics 公开了选修课“人工智能 I”的课程内容,涵盖 AI 基础概念与应用练习。
软件工程师 piratebroadcast 用 AI 检索荷兰东印度公司档案等历史文献,发现了一份未被任何陨石目录收录的 1812 年陨石记录、三头未见于文献的爪哇犀牛运输记录,以及三次未被 Smithsonian 全球火山计划收录的喷发。
OpenAthlete 是采用 AGPLv3 协议的开源耐力训练平台,定位为 TrainingPeaks 和 Strava 的伦理替代方案,支持自托管、完整数据导出,托管与处理默认面向欧盟并符合 GDPR。
AWS 推出 SageMaker HyperPod on EKS,通过 Kubernetes 命名空间隔离、Kueue 调度和 POSIX UID 注入,实现多团队公平共享 GPU 资源,解决集群争抢与数据污染问题。该产品基于 Kubernetes 构建,面向多租户 GPU 集群治理场景。
Spectra Labs 发布 SpectraAdamW,一款可将 LLM 微调优化器状态显存降低 50% 的即插即用优化器,通过因子化方差近似与频域动量压缩实现。
社区研究者在 OpenAI #109 框架基础上,将整数乘法 FFT 证明的指数节省 κ 推进到 4.609169×10^-4,由 icekylinx 在 PR #144 中贡献,采用配对立方体与共享核心构造。
三星预计 7 至 9 月营业利润达 107.4 万亿韩元(约 801 亿美元),同比增长 782.5%,将是韩国企业首次季度营业利润突破 100 万亿韩元;营收预计增长 127% 至 195 万亿韩元。
floret-torch 用 PyTorch 在 GPU 上训练 fastText 风格词向量,在 4 核笔记本上同质量下比 CPU floret 快约 20 倍,向量可直接载入 spaCy。
PostgreSQL 19 在 beta 期回退了约 8 到 10 个重要功能,远超以往每周期约一个的常态。开发者认为原因之一是 LLM 辅助代码审查大幅提升了质量门槛,让大量边缘缺陷被快速发现,而部分功能写于该能力尚弱之时。Vulnpocalypse 期间资深开发者忙于安全修复,也削弱了 beta 期的常规审查与测试。
铠侠与 SanDisk 在 FMS 2026 上分别用显微镜展示了 BiCS NAND 样品,铠侠展出的是采用 CBA 技术、332 层的 BiCS FLASH 第 10 代 1Tb TLC NAND 晶圆与芯片截面,SanDisk 展位则展示了 BiCS FLASH 第 8 代。现场还能看到层间极细的连线以及封装内存储数据的单元结构。
Whoop Loop 是基于 WHOOP API 的个人 AI 健康分析师,通过 Telegram 机器人和 iPhone 小组件,将 WHOOP 数据转化为每日决策。
Anthropic 的 Claude Science 首次绘制出完整的紫外天图。该项目由 Claude Science 协调多个 AI 智能体,从多个太空任务下载数据、进行校准并合并,再用 inpainting 技术补全缺失区域;测试中预测值与实际测量平均偏差约 10%。
Anthropic 的 Claude Science 协调多个 AI 智能体,下载、校准并合并多个太空任务的数据,首次绘制出完整的紫外线全天图。由于臭氧层阻挡紫外线,紫外线只能从太空测量,此前 NASA 的 GALEX 任务仅覆盖约三分之二天区并跳过明亮恒星形成区。缺失区域用 inpainting 技术重建,测试中预测与实测的平均偏差约百分之十,该图将作为教学材料使用。
Sift 是一个 LLVM 优化 pass 与形式化验证引擎,无需 restrict 注解即可消除循环中的指针别名障碍,通过合成防溢出的动态不相交守卫并附加 !
Claude 发布 Dashboards 与 Motion 两项新能力。Dashboards 可直接接入企业数仓或 CRM,用自然语言提问生成联动业务看板,并随底层数据变动自动刷新;Motion 把报告、图表或产品演示转成短动画并导出 MP4。