Together AI 提出自调优推理与持续编译系统
先了解这件事
Together AI 提出 Polymorphic Inference（多态推理）研究议程，主张用 AI 智能体通过 Continuous Compilation 持续优化开放模型的推理性能，以替代 vLLM、SGLang 等依赖静态超参配置的现有方案。Together 称，开放模型发布加快、架构多样、流量形态变化和硬件迭代加速，使静态配置难以适配。 配套发布的 Together Compiler（TKCC）用高吞吐智能体持续为推理引擎生成优化方案。Together 称，该系统在不到 24 小时内对 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 实现 1.3–3 倍 TPS 提升，目前每天处理数万亿 token。其中 Trainium2 的测试使用合成多轮数据集，而非 AgentX，原因是其实现受 HBM 容量限制，尚不支持更高并发。
AI 根据报道生成 · 48 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Together AI BlogTogether AI 提出 Polymorphic Inference：面向开放模型的自调优推理
Together AI 提出 Polymorphic Inference（多态推理）研究议程，用 AI 智能体通过 Continuous Compilation 持续优化开放模型的推理性能。其依据是开放模型发布速度加快、架构多样化、流量形态持续变化以及硬件迭代加速，现有静态超参配置的 vLLM、SGLang 等推理方案难以适配。Together 同时宣布 Together Compiler 项目。
- Together AI Blog精选Together AI 发布 Together Compiler（TKCC）持续编译系统优化 AI 推理
Together AI 发布 Together Compiler（TKCC），用高吞吐智能体持续为推理引擎生成优化方案，在不到 24 小时内对 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 实现 1.3-3x 的 TPS 提升。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。