跳到正文
Together AI Blog·· 22 小时前精选AI 评分80

Qwen4 Max 上线 Together AI,单次请求处理 65 万 token 代码库

Qwen4 Max is live on Together AI

AI 导读

阿里 Qwen4 Max 上线 Together AI,支持 1M token 上下文。Together AI 用 Tornado 仓库全部 344 个文件、652,519 个 token 加一份 bug 报告做单次请求测试,模型在无工具、无检索的情况下 72 秒返回补丁,并通过维护者新增的两个回归测试与全部 1,673 个测试。

推荐理由

原文用一次整库修 bug 的实测给出耗时、成本与缓存后的差异,可据此判断长上下文模型在真实仓库任务中的可用性。

正文 · AI 翻译

我们给 Qwen4 Max 一次请求,附上一份 bug 报告和一整个代码库。代码库是 Tornado,那个 Python Web 框架:全部 344 个文件,652,519 个 token。模型没有工具,我们也没有预先挑选相关文件或先跑一遍检索。七十二秒后它返回了一个补丁,而这个补丁通过了 Tornado 维护者为该 bug 编写的测试。这次请求花费 69 美分。

它还在仓库的其他地方找到了先例。bug 报告从未提到 tornado/iostream.py,但模型指出了那里的代码,那段代码已经按照它的补丁所需的方式处理错误。Tornado 的维护者在自己修复时也引用了同一段代码。

Qwen4 Max 是阿里巴巴的旗舰 Qwen 模型。它今天已在 Together AI 上线,并在 2026 年 11 月 22 日之前享受 30% 折扣。

测试

Tornado 是一个开源 Python Web 框架。它的仓库包含约 340 个代码、测试和文档文件。这能放进 Qwen4 Max 的上下文窗口,而且远超任何人会手动粘贴进提示词的内容。我们选了维护者在 2026 年 11 月 18 日提交的一个修复,那是 Qwen4 Max 发布两天后,并针对该提交之前的仓库状态进行了测试。

这是一个例子,用来展示单次调用能做什么,以及它的成本。

这个 bug 出在 Tornado 的 websocket 代码中。当连接关闭时仍有消息未发送,每一个未被 await 的 write_message() 调用都会记录一条错误,尽管 await 它是可选的。我们把该检出中的每个文本文件作为一条提示词发送,并附上一份只描述症状的 bug 报告:

write_message logs "Task exception was never retrieved" when the connection closes

当 websocket 连接在消息仍未发送时关闭(例如,客户端发送了它的消息和一个 FIN,或重置了连接,却没有读取回复),每一个结果未被 await 的 write_message() 调用都会在 ERROR 级别记录“Task exception was never retrieved”。

await write_message 返回的 Future 是可选的,因此未 await 的调用不应记录任何内容。而确实 await 它的调用者仍应收到 WebSocketClosedError。

我们要求给出原因和补丁。这是重放的那次请求:

返回了什么

第一个 token 在 54 秒后到达,回复在 72 秒时完成。Qwen4 Max 将错误追溯到 tornado/websocket.py 中的 WebSocketProtocol13.write_message。该方法将每次写入包装在一个任务中。当连接关闭时,任务因一个无人必须收集的异常而失败,Python 将其记录为“Task exception was never retrieved”。

模型的补丁将该异常标记为已检索。不会记录任何内容,而确实 await 写入的调用者仍会收到错误:

-        return asyncio.ensure_future(wrapper())
+        task = asyncio.ensure_future(wrapper())
+
+        # Awaiting the returned Future is optional, so an error nobody looks
+        # at must not be reported as "Task exception was never retrieved".
+        # Retrieving it here leaves it in place for callers that do await.
+        def _mark_retrieved(t: "asyncio.Task[None]") -> None:
+            if not t.cancelled():
+                t.exception()
+
+        task.add_done_callback(_mark_retrieved)
+        return task

正是这个先例让补丁读起来像是项目的一部分。模型的解释称,修复应当做 BaseIOStream.write 已经为其自身的 future 所做的事。该方法位于 tornado/iostream.py 中,比 websocket 代码低一层,并以相同方式解决了同样的问题。维护者的提交也做了同样的比较。

A grid of 344 squares, one for each file in the Tornado repository, grouped by folder. Two squares in the tornado folder are highlighted and joined by a line: websocket.py, where the bug was, and iostream.py, the precedent the model pointed to.

没有人替它挑选这些文件。全部 344 个文件都放进去了,而模型找到了关键的那两个。

我们如何检查

Tornado 的维护者在他们的修复中增加了两个回归测试:一个针对未 await 的写入,一个针对已 await 的写入。在修复前的代码上,第一个测试失败。应用模型的补丁后,两个都通过。然后我们在应用补丁的情况下运行了 Tornado 的完整测试套件,共 1,673 个测试,没有一个失败。

成本是多少

按折扣价计算,这次请求约为 69 美分,几乎全部用于 652,519 个输入 token。按标价计算则是 98 美分。

再次发送同一个仓库的成本要低得多。Together AI 会自动缓存提示输入,在促销期间,缓存输入的价格为每百万 token \$0.0525。当我们重复一个约 630,000 token 的请求时,几乎全部内容都从缓存中返回。首个 token 在 8 秒内到达,而不是 54 秒,输入成本约为 3 美分,而不是 66 美分。

关于 Qwen4 Max

阿里巴巴于 2026 年 11 月 16 日发布了 Qwen4 Max,并将其描述为 Qwen 系列迄今为止能力最强的模型。该模型定位于长时间智能体工作,包括跨大型仓库的编码,这正是我们测试的那类任务。

Qwen4 Max 是一个稀疏混合专家模型,拥有 2.4 万亿参数,其中每个 token 激活 710 亿参数。在 Work360(阿里巴巴自有的基准测试,涵盖 721 个专业领域的行业任务)上,阿里巴巴报告称其整体表现优于 Qwen3.8 Max,在高推理强度下使用的 token 减少 35%,平均每项任务成本降低约 60%。这些是阿里巴巴的数据,其公告中有详细信息。

在 Together AI 上运行

Qwen4 Max 已在 Together Serverless Inference 上线,模型字符串为 Qwen/Qwen4-Max。此脚本在一个请求中发送整个仓库和一份错误报告,与我们的测试方式相同。你需要 Together Python SDK(pip install together)、一个 TOGETHER_API_KEY、仓库的本地克隆,以及保存为 bug_report.md 的错误报告。它会发送 git 跟踪的每个文本文件,因此请先检查仓库中是否有密钥。

import subprocess
from pathlib import Path

from together import Together

repo = Path("tornado")
bug_report = Path("bug_report.md").read_text()

# Every file git tracks, skipping the ones that aren't text
names = subprocess.check_output(
    ["git", "-C", str(repo), "ls-files"], text=True
).splitlines()
files = []
for name in names:
    try:
        files.append(f"=== FILE: {name} ===\n{(repo / name).read_text()}\n")
    except UnicodeDecodeError:
        continue

client = Together()

stream = client.chat.completions.create(
    model="Qwen/Qwen4-Max",
    messages=[
        {
            "role": "system",
            "content": f"This is a complete repository, {len(files)} files.\n\n"
            + "".join(files),
        },
        {
            "role": "user",
            "content": f"Here is a bug report.\n\n{bug_report}\n\n"
            "Explain the cause, then write a patch.",
        },
    ],
    stream=True,
)

for chunk in stream:
    if not chunk.choices:
        continue
    delta = chunk.choices[0].delta
    # delta.reasoning carries the model's thinking, delta.content the answer
    if delta.content:
        print(delta.content, end="", flush=True)

其中有两处是该模型特有的。请求必须设置 stream=True,因为 Together AI 上的 Qwen4 Max 仅接受流式请求。并且思考默认开启,因此模型的推理会先在 delta.reasoning 中流式输出,在答案开始前会有一段停顿。思考 token 计入输出 token。要在简单请求中跳过思考,请传入 reasoning={"enabled": False}。

如果想不写代码试用,请在游乐场中打开它。模型页面有相同的详细信息。

常见问题

Qwen4 Max 在 Together AI 上的费用是多少?

Together AI 上的 Qwen4 Max 标价为每 1M 输入 token \$1.50、每 1M 输出 token \$4.50、每 1M 缓存输入 token \$0.075。截至 2026 年 11 月 22 日,享受 30% 折扣:\$1.05、\$3.15 和 \$0.0525。思考 token 计入输出 token。

Qwen4 Max 在 Together AI 上的上下文窗口是多少?

Qwen4 Max 在 Together AI 上具有 1M token 的上下文窗口。在我们的测试中,一个包含 652,519 个输入 token 的请求在 54 秒后返回了首个 token。

Qwen4 Max 接受图像吗?

是的,Qwen4 Max 在 Together AI 上接受文本和图像输入,并返回文本。将每张图像作为消息内容中的 image_url 块发送,如视觉文档中所述。

为什么我的 Qwen4 Max 请求在非流式模式下失败?

Together AI 上的 Qwen4 Max 仅接受流式请求。不带 "stream": true 的请求会返回 400 错误,代码为 streaming_required。在 SDK 中设置 stream=True,或在请求体中设置 "stream": true,然后从流中读取回复。

如何关闭 Qwen4 Max 的思考功能?

在 Python SDK 中传入 reasoning={"enabled": False},或在请求体中传入 "reasoning": {"enabled": false},以关闭 Qwen4 Max 的思考功能。思考默认开启,并会在答案之前的 reasoning 字段中返回。要在难题上获得更多思考,请将 reasoning_effort 设置为 "max"。

Qwen4 Max 支持工具调用吗?

是的,Qwen4 Max 在 Together AI 上通过标准 tools 参数支持工具调用。它可以在一个回合中返回多个调用。

提示缓存对 Qwen4 Max 有效吗?

是的,在 Together AI 上,Qwen4 Max 的提示缓存是自动的,缓存输入 token 按标价每 1M 收费 \$0.075。在我们的测试中,重复发送一个 630,000 token 的请求,返回结果几乎全部来自缓存,其首个 token 在 8 秒内到达,而不是 54 秒。缓存是尽力而为的,因此并非每次重复请求都会被缓存。

我可以对 Qwen4 Max 进行微调,或在专用端点上运行它吗?

不可以,目前 Qwen4 Max 在 Together AI 上仅支持无服务器模式,且不可用于微调。阿里巴巴表示,Qwen4 系列中更小的开放权重模型将会随后推出。

来源:Together AI Blog · together.ai