Simon Willison·· 3 小时前AI 评分15
llm-echo 0.5 发布:模拟 token 用量计入工具调用与推理 token
llm-echo 0.5
AI 导读
Simon Willison 发布 llm-echo 0.5,这个调试插件提供的“模型”不调用任何 LLM,只回显输入的提示词。新版本更新了模拟 token 用量统计,将工具调用、系统提示词和推理 token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 输出显示 2 input、24 output token。
正文 · AI 翻译
我正在为一个新的 LLM 发布做准备,测试 PR 让我重新审视了 llm-echo 调试插件。这个插件提供了一个完全不涉及 LLM 的“模型”——它只是把喂给它的提示词原样重复回来。新版本现在会更新模拟的 token 使用计数,将工具调用、系统提示词和推理 token 都纳入计算。
示例用法:
uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage
输出:
First I consider the prompt, then I decide what to say.
{
"prompt": "hi there",
"system": "",
"attachments": [],
"stream": true,
"previous": []
}
Token usage: 2 input, 24 output
来源:Simon Willison · simonwillison.net