arXiv cs.AI· Saad Ahmed Bazaz, Talha Amjad, Abdurrehman Subhani, Sohaib Ahmed Bazaz, Abdullah Aamir·· 11 小时前AI 评分34
Grayhat Developers 分享自托管 AI 混合技术栈部署经验
Create Your Own Work Stack: Deploying Self-hosted AI and Tooling in a Tech Startup
AI 导读
Grayhat Developers 报告了在小型软件公司部署混合 AI 技术栈的经验：商业 AI 使用（Claude/Codex）每月约 325 美元、记录超 25.93 亿 token，因本地开源模型性能与推理速度不足，改为商业智能体处理复杂任务、本地模型承担低复杂度任务及与 Outline、Plane、ERPNext 等自托管工具的同步。
正文 · AI 翻译
摘要：自托管 AI 常被视为降低推理成本、增强控制力的途径，但部署本身也会带来成本。我们报告了在 Grayhat Developers 部署混合 AI 栈的经验，这是一家拥有 AI 密集型开发流程的小型软件公司。我们最初的动机是对抗商业 AI 使用成本的不断增长：Claude/Codex 每月约花费 \$325，记录超过 25.93 亿 token。我们尝试用本地开源模型替代商业编码智能体，但在了解到其性能和推理速度不足后，我们采用了混合方案：商业智能体继续负责复杂任务，而本地模型处理较低复杂度的任务、组织信息检索，以及与自托管工具（包括 Outline、Plane 和 ERPNext）的同步。
我们估计，约 30--40\% 的商业 AI 工作负载与上下文传递、文档同步、任务管理及相关运营协调有关。通过将这项工作转移到本地模型，我们估计约 90\% 的此类协调工作负载可以在不进行商业推理的情况下处理，相当于整体商业 AI 工作负载或成本等效使用量减少约 27--36\%。然而，我们的首次内部部署因引入用户体验摩擦而未能获得采用。将其替换为集中配置的部署后，反馈和采用率大幅提升。我们得出结论：本地推理最有用的地方并非完全替代商业 AI，而是作为混合架构的一部分，根据任务的能力需求、成本、上下文需求和运营敏感性来分配任务。
| 评论： | 被第三十九届人工智能创新应用年会（IAAI-27）接收为海报展示，2027 年 2 月 18-20 日 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.08116 [cs.AI] |
| （或 arXiv:2611.08116v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.08116 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saad Bazaz [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 14:49:11 UTC（158 KB）
来源：arXiv cs.AI · arxiv.org