Taracode 发布本地 DevOps Agent 并公开 18 个开源模型在单卡上的推理性能基准
Show HN: Taracode – a local DevOps agent, and 18 open models scored on one GPU
Tara Vision 发布了开源工具 Taracode,这是一个运行在 Ollama 之上的本地 DevOps 智能体,旨在通过沙盒化环境处理 Kubernetes、Terraform 和 Docker 等基础设施任务。该工具的核心特性包括默认只读的调查模式、基于策略的变更控制以及输出内容的敏感信息自动脱敏,确保数据不出本地机器。同时,项目附带了一套包含 33 个离线任务的评估套件,并在 NVIDIA RTX 5090 (32 GB) 上完成了 18 个开源模型的实测评分。
实测数据显示,在 32,768-token 上下文窗口下,Gemma4:31b 以 94% 的通过率位居榜首,Qwen3.8:27b 紧随其后,两者均能高效完成复杂的 DevOps 任务。Gemba4:12b 虽然显存占用仅 9.2 GiB,但通过率也达到了 88%,证明了中低显存模型在特定工程场景下的可用性。所有测试均在单一 GPU 上进行,记录了每个模型的每秒 Token 数(Tokens/s)和 VRAM 占用,为开发者选择本地推理模型提供了具体的硬件匹配参考。
事实层面,Taracode 已稳定至 3.2.0 版本,工具集固定为 15 个,且支持 MCP 协议;推断层面,这种将模型能力量化到具体工程任务的做法,比通用基准更能反映模型在自动化运维中的实际价值;猜测层面,随着端侧算力提升,此类本地化智能体可能成为企业内部开发流程的标准配置,但需警惕其当前对 Ollama 生态的强依赖可能限制其在生产级 vLLM 集群中的直接扩展。
材料提供了本地 DevOps 智能体在单卡上的真实模型性能基准与沙盒化安全机制,可直接校正对端侧部署可行性的判断。
来源:Hacker News · AI · github.com