Hacker News · AI· amrrs·· 7 小时前AI 评分35
为何你需要自建 LLM 代理以掌控推理数据
If you don't run your own LLM proxy, how do you know whats going on?
AI 摘要
文章指出直接依赖大模型厂商提供的分析面板无法获取工程师所需的 Token 使用时序数据,建议开发者自建 LLM 代理。通过自建代理可统一多提供商与多模型的日志控制,利用虚拟 API Key 隔离不同工作流并实现快速模型切换。这种架构能精确追踪缓存命中情况、优化数据路径并掌握完整的推理基础设施控制权。
来源:Hacker News · AI · jrdsgl.com