Respan 发布基于 Rust 的插件化开源 AI 网关

Respan 推出了一款基于 Rust 构建的开源 AI 网关，其核心设计理念是将所有功能模块化为插件，包括模型提供商、协议（如 MCP、语音）、模态（图像、视频）以及网关特性（故障转移、PII 脱敏、智能路由）。该工具旨在解决传统网关在扩展新功能时面临的高昂成本和维护难题，特别是针对那些需要深度定制 API 密钥设置、路由规则和限流策略的组织。

项目源于创始团队自 2024 年起基于 LiteLLM 进行封装的经历，当时为了支持数千个组织的不同需求，包装代码量曾超过 10 万行。一次常规的 LiteLLM 升级导致的间歇性连接错误且无法定位原因，促使团队决定重构网关。新架构受 Nginx 启发，核心仅负责事件分发，任何提供商（如 OpenAI、Anthropic、Gemini）或特定 quirks（如 Groq 将 token 用量放在独立字段）都通过独立的短文件实现，例如 Mistral 的实现仅需 22 行代码。网关采用流式模型处理 HTTP 和 WebSocket 连接，能够保留 provider-specific 字段而不丢失数据，并自动处理工具调用、图像和推理协议。

目前该项目处于 pre-alpha 阶段，源代码托管于 GitHub，采用 MIT 或 Apache-2.0 许可，用户可本地运行或选择其付费托管平台获取可观测性和统一计费服务。事实层面确认了代码库规模缩减至插件模式及当前版本状态；推断层面表明该架构可能降低企业级 AI 基础设施的长期维护成本；猜测层面在于其能否成功吸引社区贡献足够多的插件以形成生态闭环。