2026年6月24日，基于CNCF Envoy Gateway项目构建的Envoy AI Gateway正式发布了1.0版本，成为首个达到生产成熟度的开源AI网关。该项目由Bloomberg发起，Tetrate、Nutanix及更广泛的Envoy社区共同贡献，历时16个月的协作开发终于产出了一个稳定的生产级代码库。
从流量管理到AI流量治理
自2015年在Lyft诞生以来，Envoy一直是互联网规模流量管理的基石。Envoy AI Gateway将这一成熟度延伸到了AI推理和Agent工作负载领域，提供了三个关键能力：
第一，统一的多提供商接口。支持OpenAI、Anthropic、Google Gemini、Azure OpenAI、AWS Bedrock以及更广泛的OpenAI兼容服务，企业可以通过单一入口管理所有AI流量。
第二，AI原生治理控制。包括基于Token的速率限制和配额管理、跨提供商的集中式凭证管理，以及基于OpenTelemetry和OpenInference标准的全链路追踪。
第三，MCP协议支持。网关内置MCP流量路由、工具过滤规则、认证措施和逐工具可观测性，直连AI Agent生态。
生产验证的力量
与许多「1.0即实验」的开源项目不同，Envoy AI Gateway的1.0是经过真实生产环境验证的。Bloomberg已经在生产环境中运行该网关，Nutanix也正在将其集成到Nutanix Agent Gateway和Nutanix Enterprise AI中。Tetrate CTO Varun Talwar强调：「公共仓库中的代码就是Bloomberg和Tetrate在生产环境中运行的同一份代码——这种透明度在开源项目中非常罕见。」
小编有话说
Envoy AI Gateway 1.0的发布填补了企业AI基础设施中的一个关键空白：AI流量的治理层。当企业同时使用多个AI模型提供商时，如果没有统一的网关层，成本控制、安全治理和多提供商切换将变得异常复杂。对于运维团队来说，Envoy AI Gateway可能成为AI基础设施栈中的「必装组件」。
评论 (0)