企业 AI 网关
下游只认一个地址
网关是所有模型调用的唯一入口。它负责协议转换、凭证管理、路由决策和成本控制, 上游怎么变、换几家、换成本,对下游都是透明的。
OpenAI 兼容接口
标准 /v1/chat/completions 与 /v1/responses 语义。下游代码基本不用改,把 base_url 指到你的网关即可。
统一凭证
下游不持有任何上游密钥,只持有作用域受限的网关令牌。令牌可随时吊销,不影响其他调用方。
智能路由
按模型别名、任务类型或成本上限选择上游。支持主备切换与多级 fallback,单一供应商故障不影响业务。
流式与工具调用
SSE 流式输出、函数调用、结构化输出均透传,语义与直连上游一致。
成本前置控制
在请求发出前按预估 token 校验预算,超限直接拒绝,避免账单意外。
高可用
网关多实例部署,控制面与数据面分离,任一组件故障不阻塞既有调用。
模型别名
给模型起业务名字,而不是绑定供应商。业务代码引用别名, 换模型时只改网关配置。
| 别名 | 行为 |
|---|---|
smart | 按任务自动选模型:简单任务走低成本,强推理任务走旗舰 |
fast | 强制低延迟路径,优先选择响应快的模型 |
private | 强制走自托管端点,数据不出内网 |
strict | 只允许白名单内的模型,其余一律拒绝 |