企业 AI 网关

下游只认一个地址

网关是所有模型调用的唯一入口。它负责协议转换、凭证管理、路由决策和成本控制, 上游怎么变、换几家、换成本,对下游都是透明的。

OpenAI 兼容接口

标准 /v1/chat/completions 与 /v1/responses 语义。下游代码基本不用改,把 base_url 指到你的网关即可。

统一凭证

下游不持有任何上游密钥,只持有作用域受限的网关令牌。令牌可随时吊销,不影响其他调用方。

智能路由

按模型别名、任务类型或成本上限选择上游。支持主备切换与多级 fallback,单一供应商故障不影响业务。

流式与工具调用

SSE 流式输出、函数调用、结构化输出均透传,语义与直连上游一致。

成本前置控制

在请求发出前按预估 token 校验预算,超限直接拒绝,避免账单意外。

高可用

网关多实例部署,控制面与数据面分离,任一组件故障不阻塞既有调用。

模型别名

给模型起业务名字,而不是绑定供应商。业务代码引用别名, 换模型时只改网关配置。

别名行为
smart按任务自动选模型:简单任务走低成本,强推理任务走旗舰
fast强制低延迟路径,优先选择响应快的模型
private强制走自托管端点,数据不出内网
strict只允许白名单内的模型,其余一律拒绝

看一次真实接入

从零到跑通,通常在一次会议里就能完成。