模型网关兼容性
验证实际协议、流式响应、多轮对话、工具与错误。
确认请求协议与端点
网关必须与当前 Lime 服务类型和实际协议一致。OpenAI 兼容请求、Responses 和 Anthropic Messages 不能只靠改路径互换。健康检查或模型列表成功,也不能证明完整任务可运行。
验证流式与多轮对话
- 逐事件转发流式响应,避免代理缓冲整段回答。
- 保留所选协议的结束、错误与失败事件。
- 测试下一轮上下文、工具调用和匹配的工具结果。
- 启用 WebSocket 或增量传输时,单独核验相应续接语义。
验证工具与模型能力
模型名称、路由与能力元数据共同决定任务行为。网关接受请求字段不证明上游支持它。对所需工具、多模态、上下文、推理与取消做真实测试,不能从一次文本回复推断全部兼容。
保护认证与路由
- 客户端到网关与网关到上游使用各自受限凭据。
- 按当前客户端实际支持的认证配置,不复制其他产品TOML。
- 网关日志核对用户、模型别名与真实上游。
- 测试凭据到期、撤销、未知模型和限流。
保留可诊断的错误
区分客户端认证、模型路由、速率限制和上游故障,不把全部错误转换成无信息的成功或通用错误。向客户端保留定位层级所需信息,同时隐藏秘密、上游凭据和敏感正文。
明确数据与工具边界
提示、代码片段、工具参数和结果可能经过模型网关,需要独立的数据处理与日志政策。MCP、浏览器、应用和本地命令可能走其他路径;模型网关不能代替它们的认证或网络控制。
保存兼容性验证记录
| 项目 | 证据 |
|---|---|
| 协议与流式 | 真实请求字段、事件结束与脱敏错误。 |
| 多轮与工具 | 完整调用、匹配结果和最终回复。 |
| 模型与身份 | 目录能力、网关路由和受限凭据。 |
| 运行边界 | 取消、失败、恢复和其他工具路径。 |
为每种客户端、版本、网关和模型组合记录结果。升级或路由变更后复验,再扩大分发。