跳到正文

模型网关兼容性

验证实际协议、流式响应、多轮对话、工具与错误。

确认请求协议与端点

网关必须与当前 Lime 服务类型和实际协议一致。OpenAI 兼容请求、Responses 和 Anthropic Messages 不能只靠改路径互换。健康检查或模型列表成功,也不能证明完整任务可运行。

验证流式与多轮对话

  • 逐事件转发流式响应,避免代理缓冲整段回答。
  • 保留所选协议的结束、错误与失败事件。
  • 测试下一轮上下文、工具调用和匹配的工具结果。
  • 启用 WebSocket 或增量传输时,单独核验相应续接语义。

验证工具与模型能力

模型名称、路由与能力元数据共同决定任务行为。网关接受请求字段不证明上游支持它。对所需工具、多模态、上下文、推理与取消做真实测试,不能从一次文本回复推断全部兼容。

保护认证与路由

  • 客户端到网关与网关到上游使用各自受限凭据。
  • 按当前客户端实际支持的认证配置,不复制其他产品TOML。
  • 网关日志核对用户、模型别名与真实上游。
  • 测试凭据到期、撤销、未知模型和限流。

保留可诊断的错误

区分客户端认证、模型路由、速率限制和上游故障,不把全部错误转换成无信息的成功或通用错误。向客户端保留定位层级所需信息,同时隐藏秘密、上游凭据和敏感正文。

明确数据与工具边界

提示、代码片段、工具参数和结果可能经过模型网关,需要独立的数据处理与日志政策。MCP、浏览器、应用和本地命令可能走其他路径;模型网关不能代替它们的认证或网络控制。

保存兼容性验证记录

项目证据
协议与流式真实请求字段、事件结束与脱敏错误。
多轮与工具完整调用、匹配结果和最终回复。
模型与身份目录能力、网关路由和受限凭据。
运行边界取消、失败、恢复和其他工具路径。

为每种客户端、版本、网关和模型组合记录结果。升级或路由变更后复验,再扩大分发。