浏览:16浏览:16

Auriko 是一个统一的大语言模型(LLM)推理平台,可在多个模型提供方之间分流请求,以降低成本、提升延迟表现并增强可靠性。它采用支持缓存感知的量化路由逻辑,基于 token 价格、缓存行为、性能和工作负载模式来选择最优推理路径,同时提供兼容 OpenAI 的 API。

浏览:16

相关导航

没有相关内容!