Auriko 是一个统一的大语言模型(LLM)推理平台,可在多个模型提供方之间分流请求,以降低成本、提升延迟表现并增强可靠性。它采用支持缓存感知的量化路由逻辑,基于 token 价格、缓存行为、性能和工作负载模式来选择最优推理路径,同时提供兼容 OpenAI 的 API。
相关导航
没有相关内容!
用于降低推理成本的统一 LLM 路由平台
Auriko 是一个统一的大语言模型(LLM)推理平台,可在多个模型提供方之间分流请求,以降低成本、提升延迟表现并增强可靠性。它采用支持缓存感知的量化路由逻辑,基于 token 价格、缓存行为、性能和工作负载模式来选择最优推理路径,同时提供兼容 OpenAI 的 API。
本文由Toolifies编辑团队实测整理,最后更新时间:2026年7月27日,如果信息有误欢迎联系我们更正。
我可以帮您: