推理服务器

推理服务器是专门部署和运行AI模型的服务器，提供API接口供应用调用，支持高并发请求和模型管理，如Local AI Playground的推理服务。