Nexa SDK

Nexa SDK 是一个设备端推断框架，可以在任何设备上、支持任何后端运行任何模型。它可以在CPU、GPU、NPU上运行，并支持CUDA、Metal、Vulkan和Qualcomm NPU作为后端。它处理多种输入模式，包括文本📝、图像🖼️和音频🎧。该SDK包括一个与OpenAI兼容的API服务器，支持基于JSON模式的函数调用和流式传输。它支持诸如GGUF、MLX和Nexa AI自有.nexa格式等模型格式，实现跨多种平台的高效量化推断。