SGLang

SGLang是一种用于大语言模型的高效推理框架，通过结构化生成语言优化模型输出速度和准确性。