vLLM

vLLM是高效的大语言模型推理引擎，用于GenPen AI等工具加速模型部署与运行。