TensorRT-LLM

TensorRT-LLM是NVIDIA推出的推理优化库，通过模型编译和量化加速大语言模型在GPU上的部署性能。