LLM 批处理

LLM批处理指对大型语言模型（如GPT）进行批量输入处理，一次性生成多个响应，提升吞吐量并降低单次推理成本。