GGML量化

GGML量化是一种模型压缩技术，通过降低参数精度减少内存占用和加速推理，适用于在CPU上高效运行大型语言模型，如Local AI Playground。