Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型

Hugging Face 为 transformers 加入 GGUF 模型支持，用户可从 Hub 选取 GGUF 检查点，通过 from_pretrained 传入 gguf_file 即可在本地生成。