bonsai 2 27b
Bonsai 2 27B 是用于本地 llama.cpp 推理的开放 27B 级三值 GGUF 推理模型，提供紧凑打包和 CUDA、Metal、CPU 支持。
AIDeveloper ToolResearch
产品截图
产品介绍
模型簡介
Prism ML 的开放三值模型，提供 PTQ1_0 与 PQ2_0 两种约 5.95–7.21 GB 的 GGUF 打包，支持 262K 上下文和本地 CUDA、Metal、CPU 推理。需要使用 Prism ML 的 llama.cpp 分支。
The model card also documents local serving, quantization, context, and backend considerations for developers and researchers.
