2080ti 11g本地部署qwen 3.6 35b a3b,128k 上下文,67tps
问题描述:我是windows上llama.cpp部署的,先看效果图。image1099×1203 68.6 KB这里面,我用的模型是 unsloth 量化的 Qwen3.6-35B-A3B-UD-IQ1_M 模型。得益于其超强的量化,整个
共收录1篇相关文章
问题描述:我是windows上llama.cpp部署的,先看效果图。image1099×1203 68.6 KB这里面,我用的模型是 unsloth 量化的 Qwen3.6-35B-A3B-UD-IQ1_M 模型。得益于其超强的量化,整个