AI 30 阅读 离线部署量化后模型的记录 这里记录一下离线部署量化后的大模型的记录。负载均衡和生产级部署放在其他文章里。 目前有一台有显卡的主机，打算部署稍大参数的模型；有一台日常用的macbookpro，打算部署一个中量的量化后的gguf格式的模型；另外还有一些小设备，打算只有玩玩更小的模型比如qwen3.5-0.8b的，离线部署边...... AI 大模型