最新 Gemma 4模型 + llama.cpp 教程 实现本地部署大模型

先说结论：Gemma 4 是谷歌开源模型的一次重大升级，31B 参数就能干翻 Llama 3 70B，本地部署门槛大幅降低，配合 OpenClaw 可实现免费私有 AI 助手。

博主使用的是绿联DXP 4800Plus +16G内存，用的gemma-4-E4B-it-Q5_K_M.gguf

用户请自行判断模型是否可用。
各个版本模型的区别请自行AI确认。



我用夸克网盘分享了「Gemma」，点击链接即可保存，提取码：DCyR



llama.cpp的Docker-Compose配置文件，教程使用的是

1. services:
   
2.   llama-cpp-server:
   
3.         image: ghcr.io/ggml-org/llama.cpp:server
   
4.         container_name: gemma
   
5.         volumes:
   
6.            - ./models:/models:ro
   
7.         environment:
   
8.            - MODEL=/models/gemma-4-E4B-it-Q5_K_M.gguf
   
9.         command: >
   
10.             --port 8081
    
11.             --host 0.0.0.0
    
12.             --threads 6
    
13.            --n-gpu-layers 0
    
14.            -c 4096
    
15.            --temp 0.7
    
16.            --repeat-penalty 1.1
    
17.         restart: unless-stopped
    
18.         deploy:
    
19.             resources:
    
20.                limits:
    
21.                   memory: 12G  # 严格限制内存

复制代码

速度怎么样？

可以调用GPU吗？

cnmike 发表于 2026-4-7 12:28
可以调用GPU吗？

可以调用，看你设备

bTAG9j 发表于 2026-4-7 07:44
速度怎么样？

4800Plus 只能说可以用

茂茂阿丶 发表于 2026-4-7 20:45
4800Plus 只能说可以用

我已经放弃用nas部署大模型了，玩玩还行……