纯折腾：在绿联 DXP4800 PLUS 上部署轻量级多模态模型 MiniCPM-V 4.6

最近刷视频老刷到这个叫 MiniCPM-V 的模型，说是手机都能跑的多模态大模型。我寻思手上正好有台绿联 DXP4800 PLUS，16G 内存闲着也是闲着，不如折腾一下，看看 NAS 能不能也玩上多模态的AI。

先给大家介绍一下这个模型：MiniCPM-V 4.6 是面壁智能（OpenBMB）出的多模态模型，最大的卖点就一个字：小。

• 总共才 1.3B 参数（13 亿），但图像理解、OCR、看图表这些活都能干
• 量化后只需要 3GB 内存就能跑起来
• 官方直接提供了 GGUF 格式，llama.cpp、Ollama 都能原生支持
• 还有 Tool Calling（函数调用）能力，虽然咱们这次主要玩对话和看图
  

简单说，这就是目前对边缘设备最友好的多模态模型，没有之一。手机能跑，那 NAS 肯定也能跑。

DXP4800PLUS这台NAS的配置就不多说了，一开始我还琢磨要不要用核显加速，结果后面踩了坑，然后使用CPU推理了。

部署也很简单，下载两个模型：https://modelscope.cn/models/OpenBMB/MiniCPM-V-4.6-gguf/resolve/master/MiniCPM-V-4_6-Q4_K_M.gguf
https://modelscope.cn/models/Ope ... proj-model-f16.gguf使用绿联自带的下载即可：


这两个模型文件的作用不同：
MiniCPM-V-4_6-Q4_K_M.gguf 语言模型本体
mmproj-model-f16.gguf 视觉投影模型，看图必需

大家可以自己的喜好下载放在指定的位置，然后在Docker中创建项目：

1. services:
   
2.   llama:
   
3.     image: ghcr.io/ggml-org/llama.cpp:server
   
4.     container_name: llama
   
5.     restart: unless-stopped
   
6.     ports:
   
7.       - "18081:8080"
   
8.     volumes:
   
9.       - /volume2/容器服务/llama/models:/models:ro
   
10.     environment:
    
11.       - DEVICE=GPU
    
12.     command: >
    
13.       -m /models/minicpm/MiniCPM-V-4_6-Q4_K_M.gguf
    
14.       --mmproj /models/minicpm/mmproj-model-f16.gguf
    
15.       --alias MiniCPM-V-4_6
    
16.       --host 0.0.0.0
    
17.       --port 8080
    
18.       -c 4096
    
19.       --temp 0.7
    
20.     deploy:
    
21.       resources:
    
22.         limits:
    
23.           memory: 8G

复制代码

如果遇到格式问题让AI给你处理一下吧！

部署完成后，访问NAS IP 加上18081端口，如果你修改了compose中映射，则自行调整访问路径，我跟它进行了简单的对话还是不错的：


识别图片大概需要一到两分钟左右，对话的话因为是纯CPU推理，所以速度能有21t/s左右，很不错了！CPU使用率也不高：



我给它接入了Picoclaw，也就是可以跑在边缘服务上的[小聋瞎]服务，它支持openai格式的端点，所以可以直接接入：


这里我出现了个错误：

这个表示我们的对话上下文空间大小是：4096，空间不足。
所以我给compose中的-c参数的值给到了：8192。
重新部署了容器。老实说，接入到智能体回答响应的速度很慢很慢。
好了，以上就是全部的折腾内容，如果只是单纯的通过web界面聊天，或是接入到代码中例如Langchin  AI框架等去使用，还是有用处的。
但是像是接入到hermes或者是openclaw这种智能体，上下文很容易直接被打满，毫无体验。正应了标题：纯折腾！

排版辛苦了😂

绿联NAS私有云 发表于 2026-7-9 13:50
排版辛苦了😂

不辛苦 命苦

20左右对话够了，智能体要翻倍才行。

我的8G怎么办

看不到实际用途啊，属于瞎折腾系列么