docker 启用 api 服务，GPU 的占用是之前版本的 2 倍！

[CUsopp]

这是什么原因呢？有规避方法吗？

[dosubot[bot]]

Docker API 服务 GPU 占用翻倍，常见原因有以下几种：

1. 多实例部署导致模型重复加载
如果你运行了多个 mineru-api 实例（比如在不同端口或不同 GPU 上各起一个），每个实例会独立加载一份模型到 GPU 显存，加上 vLLM 的显存预分配机制，导致总占用翻倍 [1]。建议改用单个 mineru-vllm-server + --data-parallel-size 来做多 GPU 调度：

CUDA_VISIBLE_DEVICES=0,1 mineru-vllm-server --host 0.0.0.0 --port 30000 \
  --data-parallel-size 2 --gpu-memory-utilization 0.4

2. vLLM 显存预分配比例过高
Docker Compose 默认的 --gpu-memory-utilization 为 0.5，可以尝试降低到 0.4 或更低 [2]：

command:
  --gpu-memory-utilization 0.4

3. 版本升级带来的显存增长
MinerU 2.5.x 及以上版本在 VLM 后端使用了两阶段推理，本身就比旧版需要更多显存 [3]。

规避方法汇总：

• 设置 MINERU_VIRTUAL_VRAM_SIZE 环境变量限制显存使用（如 "8" 表示 8GB）[3]
• 降低并发数：设置 MINERU_API_MAX_CONCURRENT_REQUESTS 为更低的值
• 使用两进程架构（mineru-vllm-server + vlm-http-client 模式），推理进程可以独立重启释放显存 [4]
• 确认没有在同一台机器上运行多个 vLLM 服务实例 [5]

你可以先检查下是否有多个服务实例在跑，以及当前的 --gpu-memory-utilization 配置值，这通常是显存翻倍最直接的原因。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}
   

[CUsopp]

1、不是的，多GPU不符合我们当前的应用场景。单GPU场景下起多个api服务出现的这种情况；2、之前的api服务2.6.8和现在的api服务3.0.9配置是一样的，没有任何区别，但是默认显存占比存在一倍的差距；3、之前的版本是2.6.8，现在是3.0.9，都是在2.5之后。

[dosubot[bot]]

感谢补充信息。从 2.6.x 升级到 3.0.9 后显存翻倍，根据代码分析主要有两个原因：

1. 推理引擎从 sglang 换成了 vLLM
这是最关键的变化。3.0.x 的 Docker 基础镜像从 lmsysorg/sglang 切换到了 vllm/vllm-openai:v0.11.2 [1] [2]。vLLM 的显存预分配策略与 sglang 不同，通常会更激进地占用显存。

2. 默认 gpu-memory-utilization 可能变高了
3.0.9 引入了版本感知的动态配置：当 vLLM >= 0.11.0 且 GPU 显存 ≤ 8GB 时，默认值会从 0.5 提高到 0.7 [3]。如果你的 GPU 显存 ≤ 8GB，这会直接导致占用增加 40%。

3. Docker Compose 新增了 router 服务
3.0.9 的 docker-compose.yaml 增加了 mineru-router 服务 [4]。如果这个服务也在同一 GPU 上运行，会额外占用显存。

建议的规避方法：

• 在启动命令中显式设置 --gpu-memory-utilization 0.4（或更低），不依赖默认值 [5]
• 检查 docker compose ps 确认是否有多余的服务在跑（如 router、gradio），不需要的可以注释掉
• 设置 MINERU_VIRTUAL_VRAM_SIZE 环境变量来硬性限制显存使用量 [6]

不过由于底层引擎从 sglang 换成了 vLLM，即使调低参数，3.0.9 的基础显存占用可能仍然会比 2.6.x 略高一些，这是引擎差异决定的。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}
   

[myhloli]

什么场景需要单个gpu启多个api server呢？每个api server都需要独占一部分显存是预期内的情况。

[CUsopp]

这是我们现在的场景，麻烦您帮忙分析一下：
我们在软件运行过程中，会生成多份图片，每一份图片我们都会新起一个线程，同时调用中转接口，这个中转接口通过负载均衡，将任务分发给 3 个 mineru api 服务，然后 3 个接口执行任务将结果返回。

就是单个 GPU 启动了多个 api server；

现在的问题是，通过 3.0.9 起的 api server 的显存比 2.6.8 起的高一倍。

[myhloli]

不论何种原因，每个api server的显存都是独立占用的，如果你在单卡上启动了多个server，就要接受显存占用翻倍的情况。

[CUsopp]

那有没有相应的显存优化方法呢？
或者说更换部署的架构，替换掉我们当前的多 api server 方法？

[myhloli]

推荐的部署方式就是用router启动，会自动根据显卡数量启动对应的server并将sever分配在每一张卡上。

[CUsopp]

好的，清楚了。这个其实 3.0 出来的时候就思考过了，跟手动分配显卡原理相同。
还是非常感谢解答！

[CUsopp]

一个很神奇的现象，初始化的时候，3.0显存占比是2.6的2倍，但运行一段时间后，降低了，从24%降到了7%！！！没有做任何多余的操作！！！

[CUsopp]

@myhloli