模型推理未调用 NVIDIA GPU 的排查方法
- 来源: 金舟软件
- 作者:luoqiuyi
- 时间:2026-09-20 18:00:03
AI摘要
电脑运行DS本地部署工具-R1满血版时,若系统环境变量CUDA_VISIBLE_DEVICES被设为-1,模型会强制屏蔽显卡、只能使用CPU,导致生成变慢、CPU占用升高。本文教你快速判断并删除该变量,重启程序后即可恢复GPU加速,显著提升生成速度。
摘要由平台通过智能技术生成先看结论
电脑的系统环境变量中设置了CUDA_VISIBLE_DEVICES=-1,程序因此看不到显卡,生成回答时只能使用CPU。删除该环境变量并重启程序后,即可重新使用GPU。
本教程只适用于DS本地部署工具-R1满血版中因CUDA_VISIBLE_DEVICES=-1导致模型不使用GPU的情况。如果设备上没有该变量,请继续排查驱动、推理框架和产品配置。
问题原因
CUDA_VISIBLE_DEVICES用于控制程序可以使用哪些显卡。当它的值设置为-1时,相当于强制屏蔽所有CUDA显卡。模型虽然还能生成回答,但会改用CPU,因此速度变慢、CPU占用升高,而GPU基本没有负载。
如何判断
生成回答时CPU占用明显升高,但GPU利用率基本不变。
在Windows环境变量中发现CUDA_VISIBLE_DEVICES的值为-1。
关闭该变量并重启程序后,生成回答时GPU利用率或显存占用开始变化。
操作方法
1. 在Windows搜索中输入“环境变量”,打开“编辑系统环境变量”。

2. 点击“环境变量”。

3. 分别检查上方的用户变量和下方的系统变量。
4. 找到CUDA_VISIBLE_DEVICES。如果它的值是-1,选中该变量并点击“删除”。

5. 点击“确定”保存,然后完全退出并重新启动模型程序。若程序以Windows服务方式运行,需要重启对应服务。

6. 重新生成一次回答,观察GPU利用率或显存占用是否发生变化。
注意事项
环境变量修改后不会影响已经运行的程序,必须重新启动程序。删除前建议记录原来的变量值。
文章小结
以上就是CUDA_VISIBLE_DEVICES=-1导致模型不使用GPU的排查方法。确认该变量存在且值为-1后,删除变量并重启DS本地部署工具-R1满血版,再重新生成一次回答,观察GPU利用率或显存占用是否恢复变化即可。
温馨提示:本文由金舟软件网站编辑出品转载请注明出处,违者必究(部分内容来源于网络,经作者整理后发布,如有侵权,请立刻联系我们处理)
已复制链接~