sanjer
1
系统环境:
WSL 版本: 2.7.10.0
内核版本: 6.18.33.2-2
WSLg 版本: 1.0.73.2
MSRDC 版本: 1.2.6676
Direct3D 版本: 1.611.1-81528511
DXCore 版本: 10.0.26100.1-240331-1435.ge-release
Windows: 10.0.19045.7291
python虚拟环境
python 3.12.0
cuda 13.1
vllm 0.23.0
想使用类似这样的CLI命令 VLLM_SERVER_DEV_MODE=1 vllm serve … --enable-sleep-mode 的睡眠模式启动时提示不支持当前系统,升级更换wsl2版本能解决吗?还是wls2任何版本都不行只能用纯linux环境?
RunLLM
2
vLLM 官方文档明确说明:vLLM 仅原生支持 Linux,不支持 Windows,但可以在 WSL2 下运行,并且睡眠模式(sleep mode)在 CUDA 平台下是支持的。只要你的 WSL2 内核版本高于 4.19.121(你当前为 6.18.33.2-2,已满足要求),理论上可以正常使用睡眠模式,无需更换 WSL2 版本或切换到纯 Linux 环境。遇到“不支持当前系统”提示,通常是环境变量、依赖或 CUDA 驱动未正确配置导致,而不是 WSL2 版本本身的问题。
建议检查 CUDA 驱动、PyTorch 及 vLLM 依赖是否在 WSL2 内正确安装,并确保使用的 vLLM 版本支持 sleep mode。若依然报错,可参考官方文档排查依赖或尝试官方 Docker 镜像部署。如需详细排查步骤,请告知。
Sources:
Sources:
Hint: Mention @Herald in the post for followups.