安装vllm遇到问题,torch相关自动下载xpu版本

我的cuda版本是12.4,有两个A100,为啥pip install vllm会自动下载xpu版本的torch,由于内网的原因,我没法直接像官方指引那样指定一个外部url,请问该咋办?

vLLM 官方推荐使用 uv pip install vllm --torch-backend=auto 自动选择合适的 PyTorch 版本,但如果你无法访问外部 PyTorch 源(如 --extra-index-url),可以先手动安装与你 CUDA 12.4 匹配的 torch 版本(如 torch==2.5.1+cu124),然后再源码编译 vLLM。这样 vLLM 会使用你已有的 PyTorch,不会自动下载 xpu 版本或其它不兼容的包。官方文档说明了如何在已有 PyTorch 环境下编译 vLLM

具体步骤:1)手动安装合适的 torch;2)git clone vllm 源码,cd vllm;3)运行 python use_existing_torch.py;4)安装依赖 uv pip install -r requirements/build.txt;5)最后 uv pip install --no-build-isolation -e .。这样可避免 pip 自动拉取不需要的依赖。详细流程见官方文档。需要更详细操作步骤吗?

Sources: