How can we use latest vllm if we are using older drivers which only support cuda 12

General
1

I don’t have the permission to update cuda driver.

any method to walk around ? I need to use the latest vllm.

2

If you cannot update your CUDA driver, you may be able to use vLLM’s CUDA compatibility libraries (cuda-compat) as a workaround, but this only works on select professional/datacenter NVIDIA GPUs. For Docker, set the environment variable VLLM_ENABLE_CUDA_COMPATIBILITY=1 when running the container. For non-Docker environments, install the appropriate cuda-compat package (e.g., cuda-compat-12-9), set VLLM_ENABLE_CUDA_COMPATIBILITY=1, and set VLLM_CUDA_COMPATIBILITY_PATH to the compat library path. This does not work for all GPUs and may not be supported on consumer cards. If your GPU/driver is too old (e.g., CUDA < 11.8), there is no supported workaround—vLLM requires a recent CUDA toolkit and driver for both prebuilt wheels and source builds. See official troubleshooting and installation docs.

Would you like more detail or step-by-step instructions for your specific environment?

Sources:

Hint: Mention @RunLLM in the post for followups.

3

@RunLLM 我的物理机driver 是 535.129.03， 我目前可以使用cuda 12.x 相关的 torch 和 vllm。

但是最新的 vllm 依赖 cuda 13. 我想知道能否在不升级 cuda driver 的前提下，使用最新 vllm。

4

你的物理机驱动 535.129.03 不支持 CUDA 13（CUDA 13 需要更高版本驱动）。vLLM 最新版的预编译 wheel 主要针对 CUDA 12.9/13.0，官方并未提供低于 CUDA 12.9 的新版本 wheel。如果你无法升级驱动，则无法直接运行依赖 CUDA 13 的最新 vLLM 版本，也无法通过官方 wheel 安装。官方文档 和 相关 issue 已明确说明此限制。

你可以尝试以下方法：1）使用 cuda-compat 兼容包，但这只适用于部分专业/数据中心显卡，且未必能解决 CUDA 13 的需求；2）退回使用支持 CUDA 12.x 的 vLLM 旧版本；3）如有源码编译能力，可尝试自行编译 vLLM 源码，指定 CUDA 12.x 环境，但这可能遇到兼容性问题。综上，官方并不支持在 535 驱动下直接运行依赖 CUDA 13 的最新 vLLM。详细说明。

Sources:

Hint: Mention @RunLLM in the post for followups.