Vllm是否支持加载deepseek_ocr模型的lora适配器进行推理

General
1

使用ms-swift对deepseek_ocr模型进行lora微调得到lora适配器（正常的，lora未合并），但接下来使用vllm最新版本v0.13.0来加载这个适配器推理时报错了

self.model = self.load_lora_model(
(EngineCore_DP0 pid=10754) ERROR 12-28 14:53:45 [core.py:866] ^^^^^^^^^^^^^^^^^^^^^
(EngineCore_DP0 pid=10754) ERROR 12-28 14:53:45 [core.py:866] File “/home/xiaole/miniconda3/envs/deepocr/lib/python3.12/site-packages/vllm/v1/worker/lora_model_runner_mixin.py”, line 34, in load_lora_model
(EngineCore_DP0 pid=10754) ERROR 12-28 14:53:45 [core.py:866] raise ValueError(f"{model.class.name} does not support LoRA yet.")
(EngineCore_DP0 pid=10754) ERROR 12-28 14:53:45 [core.py:866] ValueError: DeepseekOCRForCausalLM does not support LoRA yet.

2

vLLM v0.13.0 暂不支持 DeepseekOCRForCausalLM 的 LoRA 微调适配器加载，直接报错 “DeepseekOCRForCausalLM does not support LoRA yet.”，即该模型尚未实现 LoRA 推理支持功能。据 DeepseekOCR 文档 和 vLLM LoRA 相关源码，当前仅部分模型支持 LoRA，DeepseekOCR 不在其列。

如需 LoRA 支持，需等待官方后续实现或自行开发相关适配代码。目前无法通过 vLLM 直接加载 DeepseekOCR 的 LoRA 适配器进行推理。如需详细分析或替代方案，请告知。
Sources:

Hint: Mention @RunLLM in the post for followups.

3

这个模型确实不支持LoRA，我们会尽快支持