对于vllm-ascend能力的咨询

General
1

1、我看第一次都是在线下载模型，这个可否自己指定path？
2、我只看到能够部署推理，是否有训练的能力？

感谢！

2

1、vLLM支持直接指定本地模型路径，只需将model参数设置为本地文件夹路径即可，无需每次在线下载。例如：llm = LLM(model="/your/local/model/path")。参考 参考

2、vLLM目前仅支持推理（inference），不支持模型训练功能。参考

需要更详细的说明吗？

Sources:

3

感谢您的回复！
如果我用 MindSpeed-LLM进行训练，训练后的模型，是否需要将mcore权重转换为huggingface开源权重,然后通过vLLM部署推理？

4

是的，vLLM只支持加载HuggingFace格式的模型权重。如果你用MindSpeed-LLM训练，需先将mcore权重转换为HuggingFace格式，然后才能用vLLM进行推理部署。参考 参考

需要转换脚本或详细操作说明吗？

Sources: