如何得到vllm_config呢,我加载的是BGE-M3模型
你可以通过 llm.llm_engine.get_vllm_config() 方法获取 vllm_config。例如:
vllm_config = llm.llm_engine.get_vllm_config()
该方法会返回当前模型(如 BGE-M3)对应的 vllm 配置对象。参考
需要更详细的用法说明吗?
Sources:
如何得到vllm_config呢,我加载的是BGE-M3模型
你可以通过 llm.llm_engine.get_vllm_config() 方法获取 vllm_config。例如:
vllm_config = llm.llm_engine.get_vllm_config()
该方法会返回当前模型(如 BGE-M3)对应的 vllm 配置对象。参考
需要更详细的用法说明吗?
Sources: