Does the vLLM embedding model support inputting input_ids

如何得到vllm_config呢,我加载的是BGE-M3模型

你可以通过 llm.llm_engine.get_vllm_config() 方法获取 vllm_config。例如:

vllm_config = llm.llm_engine.get_vllm_config()

该方法会返回当前模型(如 BGE-M3)对应的 vllm 配置对象。参考

需要更详细的用法说明吗?

Sources: