Vllm运行的embedding模型无法导入到dify中

今天发现想在dify中导入vllm运行的embedding模型,但是在dify的插件中只能导入chat和补全模型,没办法导入embedding模型,因为要使用外接知识库没有embedding模型在dify中就没办法用啊

目前,Dify 官方插件和界面主要支持导入 vLLM 的 chat(对话)和补全文本生成模型,尚未直接支持 embedding(嵌入)模型的接入,因此无法在 Dify 内直接配置 vLLM 的 embedding 服务用于外接知识库检索。这一限制已被多位用户反馈,且社区插件也存在兼容性和稳定性问题。根据 vLLM 官方文档相关 issue,vLLM 的 embedding API 与 OpenAI 兼容,理论上 Dify 只要支持 OpenAI embedding API 即可对接,但目前 Dify 插件未开放 embedding 类型模型的配置入口。

如果你需要在 Dify 中使用 vLLM 的 embedding 模型,建议关注 Dify 官方后续的插件更新,或尝试通过自定义开发方式将 vLLM embedding 服务以 OpenAI 兼容 API 形式接入 Dify,具体可参考 vLLM embedding API 文档。需要详细的对接方法或代码示例吗?

Sources: