Error trying to handle streaming tool call

Qwen2.5-72B 官方推荐使用 --tool-call-parser hermes,不建议用 --tool-call-parser openai。openai 解析器主要用于 OpenAI 官方模型或严格遵循 OpenAI function calling 格式的模型,Qwen2.5-72B 的工具调用格式与 OpenAI 标准有差异,直接用 openai 解析器可能导致无法正确解析工具调用,甚至出现 streaming tool call 相关报错或其它解析异常详见官方文档

如需稳定工具调用体验,建议坚持使用 hermes 解析器。如果强行用 openai 解析器,遇到解析失败、字段缺失或报错是大概率事件,且官方未提供兼容性保障。

需要进一步了解两者差异或具体报错示例吗?

Sources: