VLLM在H800运行模型推理输出的思考模式字段为什么是reasoning不是reason_content,并且reasoning中中英文混合,这个问题怎么处理,我的VLLM版本是v18.0
vLLM 0.18.0及更高版本中,推理输出的思考模式字段已由reasoning_content更名为reasoning,这是官方的破坏性更新,需直接用reasoning字段替换reasoning_content字段进行解析,无法通过配置恢复旧字段名。关于reasoning字段中出现中英文混合内容,这属于模型本身生成的内容,与vLLM无关,建议优化prompt或调整模型参数以改善输出语言风格。据官方文档和社区讨论,reasoning字段为标准字段,reasoning_content已废弃。
如需进一步处理reasoning字段的内容格式,可在应用层做后处理(如正则提取、语言检测等),vLLM本身不提供内容语言过滤功能。如需详细操作方法,请告知。
Sources:
- https://docs.vllm.ai/en/latest/features/reasoning_outputs/
- https://github.com/vllm-project/vllm/issues/38642
Hint: Mention @RunLLM in the post for followups.