Vllm日志中显示大模型的生成结果

是否有指定的参数设置可以使vllm日志中显示每个请求的大模型生成结果日志

vLLM默认日志不会记录每个请求的模型生成结果。要实现此功能,需手动修改源码,在vllm/entrypoints/openai/serving_chat.py的chat_completion_full_generator和/或chat_completion_stream_generator中添加日志输出代码。据官方issue说明,目前没有通过参数直接开启此功能的方法。

你可以通过自定义日志配置调整日志格式和级别,但无法直接记录每次生成的内容。需要详细操作步骤吗?

Sources: