curl包含子请求时KVCache传输问题

[daylight21]

这里如果发送的curl请求内部存在多个子请求，是否只有第一个子请求的kv_transfer_param能返回，可能导致其他子请求的kvcache无法传输

[RunLLM]

是的，目前如果一次HTTP请求包含多个子请求，返回的kv_transfer_params只包含第一个子请求的内容，其他子请求的KV传输信息无法获取，可能导致这些子请求的kvcache无法传递。据相关issue描述，这一行为已被确认，且有相关PR在跟进。

你需要为每个子请求单独处理KV传输参数，或者等待官方修复以支持多子请求的完整KV信息返回。需要更详细的技术细节吗？

Sources:

• https://github.com/vllm-project/vllm/issues/19902