curl包含子请求时KVCache传输问题


这里如果发送的curl请求内部存在多个子请求,是否只有第一个子请求的kv_transfer_param能返回,可能导致其他子请求的kvcache无法传输

是的,目前如果一次HTTP请求包含多个子请求,返回的kv_transfer_params只包含第一个子请求的内容,其他子请求的KV传输信息无法获取,可能导致这些子请求的kvcache无法传递。据相关issue描述,这一行为已被确认,且有相关PR在跟进。

你需要为每个子请求单独处理KV传输参数,或者等待官方修复以支持多子请求的完整KV信息返回。需要更详细的技术细节吗?

Sources: