是的,目前如果一次HTTP请求包含多个子请求,返回的kv_transfer_params
只包含第一个子请求的内容,其他子请求的KV传输信息无法获取,可能导致这些子请求的kvcache无法传递。据相关issue描述,这一行为已被确认,且有相关PR在跟进。
你需要为每个子请求单独处理KV传输参数,或者等待官方修复以支持多子请求的完整KV信息返回。需要更详细的技术细节吗?
Sources:
是的,目前如果一次HTTP请求包含多个子请求,返回的kv_transfer_params
只包含第一个子请求的内容,其他子请求的KV传输信息无法获取,可能导致这些子请求的kvcache无法传递。据相关issue描述,这一行为已被确认,且有相关PR在跟进。
你需要为每个子请求单独处理KV传输参数,或者等待官方修复以支持多子请求的完整KV信息返回。需要更详细的技术细节吗?
Sources: