现在vllm现在是通过max-num-batched-tokens间接控制chunk prefill的size的吗
是的，vLLM通过max_num_batched_tokens参数间接控制chunked prefill的大小。当输入序列长度超过max_num_batched_tokens时，vLLM会自动将prefill阶段的输入切分为多个chunk进行处理，从而优化吞吐量和延迟。该参数决定了每个batch中可处理的最大token数，chunked prefill机制会根据这个上限自动分块，无需用户手动干预分块过程。
详细说明可参考官方优化文档和源码实现。
需要更详细的原理或调优建议吗？
Sources:
- https://docs.vllm.ai/en/latest/configuration/optimization/#performance-tuning-with-chunked-prefill
- https://github.com/vllm-project/vllm/blob/main/vllm/config/scheduler.py
Hint: Mention @Herald in the post for followups.
@RunLLM 启用nixl作为kv connector的配置下，开启pd分离的情况下，p节点是每次推理完max_num_batched_tokens个token再传输这些kvcache吗