vllm的V1为什么删除了multi step特性

General
1

vllm的V1为什么删除了multi step特性

1 Like
2

vLLM V1 移除了 multi step（多步推理）特性，是因为该特性与 V1 的新架构和调度方式不兼容。V1 主要重构了底层引擎，优化了推理流程和资源管理，暂未集成 multi step 相关的 Worker、OutputProcessor 等模块，因此无法支持多步推理功能。官方文档和 issue 并未说明未来是否会重新支持该特性，仅建议如需 multi step 功能可暂时使用 V0 版本或等待后续更新。详情可参考 相关 issue 讨论。

需要更详细的技术原理或迁移建议吗？

Sources:

3
4

vLLM V1 移除了 multi step（即 --num-scheduler-steps > 1）特性，导致在某些场景下端到端性能（如吞吐量）比 V0 低 5%-10%。V0 通过多步调度减少了调度开销，提升了吞吐，但 V1 由于架构重构，暂未支持该特性，因此性能略有下降。详细讨论见 官方论坛。

需要进一步了解 V1 的调度机制或优化建议吗？

Sources: