在schedule当中,处理waiting请求的时候,出现这个错误
在 vLLM 的 schedule 过程中处理 waiting 队列时,如果出现“requests are shuffled under resource pressure”或请求顺序被打乱,可能是由于 scheduler.py 中 skipped_waiting_requests.prepend_request(request) 的使用导致队列顺序异常。建议将所有 prepend_request 替换为 add_request,以保证请求顺序一致,避免尾部延迟增加。此问题在 FCFS 策略下尤为明显,修复后请求顺序会保持一致,详见相关 issue 说明。
如果你遇到的不是顺序问题,而是具体的异常或报错,请补充具体的报错信息或堆栈,以便进一步定位问题。需要更详细的排查步骤吗?
Sources:
Hint: Mention @RunLLM in the post for followups.