vllm v1 在哪个地方判读结束符或者停止输出的？
vLLM V1中，判断请求是否结束（即遇到结束符或停止输出）主要通过RequestStatus类和相关方法实现，如is_finished()和get_finished_reason()。这些方法会根据生成过程中的状态（如FINISHED_STOPPED、FINISHED_LENGTH_CAPPED等）判断请求是否应终止输出，具体可参考API文档中的RequestStatus和Request类。
如果需要判断生成是否遇到eos_token_id（结束符），可以在Request对象初始化时传入eos_token_id参数，vLLM会在生成过程中自动检测并据此停止输出。详细机制可见官方API文档。
需要更详细的原理或源码分析吗？
Sources: