Flash-0731 在 vLLM 0.27.1 + SM120 上 dspark 不可启动

vLLM 0.27.1 源码 bug——主模型和 DSpark 草稿模型共用同一个 marlin 专家类,但主模型的 named_parameters() 里有 w13_weight_scale,草稿模型的却没有(参数注册不一致)。默认 DeepGEMM 下不暴露,切到 marlin 才触发。参数层面无解。——MXFP4 专家四个后端全灭:

  • DeepGEMM:布局断言崩
  • Triton:源码排除 SM120
  • flashinfer_cutlass:量化方案闸门不过
  • marlin:唯一可用,但撞 dspark 草稿参数映射 bug

这是 vLLM 0.27.1 对 SM120 的 MXFP4 支持残缺,与投机配置无关。

我的理解是,vLLM 0.27.1 在 SM120 上对 MXFP4 支持确实存在缺陷,主要体现在 marlin 专家类参数注册不一致导致 DSpark 草稿模型和主模型参数映射失败,且 DeepGEMM、Triton、flashinfer_cutlass 三个后端均不可用,仅 marlin 可用但会触发参数 bug。这属于 vLLM 源码层面的已知问题,与投机解码配置无关,参数层面无法绕过,只能等待官方修复或回退版本。据相关 issue 讨论,社区已确认此问题并在跟进修复进展,但目前无直接解决办法【参见相关讨论和源码分析】。

需要更详细的源码分析或社区修复进展说明吗?

Sources:

Hint: Mention @Herald in the post for followups.