Dans MooncakeConnector de vLLM, des requêtes prefill rejetées laissent des espaces réservés de transfert sans propriétaire, provoquant une saturation progressive des pools de tâches et une forte dégradation des requêtes légitimes.
Analyse technique
Les requêtes prefill rejetées créent des placeholders de transfert non rattachés à un propriétaire et jamais libérés. Un flux de telles requêtes peut épuiser les sender task pools ; les contrôles de santé continuent de répondre positivement tandis que des requêtes valides peuvent être retardées jusqu'à 480 secondes.
Impact, versions et correctif
Détection / vérification
Surveiller la saturation des sender task pools, les taux de rejet prefill, les latences de requêtes et les écarts entre health checks positifs et dégradation de service.
Action recommandée
Identifier les instances utilisant MooncakeConnector, appliquer un contrôle de débit sur les requêtes d'inférence et suivre le correctif amont référencé.
Sources
Priorisation DFS : P4 · confiance de recoupement standard · 1 source(s).