Une configuration de déport KV P2P dans vLLM permet l'épuisement du quota de contexte ZeroMQ, pouvant arrêter EngineCore et l'ensemble de l'inférence portée par cette instance.
Analyse technique
Avec OffloadingConnector, TieringOffloadingSpec et un niveau secondaire pair-à-pair, kv_transfer_params accepte des hôtes et ports distants arbitraires. Des sessions vers des pairs injoignables conservent des sockets ZeroMQ jusqu'à épuisement du quota, puis une ZMQError non gérée arrête EngineCore.
Impact, versions et correctif
Détection / vérification
Surveiller l'augmentation de sessions vers des pairs injoignables, l'utilisation des sockets ZeroMQ et les erreurs ZMQError suivies d'un arrêt d'EngineCore.
Action recommandée
Recenser les déploiements vLLM utilisant la déport KV P2P, restreindre les paramètres de transfert à une liste de pairs approuvés et suivre le correctif amont référencé.
Sources
Priorisation DFS : P3 · confiance de recoupement standard · 1 source(s).