Communication efficace et portable par mélange d'experts
Un aperçu de la communication portable par Mélange d'Experts (MoE), axé sur l'optimisation du parallélisme GPU et la réduction de la latence dans les modèles d'IA à grande échelle.
Nous présentons une bibliothèque open-source portable et haute performance pour la communication par Mélange d'Experts (MoE), qui atteint des performances 10 fois plus rapides que les primitives de communication All-to-All standard.
Notre implémentation présente plusieurs innovations techniques clés qui offrent une efficacité de communication MoE supérieure :
Communication initiée par le GPU (IBGDA) : prend en charge la communication directe de GPU à NIC, réduisant considérablement la latence en évitant l'implication du CPU.
Chevauchement de la communication et du calcul : une architecture de noyau fractionnée avec des étapes d'envoi et de réception distinctes permet au calcul de se dérouler simultanément aux transferts réseau.
Performances monocœud les plus rapides : latence 2,5 fois inférieure à celle de l'implémentation la plus rapide précédemment disponible sur des configurations monocœud.
Performances multi-nœuds efficaces et portables : notre implémentation atteint des vitesses jusqu'à 10 fois supérieures à celles de la communication all-to-all standard. Bien qu'environ 2 fois plus lente que des implémentations hautement spécialisées, notre approche offre une meilleure portabilité entre les versions de NVSHMEM et les environnements réseau (NVLink, CX-7 et EFA).
La bibliothèque est entièrement open-source et disponible sur https://github.com/ppl-ai/pplx-kernels.
Dans cet article, nous explorons les défis du parallélisme des experts dans les modèles MoE à grande échelle et décrivons notre approche pour l'envoi et la combinaison efficaces des jetons dans des environnements GPU distribués.
Introduction
Les modèles de Mélange d'Experts (MoE), tels que DeepSeek R1 et Mixtral 8x7B, améliorent les modèles denses en limitant le nombre de poids activés pour chaque jeton. Au lieu d'atteindre un nombre élevé de paramètres en augmentant le nombre de couches ou la taille des couches linéaires dans le Perceptron Multicouche (MLP) de chaque couche de décodeur, les modèles MoE remplacent le MLP traditionnel par plusieurs experts et un routeur. Par exemple, sur les 671B de paramètres de DeepSeek R1, seuls 37B sont multipliés par un jeton donné lors de l'inférence. Cela réduit considérablement la quantité de calcul nécessaire pour décoder un jeton et améliore la latence par rapport à un modèle dense.
Les modèles MoE présentent des défis supplémentaires pour l'inférence par rapport aux modèles denses. Bien que les experts eux-mêmes soient de petites couches MLP, chaque couche de décodeur inclut un routeur qui décide vers quels experts un jeton est envoyé, chaque jeton étant envoyé vers plusieurs experts. Le routeur est généralement une petite couche linéaire produisant une distribution de probabilité. Habituellement, les experts ayant les scores top-K sont choisis et l'activation finale est calculée comme une moyenne pondérée, additionnant les sorties des experts multipliées par un poids dérivé de la distribution de probabilité du routeur.
Pour minimiser la latence dans les systèmes MoE distribués, le parallélisme peut être exploité sur plusieurs dispositifs, mais cela introduit des défis de communication. Les modèles tels que Mixtral 8x7B ou Llama-70B tiennent dans 8 dispositifs sur un seul nœud, bénéficiant d'interconnexions NVLink rapides et à faible latence (jusqu'à 900 Gbps). Cependant, les modèles plus grands nécessitent le partitionnement des experts sur plusieurs nœuds en utilisant InfiniBand (culminant à 400 Gbps), ce qui introduit des défis de latence supplémentaires.
Dans cet article, nous explorons le problème du parallélisme des experts, en décrivant notre implémentation de noyaux GPU qui envoient efficacement les jetons vers les dispositifs contenant les experts assignés et les collectent en calculant la somme pondérée des sorties des experts. Bien qu'il existe des implémentations optimisées ciblant du matériel réseau spécifique, nous présentons une implémentation hautement portable qui repose sur un ensemble minimal de primitives NVSHMEM tout en offrant des performances 10 fois plus rapides que la communication all-to-all standard. Notre implémentation atteint des performances de pointe sur des configurations monocœud tout en conservant une excellente portabilité sur divers environnements réseau.
Partitionnement et parallélisme
Pour une inférence efficace, les poids d'un modèle doivent être conservés dans la mémoire du dispositif, tout en laissant suffisamment d'espace pour les activations, les caches KV et autres tampons requis par la passe avant à travers le modèle. Les modèles les plus capables dépassent la capacité des GPU les plus puissants, l'inférence doit donc être répartie sur plusieurs dispositifs, qui peuvent stocker collectivement les poids du modèle. Sur la base des schémas de partitionnement des poids, différents schémas de communication et de calcul doivent être utilisés pour décharger le calcul et synchroniser les dispositifs.
Le parallélisme des experts (EP), illustré dans la première figure, ne parallélise que le calcul des experts. Différents experts sont assignés à différents dispositifs, qui conservent leurs poids. Après le routage, les jetons sont envoyés au dispositif correspondant, les résultats étant rassemblés et accumulés par la suite. La complexité du routage dépend du degré de parallélisme dans les autres parties du modèle : la réplication d'autres couches pourrait éliminer complètement le besoin de routage, car chaque rang peut sélectionner les jetons à partir d'une table de routage répliquée localement. Cependant, si un seul rang exécute le routage, une diffusion est nécessaire pour envoyer les jetons, les indices et les poids vers leurs experts respectifs. Enfin, un all-gather ou une diffusion all-to-all synchronise les jetons de sortie avec le rang qui poursuit l'exécution du modèle. Une telle implémentation est relativement simple car torch expose déjà les primitives requises, bien que certains avantages puissent être obtenus en fusionnant l'accumulation avec l'opération gather collectant les jetons auprès des experts.
Le parallélisme limité aux experts ne s'adapte pas idéalement, car les nœuds d'un cluster peuvent être inactifs pendant que le modèle exécute des couches non liées aux experts, telles que l'attention, la norme et l'échantillonnage. Cependant, le calcul de ces couches, principalement l'attention, peut également bénéficier du parallélisme de tenseur (TP). La plupart des modèles reposent sur l'attention multi-têtes, ce qui signifie que les têtes d'attention et leurs projections Q, K et V correspondantes peuvent également être partitionnées sur les dispositifs, répliquant ou rassemblant les tranches entre les différentes couches. Si l'attention est répartie sur tous les dispositifs, un all-gather peut synchroniser les activations, permettant au routage d'être répliqué, nécessitant des primitives de synchronisation similaires au cas du parallélisme des experts pour une implémentation efficace. Cependant, il existe des limites au parallélisme à ce niveau, car réduire le nombre de têtes d'attention en dessous d'un certain seuil entraînera des rendements décroissants.
Pour utiliser au mieux tous les dispositifs et prendre en charge un degré très élevé de parallélisme des experts, jusqu'à 128 ou 256 GPU, le parallélisme des données (DP) est requis. Selon ce schéma, les dispositifs sur lesquels un modèle est réparti sont regroupés pour traiter les demandes simultanément, calculant l'attention et maintenant les caches KV partitionnés sur leur groupe local. Plusieurs instances de ces groupes parallèles collaborent à l'évaluation des experts, chacune hébergeant un sous-ensemble différent des poids des experts. En fonction du nombre de têtes d'attention, un groupe peut généralement couvrir jusqu'à la taille d'un nœud entier, car la communication intra-nœud est plus rapide. Par exemple, dans la figure ci-dessus, un rang DP dessert indépendamment deux demandes, A et B, gérant l'attention, la norme et toute autre comptabilité pour les demandes. L'autre rang DP traite une demande distincte C. Cependant, le premier nœud héberge la moitié des experts, tandis que l'autre nœud héberge l'autre moitié, donc après le routage, les jetons de A et B peuvent être envoyés vers le deuxième nœud et vice-versa. Cela conduit à un problème de communication creuse : chaque dispositif peut envoyer un nombre différent de jetons vers n'importe quel autre rang de destination. Les primitives existantes de torch, principalement all_to_all, ne sont pas particulièrement bien adaptées, car elles peuvent nécessiter une forme de remplissage ou une synchronisation GPU-CPU et une diffusion de métadonnées. Pour implémenter la communication efficacement, des noyaux personnalisés sont nécessaires pour traiter les informations de routage et initier la communication à partir des dispositifs sans intervention du CPU. Après le routage, un noyau d'envoi doit envoyer les jetons vers les rangs vers lesquels ils ont été acheminés, tandis que du côté de la combinaison, les activations appartenant aux demandes dans le groupe DP actuel doivent être collectées. De plus, le travail doit être équilibré au sein d'un groupe DP qui peut avoir plusieurs dispositifs, afin de minimiser la diffusion et de répliquer correctement les jetons sur tous les rangs pour les couches ultérieures.
NVSHMEM
NVSHMEM est une implémentation OpenSHMEM spécifique à NVIDIA, fournissant des installations de communication inter-dispositifs portables qui abstraient la complexité du matériel sous-jacent. L'API peut exprimer des lectures et des écritures de dispositif à dispositif, qui sont mappées aux primitives des couches de transport individuelles. NVLink et RDMA sont pris en charge, accordant un degré de portabilité et permettant aux noyaux NVSHMEM de fonctionner au sein d'un nœud ou à travers un cluster de plusieurs nœuds. Dans nos noyaux, nous utilisons des écritures en mémoire distante et des opérations de signalisation afin de transférer des données et de synchroniser les dispositifs participants.
Les opérations NVSHMEM sont construites autour du concept de mémoire symétrique : elles fonctionnent sur des tampons qui ont été alloués sur tous les dispositifs participant à la communication inter-dispositifs. Un dispositif local peut utiliser une adresse dérivée au sein de son propre tampon local parallèlement à l'indice du rang cible pour spécifier la destination d'une opération. La figure ci-dessous illustre ce concept : les deux GPU allouent des tampons symétriques de la même taille, conservant des pointeurs src vers ceux-ci. Le premier rang souhaite envoyer 3 entiers au second, en les plaçant au début du tampon : nvshmem_int_put_nbi dérive l'adresse de début à partir du tampon local, en spécifiant le dispositif cible. Le second rang dérive un décalage à partir de son propre tampon, envoyant un élément au premier dispositif, avec un décalage d'un. Alors que les adresses de destination doivent toujours être des tampons symétriques alloués en utilisant nvshmem_alloc, les tampons sources peuvent être des régions arbitraires de la mémoire du dispositif, à condition qu'ils soient pré-enregistrés auprès de NVSHMEM.
Bien que NVSHMEM fournisse un large éventail de primitives, nos noyaux ne reposent que sur 3 fonctions, construisant toute la synchronisation et le fencing sur celles-ci.
nvshmemx_putmem_signal_nbi_warp : transfère un bloc de données d'un dispositif à un autre, tout en définissant également un indicateur sur le dispositif distant. L'opération définit (NVSHMEM_SIGNAL_SET) ou incrémente (NVSHMEM_SIGNAL_ADD) un emplacement de 64 bits. L'indicateur est mis à jour après le transfert de l'intégralité du bloc de mémoire. Si le dispositif distant observe un changement dans l'indicateur, il peut accéder en toute sécurité au tampon dans sa propre mémoire. Cette fonction est utile pour fusionner le transfert de données et la synchronisation.
nvshmemx_signal_op fonctionne sur un seul emplacement mémoire, généralement un indicateur de 64 bits, en le définissant ou en l'incrémentant atomiquement. Il est utile pour envoyer des métadonnées et synchroniser les dispositifs.
nvshmem_uint64_wait_until est utilisé à l'extrémité réceptrice d'un signal, pour interroger un indicateur jusqu'à ce que le distant le mette à jour.
Assurer toute forme d'ordre entre les opérations par nvshmem_quiet ou nvshmem_fence est coûteux, ainsi notre implémentation des noyaux évite l'utilisation de toute autre primitive NVSHMEM et minimise toute dépendance autre que les paires d'envoi-réception individuelles. Lors de l'envoi de données, nous utilisons toujours la version non bloquante des fonctions, sans attendre que les données soient réellement envoyées hors du rang local. D'autres synchronisations implicites à travers le groupe de noyaux garantissent que ces tampons ne sont pas écrasés de manière destructive pendant que les NIC ont besoin d'y accéder.
NVSHMEM utilise GPUDirect RDMA afin que le NIC puisse lire et écrire directement la mémoire GPU pour l'échange de données sans impliquer les CPU. De plus, sur les NIC ConnectX, NVSHEMEM prend en charge la communication initiée par GPU (également connue sous le nom d'Infiniband GPUDirect Async ou IBGDA), qui permet au GPU de poster des opérations RDMA directement au NIC et d'interroger directement la file d'attente de complétion du NIC. Sur les plates-formes qui ne prennent pas en charge la communication initiée par GPU, NVSHMEM génère un fil « proxy » sur le CPU hôte pour initier la communication et interroger la complétion pour le compte du GPU. Le programme NVSHMEM est portable, que la communication initiée par GPU soit prise en charge ou non. Cependant, la communication initiée par GPU réduit considérablement la latence car elle contourne complètement le détour par le CPU.
Noyaux portables
Nous implémentons la communication MoE à travers une paire de noyaux d'envoi et de combinaison. Les noyaux d'envoi sont responsables de la lecture des jetons et des informations de routage sur chaque rang, les envoyant aux experts appropriés. Les noyaux de combinaison collectent les activations produites par les experts et les renvoient à leurs rangs sources, tout en calculant la moyenne pondérée des experts sélectionnés en fonction des poids calculés par le routeur. Les noyaux sont en outre divisés en un composant d'envoi et de réception, afin de permettre aux transferts de données d'être chevauchés avec le calcul. Les noyaux d'envoi sont tous non bloquants et non synchronisants : ils envoient simplement toutes les écritures vers les distants. À l'autre extrémité, les noyaux de combinaison ne lisent qu'à partir de la mémoire, attendant que toutes les données requises aient été transférées. Après avoir envoyé le travail aux NIC, tandis que les données sont transférées de manière asynchrone sur le réseau, les GPU peuvent effectuer d'autres travaux utiles localement, tels que l'application d'experts partagés ou le calcul de l'attention.
Chaque paire de noyaux possède ses propres tampons de mémoire symétrique, chaque rang allouant un stockage privé pour recevoir des données de tous les autres rangs. Le nombre maximal de jetons pouvant être envoyés à partir d'un groupe DP est fixe sur les rangs, ce qui définit également la limite supérieure que chaque rang peut recevoir pour chaque expert local à partir de chaque rang DP. Cela permet aux rangs émetteurs de dériver une adresse unique sur le rang de destination vers laquelle écrire, sans nécessiter de synchronisation entre eux. Une fois les données reçues, les noyaux mélangent les jetons pour les disposer en mémoire dans le format optimal requis par les noyaux récepteurs. Bien que les tampons aient une dimension importante, ils sont réutilisés sur toutes les couches séquentielles d'un modèle.
La seule forme de synchronisation globale, telle qu'illustrée dans la figure ci-dessus, est implémentée dans le noyau de combinaison-réception. Une fois les données envoyées à partir de l'envoi, un rang revient et poursuit l'exécution lorsqu'il reçoit tous les jetons dont il a besoin des autres rangs et entre dans les noyaux de combinaison-envoi dès qu'ils sont traités. La barrière dans la combinaison-réception garantit qu'aucun rang ne peut prendre de l'avance et démarrer l'envoi-envoi pendant qu'un autre rang attend encore de recevoir des données, provoquant potentiellement un chevauchement destructif. La synchronisation est effectuée dans le noyau de combinaison par souci de simplicité, en tant qu'optimisation, la même barrière pourrait être implémentée entre la réception-envoi et les noyaux de combinaison-envoi, réduisant davantage la latence en permettant aux NIC plus de temps pour régler les transferts pendant que le GPU exécute d'autres noyaux.
Les deux noyaux sont divisés sur tous les SM disponibles des dispositifs : alors que les noyaux d'envoi-envoi et de combinaison-réception doivent paralléliser sur un nombre maximum de jetons par rang (max_m), les noyaux d'envoi-réception et de combinaison-envoi doivent gérer ce nombre de jetons de chaque rang et expert local, pour un maximum de max_m * (num_experts // EP) * (EP // TP).
Envoi
Le noyau d'envoi est responsable de l'envoi des jetons et des facteurs de mise à l'échelle des blocs vers les pairs qui hébergent les experts vers lesquels les jetons ont été acheminés. Le côté émetteur repose sur la spécialisation warp pour paralléliser deux tâches : agréger les informations de routage pour déterminer combien de jetons sont envoyés à partir de chaque rang et emballer les jetons dans des messages à envoyer au distant. Le côté récepteur attend d'abord que tous les nombres de jetons soient reçus, puis il lit et déballe les charges utiles de la mémoire partagée dans les tenseurs qui seront transmis aux noyaux Grouped GEMM en aval. Il stocke également des informations dans des tampons partagés avec les noyaux de combinaison, pour indiquer où chaque jeton doit être renvoyé. Ces informations sont requises car le noyau de réception mélange les jetons dans des tampons contigus dans un ordre non déterministe.
Dans la partie émettrice, un seul warp de 32 fils sur chaque bloc est responsable de la lecture des informations de routage et du comptage du nombre de jetons que chaque expert de destination est censé recevoir de ce rang, envoyant le compte plus un en utilisant nvshmem_signal_op. Le compte est incrémenté de un, car la transition de zéro à non-zéro sur l'extrémité distante signifie la réception des comptes à partir d'un rang source. En parallèle, les warps restants coopèrent pour copier les jetons dans la mémoire symétrique sur tous les blocs en parallèle, emballant les activations, les facteurs de mise à l'échelle et leur indice sur le rang local dans un bloc contigu. L'indice est requis par l'expéditeur de combinaison pour déterminer l'adresse vers laquelle le jeton sera écrit. Ensuite, après s'être assuré que toutes les données ont été copiées à travers une barrière sur les groupes warp, les warps fonctionnent à nouveau indépendamment, chacun envoyant le même tampon vers un expert différent en parallèle. Les jetons sont envoyés en utilisant nvshmemx_putmem_signal_nbi_warp, qui augmente également atomiquement le compte des jetons envoyés depuis le rang local sur le dispositif distant. Au sein d'un groupe DP, étant donné que chaque rang possède une réplique du jeton à envoyer, l'envoi est équilibré uniformément, chaque dispositif envoyant un sous-ensemble des jetons.
À l'extrémité de réception, tous les noyaux se synchronisent d'abord avec les rangs émetteurs en attendant que les nombres totaux de jetons soient envoyés. Ensuite, ils attendent tous que les comptes de jetons envoyés augmentés atomiquement se règlent sur les comptes totaux, indiquant que toutes les charges utiles des rangs sources ont également été envoyées, grâce à la sémantique de l'appel putmem. Les noyaux interrogent les comptes en utilisant nvshmem_uint64_wait_until, parallélisant l'opération sur tous les blocs et fils. Par la suite, une barrière inter-blocs garantit qu'aucun bloc ne lit les tampons à moins que toutes les données n'aient été correctement reçues. Répartis sur des blocs et synchronisés via un compteur incrémenté atomiquement, les jetons sont copiés de la mémoire symétrique vers des tampons contigus réguliers qui deviennent les entrées des noyaux en aval implémentant les experts. Le rang source, l'indice d'expert et l'indice de jeton sont stockés séparément, localisant exactement l'emplacement où le noyau de combinaison doit envoyer les activations. Même si les jetons au sein d'un groupe DP sont envoyés à partir de différents dispositifs, ils sont tous regroupés pour être transmis à l'expert correspondant.
Combinaison
Les noyaux de combinaison sont à nouveau divisés en moitiés d'envoi et de réception : les expéditeurs copient les activations 16 bits non quantifiées vers les dispositifs distants, avec les noyaux de réception attendant que les données soient envoyées et calculant localement la moyenne pondérée de toutes les contributions des experts. De plus, ils agissent également comme une barrière, pour synchroniser la séquence envoi-combinaison : chaque rang définit un indicateur sur chaque pair à l'entrée des noyaux d'envoi, les noyaux de réception n'étant pas autorisés à revenir à moins d'observer l'indicateur défini. La latence de synchronisation est minimale, car elle chevauche la communication et le calcul réels.
Du côté de l'expéditeur, les noyaux parcourent la liste des jetons assignés à tous les experts locaux en parallèle, en les écrivant vers un tampon sur le rang de destination. Le rang cible, l'indice d'expert et l'indice de jeton sont lus à partir des tampons par jeton peuplés par les noyaux de diffusion lors de la réception des jetons. Chaque expéditeur a sa propre région de mémoire privée par expert vers laquelle écrire, comme indiqué dans la figure ci-dessus, évitant le besoin de synchronisation. De manière similaire à l'envoi, la combinaison incrémente atomiquement les compteurs par jeton sur le rang de destination pour indiquer la réception des données : lorsque le compteur correspond au nombre d'experts vers lesquels un jeton a été envoyé, le contenu du jeton peut être accédé.
Dans le noyau de réception, la liste des jetons est parcourue en parallèle sur plusieurs blocs, attendant que leur contenu arrive en interrogeant l'indicateur défini par l'opération de signalisation. À l'arrivée, les charges utiles sont lues à partir des tampons privés, avec la table de routage indiquant quel tampon lire et quel poids assigner à chaque expert. Les résultats sont ensuite écrits vers des tenseurs alloués en externe, le noyau terminant l'exécution une fois que tous les dispositifs ont passé la barrière. À travers un groupe DP, tous les rangs reçoivent une copie de chaque activation d'expert pour calculer leurs propres répliques.
Benchmarks
Nous évaluons nos noyaux sur un cluster de 128 GPU répartis sur 16 nœuds connectés via InfiniBand et des NIC CX-7. Nous essayons à la fois GPUDirect Async (IBGDA) et Reliable Connection (RC) avec un proxy CPU. Nous les comparons à l'implémentation DeepSeek hautement optimisée, ainsi qu'aux primitives denses fournies par PyTorch (via NCCL) ou NVSHMEM.
Bien que sur l'opération all-to-all NVSHMEM dense, les performances de IBRC et IBGDA soient similaires (6378 µs vs 6180 µs), IBGDA est nettement plus rapide avec les noyaux creux. En additionnant l'envoi et la combinaison, IBGDA utilise 902 µs tandis que IBRC prend 3223 µs - une amélioration de la latence de 3,6x. Alors que le all-to-all est limité par la bande passante, les noyaux creux diffusent des ordres de grandeur de données en moins, étant limités par la latence. En déclenchant les transferts réseau directement à partir d'un GPU, sans nécessiter de proxy CPU pour coordonner le GPU et le NIC, la latence de bout en bout est considérablement réduite.
Bien que nos noyaux portables soient environ 2 fois plus lents que les noyaux DeepSeek hautement optimisés, ils améliorent la latence de 10x par rapport aux noyaux denses (902 µs vs 9944 µs).
De plus, la division en composants émetteur-récepteur permet également de masquer une partie de la latence, contrairement aux primitives de bibliothèque.
Sur un seul nœud (EP8), NVSHMEM utilise NVLINK pour le transport, offrant une latence plus faible et un débit plus élevé que le réseau inter-nœuds. Nos noyaux portables sont environ 2,5 fois plus rapides que DeepEP sur un seul nœud (186µs vs 481 µs).
Améliorations supplémentaires
Les noyaux décrits ici surpassent les primitives intégrées des frameworks ML et offrent des performances décentes sans sur-spécialisation pour des transports inter-dispositifs particuliers, tels que NVLink ou InfiniBand. Outre les opportunités déjà mentionnées, des gains de performance supplémentaires sont réalisables en remplaçant les primitives de communication par des versions plus spécialisées. Par exemple, à travers NVLink, l'utilisation de la mémoire symétrique pourrait être remplacée par des tampons partagés entre les dispositifs, éliminant certains copiages et permettant des schémas de synchronisation plus fins, à travers des jetons individuels au lieu de lots de jetons. À travers InfiniBand, une implémentation pourrait accéder directement aux paires de files d'attente sous-jacentes, éliminant le besoin de transférer à la fois les comptes de jetons attendus et envoyés et de vider les jetons des files d'attente dans les tampons de sortie au fur et à mesure de leur arrivée. Cependant, de telles implémentations se font au détriment de la portabilité, tandis que nos implémentations permettent d'évaluer des clusters avec des configurations spécifiques avant de s'engager dans un effort de développement pour optimiser pour un matériel particulier.
Conclusion
Nous avons présenté une bibliothèque portable haute performance pour la communication MoE qui atteint des performances 10 fois plus rapides par rapport à la communication all-to-all standard tout en maintenant la compatibilité entre diverses configurations matérielles. Sur des déploiements monocœud avec NVLink, notre solution démontre une latence 2,5 fois inférieure aux implémentations précédentes.
Notre approche équilibre performance et portabilité grâce à des innovations clés, notamment la prise en charge de la communication initiée par GPU, une architecture de noyau fractionnée permettant le chevauchement calcul-communication et un envoi efficace des jetons utilisant des primitives NVSHMEM minimales. Bien qu'environ 2 fois plus lente que les implémentations hautement spécialisées sur des configurations multi-nœuds, notre bibliothèque offre une flexibilité supérieure sur divers environnements réseau (NVLink, CX-7 et EFA).
À mesure que les modèles MoE continuent d'évoluer, des stratégies de communication efficaces comme la nôtre deviendront de plus en plus importantes pour un déploiement pratique. Notre implémentation entièrement open-source est disponible sur https://github.com/ppl-ai/pplx-kernels.
Références
Citation
@online{perplexity2025EfficientAndPortableMixtureOfExpertsCommunication,
author = {{Perplexity} and Nandor Licker and Lequn Chen and Phi Hoang},
title = {{Efficient and portable mixture-of-experts communication}},
date = {2025-04-02},
url = {https://www.perplexity.ai/hub/blog/efficient-and-portable-mixture-of-experts-communication}
}