Switch InfiniBand NVIDIA Mellanox MQM8790-HS2F na prática

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch na prática.

Antecedentes e desafio: O gargalo de latência nos clusters de IA e HPC em larga escala

À medida que os clusters de treinamento de IA aumentam para milhares de GPUs e sistemas HPC avançam em direção ao desempenho de exascale, o tecido de rede que conecta os nós de computação tornou-se um determinante crítico de desempenho.Neste ambiente, a latência não é meramente uma métrica, pois impacta diretamente o desempenho da aplicação, o tempo de resolução e a eficiência global do cluster.Para cargas de trabalho que dependem fortemente de operações coletivas MPI (Message Passing Interface) e de padrões de comunicação de todos para todosNo caso das redes Ethernet tradicionais, o tempo de execução pode ser reduzido para mais horas, como no caso do treinamento de modelos de linguagem grande e da dinâmica de fluidos computacionais.mesmo com RDMA sobre Ethernet convergente (RoCE), muitas vezes lutam para fornecer a baixa latência determinista exigida por estas aplicações exigentes.

Este desafio foi recentemente enfrentado por um laboratório nacional de investigação que implantou um cluster HPC de 2.000 nós para a modelagem climática e a investigação em IA.O cluster exigiu conectividade de 200Gb/s com latência inferior a 100 nanossegundos para suportar cargas de trabalho HPC baseadas em MPI e treinamento de IA distribuídoA equipe de engenharia precisava de um interruptor que pudesse fornecer desempenho consistente e de baixa latência em escala.Suporte a recursos avançados como roteamento adaptativo e controle de congestionamento para manter a eficiência do tecido em condições de carga variáveis. ONVIDIA Mellanox MQM8790-HS2FA solução ideal é a HDR InfiniBand, que oferece 40 portas de banda HDR de 200 Gb/s, com latência inferior a 100 nanossegundos e capacidades de computação avançadas na rede.

Solução e implantação: Construção de um InfiniBand Fabric de baixa latência

Para resolver os desafios de latência e escalabilidade, o laboratório implementou oNVIDIA Mellanox MQM8790-HS2FEsta nova estrutura de tecido de folha de coluna é a chave central de uma arquitetura de tecido de folha de coluna.MQM8790-HS2F Comutador de banda Infinifornece 40 portas QSFP56, cada uma operando a 200Gb/s HDR, fornecendo uma capacidade de comutação total de 8Tb/s com latência de porta a porta inferior a 100 nanossegundos.Topologia de 16 folhas, ligando 2.000 nós de computação, cada um equipado com adaptadores HDR ConnectX‐6.MQM8790-HS2F 200Gb/s HDR 40 portas QSFP56A configuração permitiu que a equipe construísse um tecido não bloqueador com largura de banda de bisecção completa, garantindo que cada nó pudesse se comunicar com todos os outros nós à velocidade do fio.

A implantação foi executada em três fases principais:

• Design de tecido:Utilizando oMQM8790-HS2F Solução de comutação InfiniBand, a equipa projetou uma topologia de folha de coluna onde cada um dos 16 switches de folha é ligado a 50 nós de computação (usando uma combinação de ligações directas de 200Gb/s e ligações de ruptura HDR100 de 100Gb/s),enquanto 4 interruptores da coluna forneceram conectividade entre folhas. OMQM8790-HS2FOs interruptores foram configurados com roteamento adaptativo habilitado, permitindo que o tecido distribuísse dinamicamente o tráfego entre os caminhos disponíveis e evitasse pontos de congestionamento.
• Configuração de funcionalidades avançadas:A equipe ativou o SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) nos switches MQM8790-HS2F para descarregar operações coletivas MPI dos nós de computação.Esta capacidade de computação em rede permitiu que os switches executassem todas as operações de redução e transmissão diretamente, reduzindo o número de travessia de rede e diminuindo a latência global para a comunicação colectiva.
• Ajuste de desempenho:O gerenciamento da sub-rede foi configurado usando a plataforma Unified Fabric Manager (UFM) da NVIDIA, que forneceu visibilidade em tempo real da saúde do tecido, métricas de latência e padrões de congestionamento.A equipe ajustou os parâmetros de controle de congestionamento para otimizar o desempenho para o perfil de carga de trabalho misturado de HPC e AI.

Porque oNVIDIA Mellanox MQM8790-HS2FéCompatibilidade MQM8790-HS2FCom o ecossistema mais amplo NVIDIA InfiniBand, incluindo os adaptadores ConnectX‐6 e BlueField‐2, a implantação foi contínua, não exigindo drivers personalizados ou patches de firmware.A integração do interruptor com a plataforma UFM permitiu que a equipe monitorasse o desempenho do tecido em escala, identificando e resolvendo possíveis gargalos antes que eles afetem o tempo de execução da aplicação.

Resultados e benefícios: Melhorias mensuráveis na latência e no desempenho dos aplicativos

A análise comparativa pós-implementação no cluster de 2 000 nós revelou melhorias significativas no desempenho.A latência média de porta para porta em todo o tecido foi medida em 85 nanossegundos Ficha de dados MQM8790-HS2FEsta baixa latência traduziu-se diretamente em ganhos de desempenho da aplicação: as operações de redução total do MPI foram concluídas até 35% mais rapidamente em comparação com o tecido InfiniBand de 100Gb/s anterior do laboratório,Os trabalhos de formação em IA distribuída (usando comunicação baseada em NCCL) viram os tempos de época de ponta a ponta reduzidos em aproximadamente 28%.

Em segundo lugar, a capacidade de computação em rede SHARP proporcionou benefícios substanciais de desempenho.o cluster reduziu a utilização da CPU e da GPU para tarefas de comunicação em até 20%O programa de formação em IA em larga escala, onde a comunicação colectiva pode representar 30-40% do tempo total de execução, foi particularmente benéfico.

Em terceiro lugar, o recurso de roteamento adaptativo provou ser fundamental para manter um desempenho consistente em condições de carga variadas.,O roteamento adaptativo distribui o tráfego de forma dinâmica entre os caminhos disponíveis, mantendo a latência média dentro de 10% da linha de base e evitando a degradação do desempenho induzida pelo congestionamento.A equipe monitorou a saúde dos tecidos usando a plataforma UFM, que forneceu painéis em tempo real de rastreamento de latência, rendimento e utilização de ligação em todos os 20 switches.

Em quarto lugar, a densidade deMQM8790-HS2F 200Gb/s HDR 40 portas QSFP56O laboratório reduziu o número de switches necessários em 50% em comparação com a infraestrutura InfiniBand de 100 Gb/s anterior,Redução do consumo de espaço no rack e dos requisitos de energiaCada MQM8790-HS2F consumia menos de 230 W de potência típica, contribuindo para uma redução de 20% dos custos de arrefecimento da infra-estrutura de rede.

Do ponto de vista operacional, as capacidades de gestão do interruptor simplificaram a manutenção contínua.A equipe de rede do laboratório usou as interfaces CLI e Web UI para executar atualizações de firmware e alterações de configuração sem interromper as operações do tecido, alavancando o suporte do switch para atualizações sem acidentes.Especificações MQM8790-HS2FIncluir recursos de gestão abrangentes, incluindo o acompanhamento do SNMP e a integração do syslog,permitir que a equipe integre o tecido em sua estrutura de monitoramento do centro de operações de rede (NOC) existente.

Resumo e Perspectivas: Um Plano para Fabricas InfiniBand de Baixa Latência

A experiência de implantação com oNVIDIA Mellanox MQM8790-HS2Fatravés de um cluster de HPC e IA de 2.000 nós demonstra claramente que um switch HDR InfiniBand de 200 Gb/s com 40 portas pode proporcionar a baixa latência, escalabilidade,e recursos avançados necessários para pesquisas exigentes e cargas de trabalho empresariais. Aproveitando a latência de menos de 100 nanossegundos do switch, o roteamento adaptativo e as capacidades de computação em rede SHARP, as organizações podem construir tecidos que acelerem a comunicação MPI e AI,Redução do tempo de solução, e melhorar a eficácia global dos clusters.

Olhando para o futuro, à medida que os clusters de treinamento de IA continuam a crescer em direção a mais de 10.000 GPUs e sistemas HPC em escala para exascale, a demanda por switches InfiniBand de alta densidade e baixa latência só aumentará.O MQM8790-HS2F está bem posicionado para esta trajetória., porque sua densidade de 40 portas, capacidade de comutação de 8Tb/s e suporte para velocidades HDR200 e HDR100 garantem compatibilidade com nós de computação atuais e de próxima geração.Para organizações que planejam implantações de clusters de HPC ou IA semelhantes, a abordagem em camadas de "spine-leaf" validada nesta implantação oferece um roteiro prático: implante os interruptores de folha MQM8790-HS2F para a conectividade de acesso,utilizar interruptores de espinha de maior densidade de portas (como a série QM9700 de 64 portas) para tecidos maiores, e manter uma estrutura de gestão unificada que aproveite a UFM para a otimização proativa de tecidos.

Para obter modelos detalhados de design de tecidos, guias de ajuste de desempenho e listas de verificação de implantação, consulte oFicha de dados MQM8790-HS2Fe a documentação da arquitetura NVIDIA Mellanox InfiniBand.