Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch na prática

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch na Prática | Otimização de Interconexão de Baixa Latência para Clusters RDMA/HPC/AI

Contexto e Desafios: Quando Clusters RDMA Atingem o Gargalo da Rede

Em um ambiente típico de cargas de trabalho mistas de HPC e IA, os clusters de computação frequentemente executam simulações de CFD, dinâmica molecular e treinamento distribuído de modelos grandes lado a lado. Essas cargas de trabalho dependem fortemente de RDMA para comunicação inter-nós e são extremamente sensíveis à largura de banda, latência e perda de pacotes. Quando um cluster cresce de dezenas para centenas de nós, a interconexão original pode rapidamente se tornar o fator limitante.

Sintomas comuns incluem latência de cauda longa durante AllReduce, utilização desigual de links em toda a malha e tempos de conclusão de jobs degradados assim que vários inquilinos compartilham a rede. Para engenheiros e arquitetos de rede, o desafio não é simplesmente adicionar largura de banda, mas construir uma malha que mantenha a latência previsível sob congestionamento.

Solução e Implantação: Construindo a Malha em Torno do MQM8790-HS2F

Para resolver esses problemas, a malha do cluster foi redesenhada em torno do Mellanox (NVIDIA Mellanox) MQM8790-HS2F, um switch InfiniBand de 200 Gb/s HDR projetado para ambientes de alta densidade e baixa latência. O fator de forma MQM8790-HS2F de 200 Gb/s HDR com 40 portas QSFP56 permite 40 portas em 1U, o que se encaixa naturalmente em uma topologia fat-tree de dois níveis.

A implantação seguiu uma abordagem em camadas:

• Camada Spine: Switches NVIDIA Mellanox MQM8790-HS2F foram implantados como dispositivos spine, fornecendo uplinks de 200 Gb/s e tráfego leste-oeste não bloqueante entre grupos de leaf.
• Camada Leaf: Switches Leaf conectam nós de computação equipados com adaptadores ConnectX-6 ou ConnectX-7, formando um caminho HDR ponta a ponta compatível com MQM8790-HS2F.
• Computação em rede: A tecnologia SHARP no MQM8790-HS2F descarrega operações coletivas como AllReduce para o switch, reduzindo a sobrecarga de GPU e CPU.
• Gerenciamento e telemetria: MLNX-OS, UFM e NetQ foram usados para provisionamento de malha, monitoramento e visibilidade de congestionamento.

Durante o planejamento, a equipe revisou a folha de dados do MQM8790-HS2F e as especificações do MQM8790-HS2F para validar o orçamento de energia, os requisitos de resfriamento e as opções de divisão de portas, como breakout de 2 × 100 Gb/s. A cablagem e a ótica foram padronizadas para QSFP56 para simplificar o estoque de peças e a expansão futura.

Resultados e Benefícios: O Que Mudou Após a Implantação

Após a migração para a solução de switch InfiniBand MQM8790-HS2F, o cluster apresentou melhorias mensuráveis na eficiência de comunicação e estabilidade dos jobs. Os ganhos mais notáveis foram:

Operacionalmente, a equipe obteve melhor controle sobre o comportamento da malha. O roteamento adaptativo e o SHARP reduziram o impacto de hotspots, enquanto a telemetria facilitou a identificação de nós lentos e links mal configurados. Para arquitetos que avaliam o preço do MQM8790-HS2F ou opções de MQM8790-HS2F à venda, a principal conclusão é que o switch se paga através de maior utilização do cluster, em vez de apenas contagem bruta de portas.

Conclusão e Perspectivas

O MQM8790-HS2F demonstra como um switch InfiniBand projetado especificamente pode remover gargalos de interconexão em clusters RDMA, HPC e AI. Ao combinar portas HDR de 200 Gb/s, computação em rede SHARP e uma pilha de gerenciamento madura, o NVIDIA Mellanox MQM8790-HS2F oferece baixa latência previsível em escala. À medida que os clusters continuam a crescer e as cargas de trabalho de IA se tornam mais intensivas em comunicação, as malhas construídas no switch InfiniBand MQM8790-HS2F estão bem posicionadas para suportar a próxima onda de expansão.