Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch em Ação Low-Latency Interconnect Optimization para RDMA/HPC

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch em Ação Low-Latency Interconnect Optimization para RDMA/HPC/AI Clusters

À medida que os clusters de treinamento de IA aumentam de milhares para dezenas de milhares de GPUs, a latência da rede e o controle de congestionamento se tornam os fatores decisivos na utilização efetiva da computação.Uma das principais organizações globais de investigação da IA implementou recentemente oMellanox (NVIDIA Mellanox) MQM9790-NS2FA Comissão propõe que a Comissão adopte um projeto de decisão sobre a introdução de um novo sistema de controlo de desempenho.Este artigo examina a implantação no mundo real, detalhando como este switch InfiniBand transforma o transporte RDMA, a comunicação HPC e os tecidos de treinamento paralelo de dados de IA.

Antecedentes e desafios: do compromisso Ethernet ao imperativo de interconexão sem perdas

A organização inicialmente confiava em um tecido Ethernet de 100GbE com RoCEv2.encontraram bloqueios persistentes de PFC, sintonização complexa ECN, e quedas ocasionais de pacotes que causaram paradas de treinamento.Estes problemas prolongaram os tempos médios de conclusão de trabalhos em mais de 35% e consumiu um esforço de engenharia considerável na solução de problemas de redeA infra-estrutura existente já não podia fornecer a latência determinista de nível de microssegundos e o tráfego livre de congestionamento necessários para operações coletivas de redução total e total.

Solução e implantação:MQM9790-NS2F Comutador de banda Infinicomo a espinha dorsal do tecido

Após avaliar múltiplas alternativas, a equipa selecionou oNVIDIA Mellanox MQM9790-NS2FCada estante de folhas é equipado com doisMQM9790-NS2F 400Gb/s NDR OSFP de 64 portascomutadores, proporcionando 64 portas OSFP por unidade e uma capacidade total de comutação de 25,6 Tb/s. A velocidade NDR de 400 Gb/s por porta, combinada com comutação cut-through e roteamento adaptativo,permite uma latência de porta-a-porta inferior a 600 ns, um requisito crítico para suas cargas de trabalho intensivas em GPUA implantação aproveitou oMQM9790-NS2F Solução de comutação InfiniBandintegrado com o firmware NVIDIA Quantum‐2, garantindo a continuidadeMQM9790-NS2F compatívelOperação com adaptadores ConnectX‐7 e DPUs BlueField‐3 existentes.

As principais opções de implantação incluem:

• Topologia:Arvore de gordura não bloqueadora com transceptores ópticos OSFP de 64 portas a 400G, permitindo largura de banda de bisecção completa para todos os nós GPU.
• Gestão:NVIDIA UFM (Unified Fabric Manager) para telemetria em tempo real, detecção de congestionamento e reencaminhamento proativo do caminho.
• Descarga coletiva:SHARPv3 permitiu acelerar todas as operações de redução, descarregando a comunicação das CPUs host.

Para assegurar uma transição suave, a equipa consultou oFicha de dados MQM9790-NS2FeEspecificações MQM9790-NS2FO fator de forma 1U e fontes de alimentação redundantes se encaixam perfeitamente na sua densidade de rack existente e as portas OSFP suportam cabos DAC e módulos ópticos,oferecendo flexibilidade para a expansão futura.

Resultados e benefícios medidos ¢ ganhos quantificáveis no desempenho e na eficiência

Após a implantação e otimização completas, a organização documentou melhorias significativas em várias dimensões:

Além dos números brutos, a equipa relatou interrupções relacionadas com congestionamento quase nulas, simplificando consideravelmente as operações da rede.NVIDIA Mellanox MQM9790-NS2FO sistema permite o equilíbrio automático de carga em todas as 64 portas OSFP, eliminando o ajuste manual da ECN.MQM9790-NS2F Comutador de banda Infiniforneceram desempenho determinístico mesmo com 95% de utilização de ligação, um feito impossível com a configuração Ethernet anterior.

A organização observou igualmente que oPreço MQM9790-NS2F, quando amortizada ao longo do ciclo de vida de 5 anos, foi compensada pela redução do consumo de energia por porta (≈1,5 W por porta 400G) e pelos menores custos de cablagem devido à maior densidade das portas.Com disponibilidade geral agora madura, confirmaram queMQM9790-NS2F para vendaO Conselho Europeu de Lisboa, por ocasião da sua sessão deFicha de dados MQM9790-NS2FFornecer todos os pormenores necessários sobre a instalação e a conformidade.

Resumo e Perspectivas A Blueprint for Next‐Gen AI Infrastructures

A adopção doMellanox (NVIDIA Mellanox) MQM9790-NS2FNeste cluster de HPC/IA em larga escala, demonstra-se que um tecido InfiniBand construído especificamente para esse fim já não é um luxo, mas uma necessidade para organizações que empurram os limites da IA e da computação científica.Ao fornecer uma latência sub-microssegundária consistente, o transporte RDMA sem perdas e a aceleração da computação na rede, oMQM9790-NS2F 400Gb/s NDR OSFP de 64 portasO switch permite que os data centers alcancem uma escalabilidade quase linear de até dezenas de milhares de GPUs.

Em vista do futuro, a equipa planeia expandir o tecido comMQM9790-NS2F Comutador de banda InfiniO programa de investigação tem como objectivo a criação de unidades para apoiar as próximas cargas de trabalho da classe exascale, incluindo a modelagem climática e a genómica.MQM9790-NS2F compatívelPara os arquitetos e gerentes de TI que avaliam atualizações semelhantes, este caso real confirma que aMQM9790-NS2F Solução de comutação InfiniBandoferece um caminho comprovado e rentável para a criação de redes de clusters de alto desempenho e baixa latência, um factor crítico para a inovação da IA na próxima década.