Solução Técnica NVIDIA Mellanox MQM8790-HS2F: Otimização de Interconexão de Baixa Latência para Clusters RDMA/HPC/AI

Esta solução técnica foi concebida para arquitetos de rede, engenheiros de pré-venda e líderes de operações.e operando tecidos InfiniBand de alto desempenho centrados em torno doNVIDIA Mellanox MQM8790-HS2F, visando aglomerados de formação em HPC e IA intensivos em RDMA.

Os clústeres modernos de treinamento de IA e computação científica enfrentam cada vez mais a interconexão de rede como o gargalo primário de desempenho.Latência da cauda, e capacidades de descarga da CPU, não conseguindo atender às demandas de padrões de comunicação de treinamento distribuídos, como All-Reduce e All-to-All. Os principais requisitos incluem:Latência de ponta a ponta de submicrossegundos,Transporte sem perdas e sem gotas,Suporte para GPU Direct RDMA, e a capacidade deescala linearmente para milhares de nósUma arquitetura de comutação InfiniBand dedicada é necessária para resolver fundamentalmente estes desafios de eficiência de interconexão.

Esta solução recomenda uma topologia de Fat-Tree de duas camadas para alcançar uma largura de banda bissecional não bloqueadora.MQM8790-HS2F Comutador de banda Infini, que fornece 40 portas de 200Gb/s HDR QSFP56. Usando um cluster de 512 nós como exemplo, o projeto é o seguinte:

• Camada de folhas: Cada MQM8790-HS2F conecta 20 nós de computação (dual-uplink) e 8 uplinks para a camada espinhal.
• Camada da coluna vertebral: 8 interruptores MQM8790-HS2F formam o plano da coluna, com conectividade de malha completa entre cada folha e cada interruptor da coluna.
• Rede de armazenamento e gestão: Uma sub-rede InfiniBand separada ou Ethernet fora de banda para evitar interferir no tráfego de computação.

Esta arquitetura garante uma largura de banda de 200 Gb/s entre quaisquer dois nós, com vários caminhos redundantes garantindo que um único ponto de falha não afete a conectividade global.A elevada densidade de portos doMQM8790-HS2F 200Gb/s HDR 40 portas QSFP56reduz o número de interruptores necessários em 50% em comparação com as soluções EDR da geração anterior, reduzindo simultaneamente a complexidade do tecido.

ONVIDIA Mellanox MQM8790-HS2FServe como unidade de comutação central nesta solução, cumprindo as seguintes funções críticas:

• Motor de comutação sem perdas: O controle de fluxo da camada de ligação InfiniBand elimina a perda de pacotes, garantindo a eficiência do transporte RDMA.
• Roteamento adaptativo: Equilibra dinamicamente o tráfego em vários caminhos, evitando pontos de congestionamento e melhorando a capacidade efetiva.
• Computação em rede SHARPv3: Descarrega as operações de redução para o interruptor, acelerando o All-Reduce em 2°3*.
• Alta densidade e baixa potência: 40 portas a 200Gb/s com consumo de energia por porta líder na indústria, reduzindo o TCO.

De acordo com oFicha de dados MQM8790-HS2FeEspecificações MQM8790-HS2F, o switch oferece capacidade de comutação agregada de 16Tb/s, latência de porta a porta inferior a 130ns e suporta fontes de alimentação e ventiladores com câmbio a quente para ambientes de produção 24/7.O dispositivo é totalmente compatível com adaptadores HDR NVIDIA ConnectX-6/7 e uma ampla gama de cabos ópticos/cobre HDR, validando o prazo de vencimento doCompatibilidade MQM8790-HS2Fecossistema.

Siga estes passos ao implantar a solução:

• Gestão de sub-redes: Implementar gestores de sub-rede de espera ativa (SM); a plataforma NVIDIA UFM é recomendada para gestão centralizada e telemetria.
• Partições e níveis de serviço: Use chaves de partição (P_Key) para isolar inquilinos ou cargas de trabalho; configure mapeamentos SL2VL para priorizar o tráfego de treinamento da IA.
• Seleção de cabos: Utilize cabos de cobre passivos para distâncias curtas (≤ 3 m) e cabos ópticos ou transceptores ativos para corridas mais longas para manter a integridade do sinal.

Para clusters maiores que excedam 2.000 nós, uma topologia Fat-Tree ou Dragonfly+ de três níveis pode ser adotada, com a camada central continuando a usar aMQM8790-HS2FQuando procuram unidades adicionais, verifiquem se oPreço MQM8790-HS2Fe disponibilidade através de distribuidores autorizados; verificadoMQM8790-HS2F para vendaA listagem geralmente inclui o firmware mais recente e garantia.MQM8790-HS2F Solução de comutação InfiniBandEscala graciosamente da pesquisa departamental de IA para centros de supercomputação exascale.

O funcionamento eficaz do tecido InfiniBand requer monitoramento proativo e resolução de problemas disciplinada:

• Monitorização: Utilizaçãoibnetdiscoverpara verificação de topologia,PerfecçãoPara os contadores portuários, e para a telemetria UFM para a visibilidade em tempo real do congestionamento.
• Questões comuns e resolução:
  • Batida de ligação: Verificar os assentos dos cabos e realizar testes de diagnóstico dos cabos; substituir as ópticas defeituosas.
  • Failover do gerenciador de sub-rede: Certificar-se de que as prioridades do SM estão correctamente configuradas e de que o SM secundário dispõe de uma base de dados válida.
  • Roteamento adaptativo desigual: Ajustar os parâmetros do algoritmo de roteamento (por exemplo,routing_engine=ftree) e permitir a distribuição da carga.
• Dicas de otimizaçãoAtivar a agregação SHARP para operações coletivas; ajustar a MTU para 4096 bytes para grandes transferências de mensagens; usar a qualidade de serviço para separar o tráfego de controle, dados e gerenciamento.

As atualizações regulares do firmware através do portal de suporte da NVIDIA garantem patches de segurança e melhorias de desempenho.Ficha de dados MQM8790-HS2Fpara os valores de referência de desempenho detalhados e os valores de contrapartida esperados em condições saudáveis.

ONVIDIA Mellanox MQM8790-HS2Ffornece uma plataforma de comutação InfiniBand à prova de futuro que aborda os principais desafios da interconexão de cluster RDMA/HPC/AI: latência, perda, sobrecarga da CPU e escalabilidade.Ao implementar a arquitetura Fat-Tree de duas camadas descrita acima, as organizações podem alcançar escalabilidade linear de desempenho, tempos de conclusão de tarefas previsíveis e redução significativa do TCO em comparação com as soluções Ethernet legadas.A combinação de velocidade HDR de 200 Gb/s, densidade de 40 portas e capacidades de computação na rede tornam-na uma escolha ideal para implantações em campo verde ou atualizações graduais de tecidos EDR/HDR.Para equipas de arquitetura que avaliam clusters de próxima geração, oMQM8790-HS2F Solução de comutação InfiniBandoferece um projecto de referência comprovado e pronto para produção.