NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch solução técnica

Solução Técnica do Switch InfiniBand NVIDIA Mellanox MQM9790-NS2F\Baixa Latência de Interconexão Otimizada para Clusters RDMA, HPC e IA

Contexto do Projeto e Análise de Requisitos

Centros de dados modernos que suportam treinamento de modelos grandes de IA, simulação de HPC e armazenamento distribuído estão migrando rapidamente de 200Gb/s HDR para 400Gb/s NDR. A principal tensão para os arquitetos de rede é que a densidade de nós de GPU continua a aumentar, enquanto a latência e o jitter da comunicação inter-nós se tornam o fator limitante para a eficiência do cluster. Um único salto congestionado ou um nível de fabric mal configurado pode reduzir a utilização efetiva da GPU em centenas de nós.

Os requisitos típicos para tal projeto incluem baixa latência determinística para operações coletivas, transporte sem perdas para RDMA e NVMe over Fabrics, alta radix para manter o fabric plano e um caminho de atualização claro que proteja o investimento existente. O NVIDIA Mellanox MQM9790-NS2F está posicionado para atender a esses requisitos como um switch InfiniBand NDR de 400Gb/s dentro da família Quantum-2.

Projeto Geral da Arquitetura de Rede e Sistema

A arquitetura recomendada é um fabric InfiniBand de duas camadas spine-leaf construído inteiramente em links NDR. Switches leaf conectam servidores GPU, alvos de armazenamento e nós de gerenciamento, enquanto switches spine fornecem conectividade inter-leaf e diversidade de caminhos. Este projeto mantém a contagem de saltos baixa e garante largura de banda não bloqueante para tráfego east-west, que domina as cargas de trabalho de IA e HPC.

Na camada de endpoint, os adaptadores de canal do host operam em modo RDMA, permitindo transferências de memória para memória sem intervenção da CPU. O próprio fabric gerencia o controle de congestionamento, roteamento adaptativo e aceleração coletiva. O tráfego de gerenciamento e telemetria compartilha a mesma infraestrutura física, mas é isolado através de políticas de QoS, para que o monitoramento não interfira nas cargas de trabalho de produção.

Os princípios-chave de design incluem:

• Topologia plana para minimizar a latência e simplificar a solução de problemas
• Links não bloqueantes ou de baixa super-subscrição entre camadas
• NDR consistente de ponta a ponta para evitar gargalos de geração mista
• Caminhos redundantes para alta disponibilidade e balanceamento de carga
• Gerenciamento InfiniBand padrão para consistência operacional

Função e Principais Recursos do NVIDIA Mellanox MQM9790-NS2F

O NVIDIA Mellanox MQM9790-NS2F serve como o bloco de construção deste fabric. Como um switch OSFP MQM9790-NS2F 400Gb/s NDR de 64 portas, ele oferece alta densidade de portas em uma única unidade, permitindo que os arquitetos projetem uma rede mais plana com menos camadas. Cada porta OSFP pode operar na velocidade NDR, e a configuração de 64 portas suporta funções de leaf e spine de alta radix.

Para equipes que revisam as especificações do MQM9790-NS2F, a plataforma suporta NVIDIA SHARPv3 para aceleração coletiva, controle avançado de congestionamento e roteamento adaptativo. Esses recursos visam diretamente os problemas de latência de cauda e incast comuns em treinamento de IA e cargas de trabalho MPI. O switch InfiniBand MQM9790-NS2F também se integra com ferramentas de gerenciamento InfiniBand padrão, o que reduz a curva de aprendizado operacional.

Ao planejar uma solução de switch InfiniBand MQM9790-NS2F, os arquitetos devem confirmar os componentes compatíveis com MQM9790-NS2F, incluindo cabos OSFP, adaptadores de canal do host e versões de firmware. Revisar a folha de dados do MQM9790-NS2F no início da fase de design ajuda a validar os requisitos de energia, resfriamento e espaço em rack antes da aquisição.

Recomendações de Implantação e Escalabilidade

Uma implantação típica começa com um pod piloto de 32 a 64 nós de GPU conectados a um par de switches leaf MQM9790-NS2F. A conectividade spine é adicionada à medida que o cluster cresce, usando unidades adicionais MQM9790-NS2F para manter a largura de banda não bloqueante. Esta abordagem incremental permite a validação da latência e da taxa de transferência antes do lançamento em larga escala.

Para escalabilidade, a prática recomendada é manter o fabric simétrico: adicione capacidade de leaf e spine em incrementos correspondentes para que as relações de super-subscrição permaneçam previsíveis. O gerenciamento de cabos e a rotulagem de portas devem ser padronizados desde o início, pois implantações de OSFP de alta densidade podem se tornar difíceis de manter se o layout físico for inconsistente.

A tabela abaixo resume uma consideração representativa de design de duas camadas:

Operações, Monitoramento, Solução de Problemas e Otimização

O sucesso operacional depende da visibilidade. Os fabrics InfiniBand fornecem contadores para erros de link, eventos de congestionamento e utilização de buffer. Estes devem ser coletados continuamente e correlacionados com dados do agendador de trabalhos, para que regressões de desempenho possam ser rastreadas a segmentos específicos do fabric em vez de serem adivinhadas.

Cenários comuns de solução de problemas incluem stalls de crédito, QoS mal configurado e incompatibilidades de firmware entre switches e adaptadores. Um checklist estruturado—verificar velocidade do link, verificar contadores de erro, confirmar política de roteamento, inspecionar telemetria de congestionamento—pode reduzir o tempo médio para resolução. Os esforços de otimização devem se concentrar na latência de cauda em vez da taxa de transferência média, pois as cargas de trabalho de IA e HPC são sensíveis ao comportamento no pior caso.

Para planejamento de aquisição e ciclo de vida, as equipes geralmente comparam o preço do MQM9790-NS2F e as opções de MQM9790-NS2F à venda em canais autorizados. O preço depende da configuração, nível de suporte e região, portanto, o engajamento antecipado com distribuidores e representantes corporativos da NVIDIA é recomendado.

O NVIDIA Mellanox MQM9790-NS2F fornece uma base NDR de alta radix e 400Gb/s para interconexão de clusters RDMA, HPC e IA. Ao reduzir as camadas do fabric, suportar aceleração coletiva e permitir transporte de baixa latência sem perdas, ele aborda os gargalos de desempenho que limitam a eficiência real do cluster. Para arquitetos de rede e engenheiros de pré-vendas, ele representa um bloco de construção prático e escalável para fabrics InfiniBand de próxima geração.