Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch Solução técnica

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch Solução Técnica Optimização de Interligação de Baixa Latência para Clusters RDMA/HPC/AI

Este white paper técnico apresenta uma arquitetura de soluções abrangente centrada noMellanox (NVIDIA Mellanox) MQM9790-NS2FO InfiniBand Switch é destinado a arquitetos de rede, engenheiros de pré-venda e líderes de operações.MQM9790-NS2Ffornece latência determinística ultra-baixa, RDMA sem perdas e largura de banda escalável para infraestruturas de HPC e IA de próxima geração.melhores práticas operacionais, e validação do desempenho.

1Análise dos antecedentes e requisitos do projecto

O treinamento moderno de IA e as cargas de trabalho de simulação científica exigem tecidos de rede que possam sustentar padrões de comunicação massivos de tudo reduzido, tudo reunido e ponto a ponto com jitter de sub-microssegundos.Soluções tradicionais baseadas em Ethernet, mesmo com RoCEv2, introduzem complexidade no gerenciamento de congestionamento, ajuste de PFC e controle de latência de cauda, levando frequentemente a uma utilização ineficiente da GPU e tempos de conclusão de tarefas imprevisíveis.

Os principais requisitos identificados em projetos típicos de HPC/IA incluem:

• Latência de ponta a ponta < 1 μs (interrupção de porta a porta) sob carga total
• Tecido sem perdas com zero quedas de embalagem devido ao congestionamento
• Escalabilidade de 64 a mais de 2.000 nós GPU sem alterações arquitetônicas
• Operações simplificadas com telemetria e recuperação automática de falhas

ONVIDIA Mellanox MQM9790-NS2Faborda diretamente essas demandas integrando a tecnologia NDR 400 Gb/s, roteamento adaptativo e computação em rede em uma plataforma OSFP de 1U e 64 portas.

2. Projeto geral de arquitetura de rede / sistema

A arquitetura recomendada adota uma topologia de espinha de folhas de dois níveis (ou fat-tree) para proporcionar largura de banda de bisecção completa e alta resiliência.com dois porta-malas para cada estanteMQM9790-NS2F Comutadores InfiniBandA camada vertebral agrega o tráfego de todos os switches de folha, garantindo a comunicação sem bloqueio entre quaisquer dois endpoints.

OMQM9790-NS2F 400Gb/s NDR OSFP de 64 portasO switch serve tanto como folha quanto como espinha dorsal, oferecendo hardware uniforme em todo o tecido, simplificando a poupança e a manutenção.um projeto típico usa 16 interruptores de folha (cada um conectando 64 GPUs) e 8 interruptores de coluna vertebralO tecido suporta as topologias fat-tree e Dragonfly+, com roteamento adaptativo equilibrando dinamicamente o tráfego em vários caminhos.

3. Papel e características principais doMellanox (NVIDIA Mellanox) MQM9790-NS2Fna Solução

ONVIDIA Mellanox MQM9790-NS2Fé a pedra angular desta solução, proporcionando:

• 64 portas OSFPCada um operando a 400 Gb/s (NDR) ‡ capacidade de comutação agregada de 25,6 Tb/s, com uma latência de corte inferior a 600 ns.
• Roteamento adaptativoO sistema permite a selecção dinâmica do caminho menos congestionado por pacote, evitando ligações de hotspot e mantendo uma latência constante mesmo em padrões de tráfego assimétricos.
• SHARPv3 (Protocolo de Agregação e Redução Hierárquica Escalavel)- descarrega a comunicação colectiva (all-reduce, broadcast) das CPU host, reduzindo a chatter da rede e acelerando o treinamento da IA em até 20-30%.
• Computação em redeSuporta redução de dados, segmentação e até operações MPI em pequena escala diretamente no switch, liberando recursos valiosos da GPU para computação.
• Telemetria e Gestão do Congestionamento¢ monitorização avançada integrada, incluindo contadores por fluxo, histogramas de ocupação do buffer e métricas de latência no nível do caminho, todos exportáveis através de UFM ou REST APIs.

Estas capacidades permitemMQM9790-NS2F Solução de comutação InfiniBandO objetivo do projeto é proporcionar um desempenho determinístico em escala, conforme validado por benchmarks internos e implantações de clientes.Especificações MQM9790-NS2FIncluem também o suporte a DACs de cobre passivos e módulos ópticos ativos, proporcionando flexibilidade para distâncias de até 100 m (com óptica SR4 400G) e além.

4Recomendações de implantação e escalagem (topologia típica)

Para uma implantação em campo verde, recomendamos a seguinte abordagem gradual:

• Fase 1 Pilot:Deslocar 2 interruptores de folha (cadaMQM9790-NS2FA utilização de um computador de computador de computador de computador de computadorFicha de dados MQM9790-NS2FParâmetros.
• Fase 2 - Extensão:Adicionar os interruptores de folhas em incrementos de 2 por rack e os interruptores de coluna, conforme necessário, para manter o excesso de subscrição ≤ 1:1A densidade de 64 portas permite que um único switch hospede um rack completo de 64 nós GPU (se cada nó tiver um único uplink 400G).
• Fase 3 ¢ Multiplano:Para aglomerados com mais de 2 000 nós, implementar vários tecidos independentes (por exemplo, planos 2 × ou 4 ×) com equilíbrio de carga baseado na rota,aproveitando o suporte do switch para pistas virtuais e chaves de partição.

Os cabos típicos utilizam os DAC OSFP-OSFP para ligações intra-rack (≤ 3 m) e os módulos ópticos OSFP-to-400G SR4 para distâncias de espinha até 100 m.MQM9790-NS2F compatívelOs transceptores são validados com o ecossistema de fornecedores ópticos da NVIDIA, garantindo uma interoperabilidade perfeita.

5Operações, Monitorização, Diagnóstico e Optimização de Falhas

As operações eficazes são fundamentais para manter uma baixa latência na produção.NVIDIA UFM (Unified Fabric Manager), que prevê:

• Painel de instrumentos em tempo real- largura de banda por porta, contadores de erros e mapas de calor de congestionamento.
• Optimização automática do percursoQuando uma ligação se deteriora ou falha, a UFM recalcula rotas e reconfigura tabelas de roteamento adaptativas sem intervenção do operador.
• Telemetria histórica¢ armazenar dados de latência e de fluxo para análise pós-mortem e planeamento de capacidade.

Fluxo de trabalho recomendado de solução de problemas:

1. Monitorar os quadros de pausa e descargas por porta ∼ zero descargas; qualquer descarga indica uma configuração errada ou óptica defeituosa.
2. Validação da operação SHARPv3 através das estatísticas coletivas da UFM. Assegura-se que as operações de redução sejam descarregadas.
3. Utilize ferramentas de diagnóstico integradas (por exemplo,ibdiagnet,ibstatus) para verificar a integridade da ligação e a integridade do sinal.

Para otimização, ajustar o limiar do algoritmo de roteamento adaptativo (por exemplo, intervalo de detecção de carga) com base nos padrões de carga de trabalho MQM9790-NS2F Comutador de banda InfiniAs atualizações regulares do firmware (disponíveis através do portal de suporte da NVIDIA) incluem melhorias de desempenho e patches de segurança.

6Resumo e Avaliação do Valor

OMellanox (NVIDIA Mellanox) MQM9790-NS2Foferece uma base de alto desempenho à prova de futuro para clusters RDMA/HPC/AI. Combinando a velocidade NDR de 400 Gb/s, a densidade de 64 portas e a computação inteligente na rede,Elimina os gargalos tradicionais e proporciona escalabilidade linear até a classe exascaleA solução reduz o custo total de propriedade através de menor potência por porta (≈1,5 W), cablagem simplificada e redução da sobrecarga da CPU das descargas SHARP.

Para as organizações que avaliam oPreço MQM9790-NS2FO investimento é justificado por ganhos mensuráveis na utilização da GPU (muitas vezes superiores a 90% na produção) e até 40% de redução nos tempos de conclusão do trabalho em comparação com os tecidos RoCEv2.Ficha de dados MQM9790-NS2FeEspecificações MQM9790-NS2FO programa de investigação e de desenvolvimento (PED) é um programa de investigação e de desenvolvimento (MQM9790-NS2F para vendaAlém disso, a compatibilidade do switch com os adaptadores NVIDIA existentes garante um caminho de migração suave para usuários já investidos no ecossistema Mellanox.

Em resumo, esta solução técnica baseada naMQM9790-NS2F Comutador de banda InfiniA utilização de sistemas de interligação de baixa latência é um dos principais desafios da nova geração de supercomputação com IA.