NVIDIA Mellanox 920-9B210-00FN-0D0 Referência técnica: 400Gb/s NDR Optimização de interconexão de baixa latência

Referência Técnica NVIDIA Mellanox 920-9B210-00FN-0D0: Otimização de Interconexão de Baixa Latência de 400Gb/s NDR para Clusters RDMA/HPC/AI

1. Antecedentes do Projeto e Análise de Requisitos

À medida que os clusters de treinamento de IA ultrapassam 4.000 GPUs e as simulações de HPC se aproximam do desempenho exaescala, os tecidos de rede enfrentam demandas sem precedentes por largura de banda, latência e determinismo. A transição de 200Gb/s HDR para 400Gb/s NDR não é mais opcional para organizações que visam modelos de trilhões de parâmetros ou simulações climáticas em escala de quilômetros — é um imperativo estratégico. Os principais requisitos identificados em implantações líderes de pesquisa e corporativas incluem:

• Latência determinística ultrabaixa: Latência porta a porta inferior a 100ns para minimizar a sobrecarga de comunicação MPI e all-to-all.
• Tecido sem perdas em escala: Zero quedas de pacotes sob congestionamento em milhares de endpoints, garantindo que o desempenho RDMA permaneça previsível.
• Offload de computação em rede: Offload de operações coletivas (all-reduce, all-to-all, broadcast) para o tecido de rede para maximizar a utilização da GPU.
• Escalabilidade de alta radiação: Suporte para topologias fat-tree e dragonfly+ em larga escala com largura de banda de bisseção completa de até 8.000+ nós.
• Proteção de investimento: Compatibilidade perfeita com cabos, ópticas e ferramentas de gerenciamento HDR existentes para permitir atualizações graduais.

Para atender a esses requisitos, esta solução adota o NVIDIA Mellanox 920-9B210-00FN-0D0 como bloco de construção principal — um switch InfiniBand NDR de 400Gb/s que oferece a densidade, o desempenho e a inteligência necessários para implantações de classe exaescala.

2. Projeto Geral da Arquitetura de Rede

A solução proposta emprega uma topologia leaf-spine de dois níveis, que fornece um tecido escalável e não bloqueante com latência determinística e cabeamento simplificado. Na camada leaf, cada rack de computação é equipado com uma ou duas unidades switch InfiniBand 920-9B210-00FN-0D0 OPN, oferecendo 64 portas de conectividade NDR de 400Gb/s para servidores GPU via cabos de cobre de conexão direta (DAC) OSFP-para-OSFP ou cabos ópticos ativos (AOC). Na camada spine, um segundo nível de switches 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR interconecta todos os switches leaf, criando um tecido fat-tree de largura de banda de bisseção completa.

Para clusters com mais de 5.000 nós, uma arquitetura folded-Clos de três níveis pode ser implementada, com o 920-9B210-00FN-0D0 servindo como leaf e spine para manter o desempenho consistente em todos os níveis. O switch suporta até 64 switches em um único tecido sob um único gerenciador de sub-rede, permitindo o controle unificado de topologias em larga escala.

A tabela a seguir resume os principais parâmetros de escalabilidade para um tecido NDR de 2 níveis construído em torno do 920-9B210-00FN-0D0:

3. Papel e Principais Recursos do NVIDIA Mellanox 920-9B210-00FN-0D0

Dentro desta arquitetura, o NVIDIA Mellanox 920-9B210-00FN-0D0 serve como o elemento de comutação fundamental, fornecendo várias capacidades críticas que abordam diretamente os requisitos identificados na Seção 1:

• 64 portas de 400Gb/s NDR: Cada porta OSFP suporta 400Gb/s bidirecional com correção de erro forward (FEC) para conectividade confiável de alcance estendido. A capacidade de comutação agregada de 51,2 Tb/s fornece ampla margem para até mesmo as cargas de trabalho mais intensivas em comunicação.
• Latência de corte ultrabaixa: Latência porta a porta inferior a 100ns, conforme documentado na folha de dados detalhada do 920-9B210-00FN-0D0, garante sobrecarga mínima para operações MPI e RDMA.
• SHARPv3 Integrado (Scalable Hierarchical Aggregation and Reduction Protocol): Offloads operações coletivas de CPUs host, reduzindo a latência all-reduce em até 40% e all-to-all em até 35% em trabalhos em larga escala.
• Roteamento adaptativo e controle de congestionamento: Rotas dinamicamente o tráfego para evitar hotspots, garantindo desempenho previsível sob padrões de tráfego adversos. Telemetria avançada fornece visibilidade por fluxo e por porta para gerenciamento proativo.
• Gerenciabilidade abrangente: Integração completa com o Unified Fabric Manager (UFM) da NVIDIA para provisionamento zero-touch, monitoramento de saúde e failover automatizado.

O especificações do 920-9B210-00FN-0D0 também destacam fontes de alimentação redundantes duplas, módulos de ventoinha substituíveis a quente e suporte para configurações de gerenciador de sub-rede redundantes, garantindo 99,999% de disponibilidade para cargas de trabalho de missão crítica.

4. Recomendações de Implantação e Escalabilidade

Para organizações que planejam adotar a solução OPN de switch InfiniBand 920-9B210-00FN-0D0, as seguintes diretrizes de implantação são recomendadas:

• Estratégia de cabeamento: Use cabos DAC OSFP-para-OSFP para conexões intra-rack (até 3m) e AOC ou transceptores ópticos para links inter-rack e spine-leaf (até 100m). Verifique se todos os cabos são compatíveis com 920-9B210-00FN-0D0 de acordo com a matriz de compatibilidade da NVIDIA para evitar problemas de integridade do sinal.
• Redundância: Implante fontes de alimentação duplas conectadas a PDUs separadas. Use pelo menos dois switches spine por leaf para eliminar pontos únicos de falha. Para cargas de trabalho de missão crítica, considere redundância N+1 no nível spine.
• Gerenciamento de firmware: Certifique-se de que todos os switches executem versões idênticas de firmware NVIDIA. Use o recurso de atualização de firmware automatizada do UFM para atualizações contínuas sem tempo de inatividade. Valide a compatibilidade do firmware com adaptadores host e cabos antes da implantação.
• Caminho de escalabilidade: Para clusters com mais de 4.096 nós, transicione para uma topologia folded-Clos de três níveis ou utilize dragonfly+ com roteamento adaptativo. O 920-9B210-00FN-0D0 suporta até 64 switches em um único tecido, com vários tecidos interconectados via gateways para implantações maiores.
• Validação de desempenho: Antes da implantação em produção, execute testes de estresse abrangentes usando ferramentas como os benchmarks de desempenho do OpenFabrics Enterprise Distribution (OFED) para validar o desempenho do tecido em relação às especificações da folha de dados detalhada do 920-9B210-00FN-0D0.

Ao calcular o custo total de propriedade, considere o número reduzido de níveis de switch e o cabeamento simplificado em comparação com alternativas de radiação inferior. Embora o preço do 920-9B210-00FN-0D0 por unidade seja maior do que os switches HDR, o custo por porta e o custo de rede por GPU são significativamente menores em implantações em larga escala, tornando-o uma escolha econômica para projetos exaescala.

5. Operações, Monitoramento e Solução de Problemas

O gerenciamento eficaz de um tecido NDR requer uma estrutura abrangente de monitoramento e solução de problemas. O UFM da NVIDIA fornece um único painel de controle para todo o tecido NVIDIA Mellanox 920-9B210-00FN-0D0, oferecendo:

• Visualização de topologia: Descoberta automática e representação gráfica de todos os switches, links e endpoints, com atualizações de status em tempo real.
• Painéis de desempenho: Visualizações em tempo real de utilização de portas, taxas de erro, indicadores de congestionamento e ocupação de buffer em todo o tecido.
• Alerta proativo: Alarmes baseados em limiares para degradação de link, anomalias de temperatura, falhas de fonte de alimentação e desgaste de cabos.
• Isolamento de falhas: Fluxos de trabalho guiados de solução de problemas que identificam cabos, transceptores ou portas de switch defeituosos, reduzindo o tempo médio para resolução (MTTR).
• Análise histórica: Análise de tendências e planejamento de capacidade com base em dados históricos de desempenho, permitindo decisões proativas de escalonamento.

Para solução de problemas avançada, utilize as ferramentas de diagnóstico integradas do switch, incluindo testes de loopback, análise de BER (taxa de erro de bits) e monitoramento de diagnóstico de módulo óptico (DOM). Problemas comuns encontrados nas primeiras implantações NDR incluem roteamento subótimo causado por velocidades de link desiguais, tipos de cabo incompatíveis ou inconsistências de firmware. Habilitar roteamento adaptativo, verificar se todos os links estão operando a 400Gb/s com FEC habilitado e garantir firmware consistente em todos os switches resolve a maioria das anomalias de desempenho.

Engenheiros de rede também devem estabelecer uma linha de base das especificações do 920-9B210-00FN-0D0 durante a fase de validação, incluindo latência, taxa de transferência e taxas de erro esperadas. Desvios dessa linha de base podem ser usados como indicadores precoces de problemas potenciais. O switch InfiniBand 920-9B210-00FN-0D0 OPN também suporta registro abrangente de eventos via syslog e SNMP, permitindo a integração com pilhas de monitoramento de data center existentes.

6. Resumo e Avaliação de Valor

O 920-9B210-00FN-0D0 oferece uma proposta de valor atraente para organizações que constroem ou expandem clusters HPC e AI baseados em NDR. Ele fornece 64 portas de 400Gb/s NDR com latência inferior a 100ns, offload SHARPv3, gerenciabilidade de nível empresarial e compatibilidade total com o ecossistema HDR existente — tudo em uma plataforma compacta de 1U. Pontos de valor chave incluem:

• Desempenho: Redução de até 75% na latência de comunicação all-to-all e redução de até 40% na latência all-reduce através do offload SHARPv3 e largura de banda NDR.
• Eficiência de custo: Custo de rede por GPU menor em comparação com alternativas HDR em implantações em larga escala, impulsionado por radiação mais alta e menor contagem de camadas de switch.
• Simplicidade operacional: Integração profunda com UFM para gerenciamento unificado, provisionamento automatizado, monitoramento proativo e resolução rápida de falhas.
• Proteção de investimento: Compatibilidade total com cabos, ópticas e pilhas de software HDR existentes, permitindo atualizações graduais sem interromper cargas de trabalho de produção.
• Escalabilidade à prova de futuro: Suporte para topologias folded-Clos de três níveis e dragonfly+, garantindo que o tecido possa escalar para mais de 8.000 nós à medida que as demandas de computação crescem.

Para organizações que avaliam o 920-9B210-00FN-0D0 para venda através de parceiros de canal da NVIDIA, recomendamos revisar a folha de dados detalhada do 920-9B210-00FN-0D0 e engajar com um arquiteto de soluções certificado para validar o projeto para seus requisitos específicos de carga de trabalho e escala. O NVIDIA Mellanox 920-9B210-00FN-0D0 está pronto para produção hoje, oferecendo uma base de interconexão escalável e de alto desempenho para a próxima geração de inovação em IA e HPC.