NVIDIA Mellanox 920-9B210-00FN-0D0 Referência técnica: 400Gb/s NDR Optimização de interconexão de baixa latência

Referência Técnica NVIDIA Mellanox 920-9B210-00FN-0D0: Otimização de Interconexão de Baixa Latência NDR de 400Gb/s para Clusters RDMA/HPC/IA

1. Antecedentes do Projeto e Análise de Requisitos

À medida que os clusters de treinamento de IA escalam de milhares para dezenas de milhares de GPUs, e as simulações de HPC se aproximam do desempenho Exascale, as interconexões de rede enfrentam demandas sem precedentes por largura de banda, latência e determinismo. A transição de 200Gb/s HDR para 400Gb/s NDR não é mais opcional — é uma necessidade estratégica para organizações que implementam modelos de trilhões de parâmetros e computação paralela em escala extrema. Em vários ambientes de implantação líderes, os requisitos principais podem ser resumidos como:

• Latência ultra-baixa determinística: MPI e comunicações coletivas all-to-all devem sustentar latência porta a porta inferior a 100ns para minimizar o impacto da sobrecarga de comunicação na convergência do treinamento.
• Tecido sem perdas em escala: Zero perdas de pacotes em milhares de endpoints, garantindo que o desempenho RDMA não degrade sob congestionamento.
• Offload de computação na rede: Offload de operações coletivas (all-reduce, all-to-all, broadcast) para o tecido de switch para liberar recursos de CPU/GPU do host.
• Escalabilidade de alta radiação: Suporte para topologias fat-tree e dragonfly+ com largura de banda de bisseção completa em mais de 8.000 nós.
• Proteção de investimento: Compatibilidade perfeita com cabos, ópticas e ferramentas de gerenciamento HDR existentes para atualizações graduais.

Para atender a esses requisitos, esta solução adota o NVIDIA Mellanox 920-9210-00FN-0D0 como o bloco de construção principal — um switch InfiniBand NDR de 400Gb/s projetado especificamente para implantações de classe Exascale.

2. Projeto Geral da Arquitetura de Rede

A solução proposta emprega uma topologia leaf-spine de dois níveis, oferecendo um tecido escalável e não bloqueante com latência determinística e cabeamento simplificado. Na camada leaf, cada rack de computação é equipado com uma ou duas unidades 920-9210-00FN-0D0 InfiniBand switch OPN, fornecendo 64 portas de conectividade NDR de 400Gb/s para servidores GPU via cobre de conexão direta OSFP (DAC) ou cabos ópticos ativos (AOC). Na camada spine, um segundo nível de switches 920-9210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR interconecta todos os switches leaf, criando um tecido fat-tree de largura de banda de bisseção completa.

Para clusters com mais de 5.000 nós, uma arquitetura folded-Clos de três níveis pode ser implementada, com o 920-9210-00FN-0D0 servindo como leaf e spine para manter o desempenho consistente em todos os níveis. O switch suporta até 64 switches em um único tecido sob um único gerenciador de sub-rede, permitindo o controle unificado de topologias em larga escala.

A tabela a seguir resume os principais parâmetros de escalabilidade para um tecido NDR de 2 níveis construído em torno do 920-9210-00FN-0D0:

3. Papel e Principais Recursos do NVIDIA Mellanox 920-9210-00FN-0D0

Dentro desta arquitetura, o NVIDIA Mellanox 920-9210-00FN-0D0 serve como o elemento de comutação fundamental, fornecendo várias capacidades críticas que abordam diretamente os requisitos identificados na Seção 1:

• 64 portas NDR de 400Gb/s: Cada porta OSFP suporta 400Gb/s bidirecional com correção de erro forward (FEC) para conectividade confiável de alcance estendido. A capacidade de comutação agregada de 51,2 Tb/s fornece ampla margem para até mesmo as cargas de trabalho mais intensivas em comunicação.
• Latência ultra-baixa de cut-through: Latência porta a porta inferior a 100ns, conforme documentado na folha de dados detalhada do 920-9210-00FN-0D0, garante sobrecarga mínima para operações MPI e RDMA.
• Offload de computação integrado SHARPv3: Offloads operações coletivas de CPUs de host, reduzindo a latência all-reduce em até 40% e all-to-all em até 35% em trabalhos em larga escala.
• Roteamento adaptativo e controle de congestionamento: Re-roteia dinamicamente o tráfego para evitar hotspots, mantendo desempenho previsível sob padrões de tráfego adversos. Telemetria avançada fornece visibilidade por fluxo e por porta para gerenciamento proativo.
• Gerenciabilidade abrangente: Integração completa com o Gerenciador de Tecido Unificado (UFM) da NVIDIA para provisionamento zero-touch, monitoramento de integridade e failover automatizado.

O especificações do 920-9210-00FN-0D0 também destacam fontes de alimentação redundantes duplas, módulos de ventoinha substituíveis a quente e suporte para configurações de gerenciador de sub-rede redundantes, garantindo 99,999% de disponibilidade para cargas de trabalho de missão crítica.

4. Recomendações de Implantação e Escalabilidade

Para organizações que planejam adotar a solução OPN do switch InfiniBand 920-9210-00FN-0D0, as seguintes diretrizes de implantação são recomendadas:

• Estratégia de cabeamento: Use cabos DAC OSFP-para-OSFP para conexões intra-rack (até 3m) e transceptores ópticos ou AOC para links inter-rack e spine-leaf (até 100m). Verifique se todos os cabos são compatíveis com 920-9210-00FN-0D0 de acordo com a matriz de compatibilidade da NVIDIA para evitar problemas de integridade do sinal.
• Redundância: Implante fontes de alimentação duplas conectadas a PDUs separadas. Use pelo menos dois switches spine por leaf para eliminar pontos únicos de falha. Para cargas de trabalho de missão crítica, considere redundância N+1 no nível spine.
• Gerenciamento de firmware: Certifique-se de que todos os switches executem versões idênticas de firmware NVIDIA. Use o recurso de atualização de firmware automatizada do UFM para atualizações graduais sem tempo de inatividade. Valide a compatibilidade do firmware com adaptadores de host e cabos antes da implantação.
• Caminho de escalabilidade: Para clusters além de 4.096 nós, transicione para uma topologia folded-Clos de três níveis ou utilize dragonfly+ com roteamento adaptativo. O 920-9210-00FN-0D0 suporta até 64 switches em um único tecido, com vários tecidos interconectados via gateways para implantações maiores.
• Validação de desempenho: Antes da implantação em produção, execute testes de estresse abrangentes usando os benchmarks de desempenho do OpenFabrics Enterprise Distribution (OFED) para validar o desempenho do tecido em relação às folha de dados detalhada do 920-9210-00FN-0D0.

Ao calcular o custo total de propriedade, considere o número reduzido de níveis de switch e o cabeamento simplificado em comparação com alternativas de radiação inferior. Embora o preço do 920-9210-00FN-0D0 por unidade seja maior do que os switches HDR, o custo por porta e o custo de rede por GPU são significativamente menores em implantações em larga escala, tornando-o uma escolha econômica para projetos Exascale.

5. Operações, Monitoramento e Solução de Problemas

O gerenciamento eficaz de um tecido NDR requer um framework abrangente de monitoramento e solução de problemas. O UFM da NVIDIA fornece um único painel para todo o NVIDIA Mellanox 920-9210-00FN-0D0, oferecendo:

• Visualização de topologia: Descoberta automática e representação gráfica de todos os switches, links e endpoints com atualizações de status em tempo real.
• Painéis de desempenho: Visualizações em tempo real de utilização de portas, taxas de erro, indicadores de congestionamento e ocupação de buffer em todo o tecido.
• Alertas proativos: Alarmes baseados em limites para degradação de link, anomalias de temperatura, falhas de fonte de alimentação e desgaste de cabo.
• Isolamento de falhas: Fluxos de trabalho de solução de problemas guiados que identificam cabos, transceptores ou portas de switch defeituosos, reduzindo o tempo médio para resolução (MTTR).
• Análise histórica: Análise de tendências e planejamento de capacidade com base em dados históricos de desempenho, permitindo decisões de escalonamento proativas.

Para solução de problemas avançada, utilize as ferramentas de diagnóstico integradas do switch, incluindo testes de loopback, análise de BER (taxa de erro de bits) e monitoramento de diagnóstico de módulo óptico (DOM). Problemas comuns encontrados nas primeiras implantações NDR incluem roteamento subótimo causado por velocidades de link desiguais, tipos de cabo incompatíveis ou inconsistências de firmware. Habilitar roteamento adaptativo, verificar se todos os links estão operando a 400Gb/s com FEC habilitado e garantir firmware consistente em todos os switches resolve a maioria das anomalias de desempenho.

Engenheiros de rede também devem estabelecer uma linha de base das especificações do 920-9210-00FN-0D0 durante a fase de validação, incluindo latência, taxa de transferência e taxas de erro esperadas. Desvios dessa linha de base podem ser usados como indicadores precoces de problemas potenciais. O 920-9210-00FN-0D0 InfiniBand switch OPN também suporta registro abrangente de eventos via syslog e SNMP, permitindo a integração com pilhas de monitoramento de data center existentes.

6. Resumo e Avaliação de Valor

O 920-9210-00FN-0D0 oferece uma proposta de valor atraente para organizações que constroem ou expandem clusters HPC e IA baseados em NDR. Ele fornece 64 portas NDR de 400Gb/s com latência inferior a 100ns, offload SHARPv3, gerenciabilidade de nível empresarial e compatibilidade total com o ecossistema HDR existente — tudo em uma plataforma compacta de 1U. Os principais pontos de valor incluem:

• Desempenho: Redução de até 75% na latência de comunicação all-to-all e redução de até 40% na latência all-reduce através do offload SHARPv3 e largura de banda NDR.
• Eficiência de custo: Menor custo de rede por GPU em comparação com alternativas HDR em implantações em larga escala, impulsionado por maior radiação e menor contagem de camadas de switch.
• Simplicidade operacional: Integração profunda com UFM para gerenciamento unificado, provisionamento automatizado, monitoramento proativo e resolução rápida de falhas.
• Proteção de investimento: Compatibilidade total com cabos, ópticas e pilhas de software HDR existentes, permitindo atualizações graduais sem interromper cargas de trabalho de produção.
• Escalabilidade à prova de futuro: Suporte para topologias folded-Clos de três níveis e dragonfly+, garantindo que o tecido possa escalar para mais de 8.000 nós à medida que as demandas de computação crescem.

Para organizações que avaliam o 920-9210-00FN-0D0 para venda através de parceiros de canal da NVIDIA, recomendamos revisar a folha de dados detalhada do 920-9210-00FN-0D0 e envolver um arquiteto de solução certificado para validar o projeto para seus requisitos específicos de carga de trabalho e escala. O NVIDIA Mellanox 920-9210-00FN-0D0 está pronto para produção hoje, oferecendo uma base de interconexão escalável e de alto desempenho para a próxima geração de inovação em IA e HPC.