NVIDIA Mellanox 920-9B210-00FN-0D0 Referência técnica: 400Gb/s NDR Optimização de interconexão de baixa latência

NVIDIA Mellanox 920-9B210-00FN-0D0 Referência técnica: 400Gb/s NDR Optimização de interconexão de baixa latência para clusters RDMA/HPC/AI

1Análise dos antecedentes e requisitos do projecto

À medida que os clusters de treinamento de IA aumentam de milhares para dezenas de milhares de GPUs, e as simulações de HPC se aproximam do desempenho Exascale, as interconexões de rede enfrentam demandas sem precedentes de largura de banda, latência,e determinismoA transição de 200Gb/s HDR para 400Gb/s NDR já não é opcional, é uma necessidade estratégica para as organizações que implantam modelos de trilhões de parâmetros e computação paralela de escala extrema.Em vários ambientes de implantação líderes, os requisitos essenciais podem ser resumidos como:

• Latência determinística ultra baixa:O MPI e as comunicações coletivas de todos para todos devem manter uma latência de porta a porta inferior a 100 ns para minimizar o impacto das despesas gerais de comunicação na convergência da formação.
• Tecido sem perdas em escala:O pacote zero cai através de milhares de endpoints, garantindo que o desempenho do RDMA não se degrade sob congestionamento.
• Descarga de computação na rede:Descarregar operações coletivas (all-reduce, all-to-all, broadcast) para o tecido de comutação para liberar recursos da CPU/GPU do host.
• Escalabilidade de alta radix:Suporte para topologias fat-tree e dragonfly + com largura de banda de bisecção completa em mais de 8.000 nós.
• Protecção dos investimentos:Compatibilidade perfeita com os cabos HDR existentes, a óptica e as ferramentas de gestão para atualizações por fases.

Para dar resposta a estas necessidades, esta solução adopta oNVIDIA Mellanox 920-9B210-00FN-0D0como o bloco de construção principal – um comutador NDR InfiniBand de 400Gb/s projetado especificamente para implantações de classe Exascale.

2. Design geral da arquitetura da rede

A solução proposta emprega uma topologia de espinha de folha de dois níveis, proporcionando um tecido escalável e não bloqueador com latência determinista e cablagem simplificada.cada rack de computação é equipado com um ou dois920-9B210-00FN-0D0 InfiniBand switch OPNAs unidades, que fornecem 64 portas de conexão NDR de 400Gb/s para servidores GPU através de cabos de cobre de ligação direta OSFP (DAC) ou de cabos ópticos ativos (AOC).920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDROs interruptores interligam todos os interruptores de folhas, criando um tecido de árvore de gordura de largura de banda completa.

Para clusters com mais de 5.000 nós, pode ser implementada uma arquitetura de três níveis de fechamento dobrado,com o 920-9B210-00FN-0D0 a servir de base e de espinha dorsal para manter um desempenho constante em todos os níveisO switch suporta até 64 switches num único tecido sob um único gerente de sub-rede, permitindo um controlo unificado de topologias de grande escala.

A tabela a seguir resume os principais parâmetros de dimensionamento para um tecido NDR de 2 camadas construído em torno do 920-9B210-00FN-0D0:

3. Papel e Características-chave do NVIDIA Mellanox 920-9B210-00FN-0D0

Dentro desta arquitetura, oNVIDIA Mellanox 920-9B210-00FN-0D0Serve de elemento de comutação fundamental, fornecendo várias capacidades críticas que abordam diretamente os requisitos identificados na secção 1:

• 64 portas de 400 Gb/s NDR:Cada porta OSFP suporta bidirecional 400Gb / s com correção de erro para a frente (FEC) para conectividade de alcance estendido confiável.2 Tb/s fornece espaço suficiente para até mesmo as cargas de trabalho mais intensivas em comunicação.
• Latência de corte ultra-baixa:Latência de porta a porta inferior a 100 ns, conforme documentado noFicha de dados 920-9B210-00FN-0D0, assegura uma sobrecarga mínima para as operações MPI e RDMA.
• SHARPv3 integrado:Descarrega as operações coletivas das CPUs host, reduzindo a latência de redução total em até 40% e total em até 35% em trabalhos de grande escala.
• Roteamento adaptativo e controlo de congestionamento:Reencaminha dinamicamente o tráfego para evitar pontos críticos, mantendo um desempenho previsível em padrões de tráfego adversários.A telemetria avançada fornece visibilidade por fluxo e por porto para gestão proativa.
• Gestão abrangente:Integração completa com o Unified Fabric Manager (UFM) da NVIDIA para provisionamento sem toque, monitoramento de estado e transição automática.

O920-9B210-00FN-0D0 especificaçõesTambém destacam fontes de alimentação duplas redundantes, módulos de ventilador compatíveis a quente e suporte a configurações redundantes de gerenciador de sub-rede, garantindo 99,999% de disponibilidade para cargas de trabalho críticas.

4Recomendações de implantação e escalabilidade

Para as organizações que pretendam adoptar o920-9B210-00FN-0D0 Solução OPN de interruptor de banda Infini, são recomendadas as seguintes orientações de utilização:

• Estratégia de cablagem:Usar cabos OSFP-OSFP DAC para ligações intra-rack (até 3m) e AOC ou transceptores ópticos para ligações inter-rack e spine-leaf (até 100m).920-9B210-00FN-0D0 compatívelpara a matriz de compatibilidade NVIDIA para evitar problemas de integridade do sinal.
• Redundância:Utilize duas fontes de alimentação conectadas a unidades de distribuição separadas, pelo menos dois interruptores por folha para eliminar pontos de falha individuais.Considerar a redundância N+1 na camada da coluna vertebral.
• Gestão do firmware:Certifique-se de que todos os switches executam versões de firmware NVIDIA idênticas.Validar a compatibilidade do firmware com adaptadores e cabos host antes da implantação.
• Percurso de escalabilidade:Para clusters além de 4.096 nós, transição para uma topologia de três níveis dobrados-Clos ou alavanca libélula + com roteamento adaptativo. O 920-9B210-00FN-0D0 suporta até 64 switches em um único tecido,com vários tecidos interconectados através de gateways para implantações maiores.
• Validação do desempenho:Antes da implantação da produção, execute testes de esforço abrangentes utilizando os benchmarks de desempenho OpenFabrics Enterprise Distribution (OFED) para validar o desempenho do tecido em relação aoFicha de dados 920-9B210-00FN-0D0especificações.

Ao calcular o custo total de propriedade, considerar o número reduzido de níveis de interruptor e o cablagem simplificada em comparação com alternativas de radix inferior.920-9B210-00FN-0D0 preçoO custo por porta e o custo de rede por GPU são significativamente mais baixos em implantações em larga escala, tornando-se uma escolha econômica para projetos Exascale.

5. Operações, Monitorização e Solução de Problemas

O UFM da NVIDIA fornece um único painel de vidro para todo o processo.NVIDIA Mellanox 920-9B210-00FN-0D0- à base de tecidos, que oferecem:

• Visualização de topologia:Descoberta automática e representação gráfica de todos os switches, links e endpoints com atualizações de status em tempo real.
• Painéis de controlo de desempenho:Visualizações em tempo real da utilização do porto, taxas de erro, indicadores de congestionamento e ocupação do buffer em todo o tecido.
• Alerta proativa:Alarmes baseados em limiares para degradação da ligação, anomalias de temperatura, falhas de alimentação e desgaste dos cabos.
• Isolamento por falha:Fluxos de trabalho de solução de problemas guiados que identificam cabos, transceptores ou portas de comutação defeituosos, reduzindo o tempo médio de resolução (MTTR).
• Análise histórica:Análise de tendências e planeamento da capacidade com base em dados históricos de desempenho, permitindo decisões proativas de ampliação.

Para solução de problemas avançada, aproveite as ferramentas de diagnóstico incorporadas do switch, incluindo testes de loopback, análise de BER (taxa de erro de bits) e monitoramento de diagnóstico do módulo óptico (DOM).Os problemas comuns encontrados nas primeiras implantações de NDR incluem roteamento subóptimo causado por velocidades de ligação desiguais, tipos de cabo desajustados ou inconsistências de firmware. habilitando o roteamento adaptativo, verificando que todos os links estejam operando a 400Gb/s com o FEC habilitado,e garantir firmware consistente em todos os switches resolve a maioria das anomalias de desempenho.

Os engenheiros de rede devem também estabelecer uma linha de base de920-9B210-00FN-0D0 especificaçõesOs resultados da avaliação de desempenho podem ser analisados durante a fase de validação, incluindo a latência esperada, o rendimento e as taxas de erro.920-9B210-00FN-0D0 InfiniBand switch OPNtambém suporta registro de eventos abrangente via syslog e SNMP, permitindo a integração com pilhas de monitoramento de data center existentes.

6Resumo e Avaliação do Valor

O920-9B210-00FN-0D0fornece uma proposta de valor atraente para organizações que constroem ou expandem clusters de HPC e IA baseados em NDR.Gestão de nível empresarial, e total compatibilidade com o ecossistema HDR existente, tudo numa plataforma compacta de 1U. Os principais pontos de valor incluem:

• Função:Até 75% de redução da latência de comunicação entre todos e até 40% de redução da latência de redução total através da descarga SHARPv3 e largura de banda NDR.
• Eficiência dos custos:Menor custo de rede por GPU em comparação com alternativas HDR em implantações em larga escala, impulsionado por maior radix e menor número de camadas de comutação.
• Simplicidade operacional:Integração profunda com a UFM para gestão unificada, provisionamento automatizado, monitoramento proativo e resolução rápida de falhas.
• Protecção dos investimentos:Compatibilidade total com os cabos HDR, ópticas e pilhas de software existentes, permitindo atualizações em fases sem interromper as cargas de trabalho de produção.
• Escalabilidade à prova de futuros:Suporte para topologias de três níveis dobradas-Clos e libélula +, garantindo que o tecido possa escalar para mais de 8.000 nós à medida que as demandas de computação crescem.

Para as organizações que avaliam o920-9B210-00FN-0D0 à vendaatravés dos parceiros de canal da NVIDIA, recomendamos revisar os detalhadosFicha de dados 920-9B210-00FN-0D0O projecto deve ser desenvolvido em conjunto com um projeto de solução e envolver-se com um arquiteto de solução certificado para validar o projeto para as suas necessidades específicas de carga de trabalho e escala.NVIDIA Mellanox 920-9B210-00FN-0D0está pronta para produção hoje, oferecendo uma base de interconexão de alto desempenho e escalável para a próxima geração de inovação em IA e HPC.