NVIDIA Mellanox 920-9B110-00FH-0D0 Referência técnica: Interconexão de baixa latência otimizada para RDMA/HPC/AI

NVIDIA Mellanox 920-9B110-00FH-0D0 Referência técnica: Interconexão de baixa latência otimizada para clusters RDMA/HPC/AI a 200Gb/s HDR

1Análise dos antecedentes e requisitos do projecto

À medida que os clusters de HPC e IA continuam a escalar, as cargas de trabalho de treinamento distribuído e simulação científica exigem largura de banda, latência e escalabilidade de rede cada vez mais rigorosas. not every cluster requires 400Gb/s NDR infrastructure—a significant number of production environments are already standardized on 200Gb/s HDR and seek performance improvements within a controlled budgetOs requisitos típicos incluem:

• Baixa latência determinística:A comunicação colectiva entre os MPI deve suportar um atraso de um porto para outro inferior a um microssegundo, evitando que a latência da cauda afecte a convergência do treinamento.
• Tecido sem perdas:O pacote zero cai sob congestionamento para garantir a eficiência do RDMA e evitar o colapso do desempenho.
• Descarga de computação na rede:Descarregar operações coletivas como All-Reduce para o tecido de rede para liberar recursos de CPU/GPU host.
• Escalabilidade suave:Suporte para expansão sem bloqueio de centenas para milhares de nós, com compatibilidade para cabos HDR existentes e transceptores ópticos.

Para dar resposta a estas necessidades, esta solução adopta oNVIDIA Mellanox 920-9B110-00FH-0D0como o bloco de construção principal ̇ um switch HDR InfiniBand de 200Gb/s que equilibra desempenho, densidade e custo-eficácia para implantações de média a grande escala.

2. Design geral da arquitetura da rede

A solução proposta emprega uma topologia de espinha de folha de dois níveis, que fornece um tecido escalável e não bloqueador com latência previsível e cablagem simplificada.Cada rack de computação está equipado com um920-9B110-00FH-0D0 InfiniBand switch OPN(Ordering Part Number), oferecendo 40 portas de conectividade HDR de 200Gb/s para servidores GPU via cobre de ligação direta OSFP-OSFP (DAC) ou cabos ópticos ativos (AOC).uma segunda camada de interruptores MQM8790-HS2F920-9B110-00FH-0D0 MQM8790-HS2F¢interliga todos os interruptores das folhas, criando um tecido de árvore de gordura de largura de banda completa.

Para clusters maiores que excedam 1.500 nós, pode ser implementada uma arquitetura de três níveis de fechamento dobrado,com o 920-9B110-00FH-0D0 servindo como base e coluna para manter um desempenho consistente em todos os níveisA tabela a seguir resume os principais parâmetros de dimensionamento para um tecido HDR de 2 camadas construído em torno deste interruptor:

3. Papel e Características-chave do NVIDIA Mellanox 920-9B110-00FH-0D0

Dentro desta arquitetura, oNVIDIA Mellanox 920-9B110-00FH-0D0serve como elemento de comutação fundamental, fornecendo várias capacidades críticas:

• 40 portas de HDR de 200 Gb/s:Cada porta OSFP suporta 200Gb/s bidireccional com correção de erro para a frente (FEC) para conectividade de alcance alargado confiável.
• SHARPv2 integrado (Protocolo de Agregação e Redução Hierárquica Escalavel):Descarrega as operações de comunicação coletiva, reduzindo a latência MPI All-Reduce em até 30% em cargas de trabalho HPC típicas.
• Roteamento adaptativo e controlo de congestionamento:Reencaminha o tráfego de forma dinâmica para evitar pontos críticos, garantindo um desempenho previsível em padrões de tráfego adversários.
• Telemetria avançada:Os contadores por fluxo e por porto, juntamente com o monitoramento da ocupação do tampão, fornecem uma visibilidade profunda sobre a saúde do tecido.

De acordo com oFicha de dados 920-9B110-00FH-0D0, o comutador oferece uma latência de corte sub-200ns e suporta até 8,0 Tb/s de capacidade de comutação agregada.Especificações 920-9B110-00FH-0D0Também devem destacar fontes de alimentação duplas redundantes e módulos de ventilador com câmbio a quente, garantindo uma disponibilidade de 99,999% para cargas de trabalho críticas para a missão.

4Recomendações de implantação e escalabilidade

Para as organizações que pretendam adoptar o920-9B110-00FH-0D0 Solução OPN de comutação InfiniBand, são recomendadas as seguintes orientações de utilização:

• Estratégia de cablagem:Usar cabos OSFP-OSFP DAC para ligações intra-rack (até 3m) e AOC ou transceptores ópticos para ligações inter-rack e spine-leaf (até 100m).920-9B110-00FH-0D0 compatívelpor matriz de compatibilidade NVIDIA.
• Redundância:Utilize duas fontes de alimentação ligadas a unidades de distribuição separadas, utilizando pelo menos dois interruptores por folha para eliminar pontos de falha individuais.
• Gestão do firmware:Certifique-se de que todos os switches executam versões de firmware NVIDIA idênticas.
• Percurso de escalabilidade:Para clusters com mais de 1.600 nós, transição para uma topologia de três níveis de fechamento dobrado ou alavancagem Dragonfly+ com roteamento adaptativo.O 920-9B110-00FH-0D0 suporta até 64 switches em um único tecido sob um único gerenciador de sub-rede.

Ao calcular o custo total de propriedade, considerar o número reduzido de níveis de interruptor e o cablagem simplificada em comparação com alternativas de radix inferior.920-9B110-00FH-0D0 preçoO custo por porta é significativamente menor do que o NDR, tornando-se uma escolha ideal para implantações HDR conscientes de custos.

5. Operações, Monitorização e Solução de Problemas

O gerenciamento eficaz de um tecido HDR requer uma estrutura abrangente de monitoramento e solução de problemas.NVIDIA Mellanox 920-9B110-00FH-0D0- à base de tecidos, que oferecem:

• Visualização de topologia:Descoberta automática e representação gráfica de todos os interruptores, links e terminais.
• Painéis de controlo de desempenho:Vistas em tempo real da utilização do porto, taxas de erro e indicadores de congestionamento.
• Alerta proativa:Alarmes baseados em limiares para degradação da ligação, anomalias de temperatura e falhas de alimentação.
• Isolamento por falha:Fluxos de trabalho de solução de problemas guiados que identificam cabos defeituosos, transceptores ou portas de comutação.

Para solucionar problemas avançados, aproveite as ferramentas de diagnóstico integradas do switch, incluindo testes de loopback e análise BER (bit error rate),para validar a integridade da ligação antes da implantação de cargas de trabalho de produçãoOs problemas comuns encontrados nas implementações iniciais incluem roteamento subóptimo causado por velocidades de ligação desiguais ou tipos de cabo inadequados.Ativar o roteamento adaptativo e verificar que todos os links estão operando a 200Gb / s (com FEC habilitado) resolve a maioria das anomalias de desempenho. O920-9B110-00FH-0D0 InfiniBand switch OPNTambém suporta configurações redundantes de gerenciador de sub-rede, garantindo que a reconfiguração do tecido ocorra sem intervenção manual no caso de uma falha no nó de gerenciamento.

6Resumo e Avaliação do Valor

O920-9B110-00FH-0D0oferece uma proposta de valor atraente para organizações que constroem ou expandem clusters de HPC e IA baseados em HDR.e gerenciável em nível empresarial, tudo numa plataforma 1UOs principais pontos de valor incluem:

• Função:Até 35% de redução dos tempos de conclusão de trabalhos para cargas de trabalho intensivas em comunicação através da descarga SHARPv2 e do roteamento adaptativo.
• Eficiência dos custos:Custo total de utilização mais baixo em comparação com as alternativas NDR, com custos por porta otimizados para implantações em escala HDR.
• Simplicidade operacional:Integração profunda com a UFM para gestão unificada, monitoramento proativo e transição automática.
• Protecção dos investimentos:Compatibilidade total com os cabos HDR existentes, ótica e pilhas de software, permitindo atualizações em fases sem interromper a produção.

Para as organizações que avaliam o920-9B110-00FH-0D0 à vendaatravés dos parceiros de canal da NVIDIA, recomendamos revisar os detalhadosFicha de dados 920-9B110-00FH-0D0O projecto deve ser desenvolvido em conjunto com um projeto de solução e envolver-se com um arquiteto de solução certificado para validar o projeto para as suas necessidades específicas de carga de trabalho e escala.NVIDIA Mellanox 920-9B110-00FH-0D0A tecnologia HPC está pronta para produção hoje, oferecendo uma base de interconexão equilibrada e de alto desempenho para a próxima geração de inovação em HPC e IA.