Switch InfiniBand Mellanox 920-9B210-00FN-0D0 | Solução Técnica para Baixa Latência em Clusters RDMA, HPC e IA

Interruptor InfiniBand Mellanox 920-9B210-00FN-0D0 | Solução técnica para otimização de interconexão de baixa latência de cluster RDMA, HPC e AI

Um guia técnico abrangente de arquitetura e implantação que abrange redes NVIDIA Quantum-2 NDR InfiniBand, aceleração RDMA, interconexões escalonáveis ​​de cluster de GPU, gerenciamento de malha e otimização de desempenho.

Produto:NVIDIA QM9790/MQM9790-NS2F |SKU:920-9B210-00FN-0D0 |Tecnologia:InfiniBand NDR de 400 Gb/s

A inteligência artificial, a computação de alto desempenho (HPC) e as cargas de trabalho distribuídas de GPU estão colocando demandas sem precedentes na infraestrutura de rede dos data centers. À medida que os clusters de computação crescem, a eficiência da comunicação em rede determina cada vez mais se os recursos caros da GPU podem operar em todo o seu potencial. ONVIDIA Mellanox 920-9B210-00FN-0D0O switch InfiniBand fornece uma plataforma de comutação de alta largura de banda e baixa latência para a construção de redes de computação aceleradas e escaláveis.

Equipado com a tecnologia NVIDIA Quantum-2, o QM9790 suporta 64 portas NDR InfiniBand de 400 Gb/s sem bloqueio por meio de 32 conectores OSFP, com taxa de transferência de comutação bidirecional agregada de até 51,2 Tb/s. Este white paper técnico explica como integrar o switch em arquiteturas de rede habilitadas para RDMA, otimizar a comunicação distribuída de IA, projetar malhas HPC resilientes e estabelecer práticas operacionais e de implantação eficazes.

01. Antecedentes do Projeto e Análise de Requisitos

As plataformas modernas de treinamento de IA geralmente conectam vários servidores GPU em clusters de computação distribuídos. Durante o treinamento do modelo, as GPUs trocam frequentemente gradientes, parâmetros e resultados intermediários usando bibliotecas de comunicação como NVIDIA NCCL. Da mesma forma, os aplicativos HPC dependem da passagem de mensagens de baixa latência por MPI e outras estruturas de computação paralela.

À medida que o número de nós de computação aumenta, o tráfego de comunicação torna-se mais complexo. Os aplicativos podem encontrar saturação de largura de banda, pontos de congestionamento, atrasos na comunicação coletiva e desempenho inconsistente causado pela contenção da rede.

Uma solução InfiniBand de alto desempenho deve atender aos seguintes requisitos técnicos:

• Alta largura de banda:Fornece capacidade de interconexão suficiente para movimentação de dados em larga escala entre servidores GPU e nós de computação.
• Baixa latência de comunicação:Minimize os atrasos associados à sincronização frequente e à troca de pequenas mensagens.
• Suporte RDMA:Habilite uma comunicação eficiente entre memórias com envolvimento reduzido da CPU.
• Escalabilidade de rede:Suporta expansão de racks de servidores individuais para estruturas de IA e HPC de vários racks.
• Otimização de tráfego:Melhore a utilização da rede por meio de roteamento adaptativo e gerenciamento de congestionamento.
• Confiabilidade Operacional:Estabeleça procedimentos de monitoramento, isolamento de falhas e validação de desempenho.

Objetivo do projeto:Crie uma malha InfiniBand escalonável e de alta largura de banda que minimiza gargalos relacionados à rede e oferece suporte a desempenho RDMA previsível para treinamento distribuído de IA, computação científica e aplicativos de HPC com uso intensivo de dados.

02. Arquitetura geral de rede e sistema

A arquitetura proposta utiliza o920-9B210-00FN-0D0 Interruptor InfiniBand OPNcomo um bloco de construção central em uma estrutura NDR de alta velocidade. Dependendo da escala de implantação, os switches podem operar em um design de camada única ou em uma topologia leaf-spine de várias camadas.

Para clusters de GPU com vários racks, uma arquitetura Fat Tree de duas camadas é um ponto de partida prático. Os switches Leaf conectam servidores de computação, enquanto os switches Spine fornecem comunicação de alta largura de banda entre racks. A alocação de uplink deve ser calculada de acordo com os padrões de tráfego esperados, a largura de banda de bissecção necessária e o excesso de assinaturas aceitável.

Topologia de rede de referência

Treinamento em IA/Aplicativos HPC
NCCL/MPI/UCX/RDMA
↓
Servidores GPU e nós de computação
Adaptadores NVIDIA ConnectX InfiniBand
↓
Camada de Folha
Switches NVIDIA Quantum-2 QM9790 NDR
↓
Camada da coluna vertebral
Switches NVIDIA Quantum-2 QM9790 NDR
↓
Outros racks de GPU/nós de computação HPC
Gerenciador de sub-rede externa/Gerenciamento de malha NVIDIA UFM

Nesta arquitetura, os nós de computação usam adaptadores de rede compatíveis com RDMA para acessar a malha InfiniBand. A camada folha fornece conectividade voltada para o servidor, enquanto a camada espinhal oferece suporte à comunicação entre diferentes segmentos de rede. Um projeto sem bloqueio requer largura de banda de uplink adequada em relação aos downlinks conectados.

Grandes implantações de IA também podem distribuir a comunicação por vários trilhos de rede independentes para melhorar o isolamento de falhas e a utilização da largura de banda. O alinhamento do trilho, o posicionamento do adaptador, a afinidade NUMA e a topologia da GPU devem ser considerados em conjunto para evitar que as limitações do lado do host reduzam os benefícios da comutação de alta velocidade.

03. Função e principais recursos do NVIDIA Mellanox 920-9B210-00FN-0D0

O920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRswitch pertence à família NVIDIA Quantum-2 QM9790. É um sistema de comutação InfiniBand não gerenciado projetado para malhas gerenciadas externamente, suportando conectividade densa e comunicação de alta velocidade entre nós de computação acelerados.

A seguirEspecificações 920-9B210-00FN-0D0resumir as características do produto relevantes para a arquitetura de rede e seleção de hardware.

Otimização de comunicação baseada em RDMA

O acesso remoto direto à memória permite que os sistemas participantes transfiram dados entre regiões de memória registradas, reduzindo a sobrecarga de processamento da CPU. Em ambientes de IA e HPC, esse recurso oferece suporte à comunicação eficiente entre nós e pode reduzir os custos de transferência de dados relacionados ao software.

Com adaptadores NVIDIA ConnectX compatíveis e uma pilha de software configurada adequadamente, os aplicativos podem utilizar o transporte RDMA por meio de estruturas como UCX, MPI e NCCL. O GPU Direct RDMA pode otimizar ainda mais a movimentação de dados onde a plataforma de hardware, os drivers e a configuração do aplicativo suportam.

Roteamento Adaptativo e Gerenciamento de Congestionamento

NVIDIA Quantum-2 oferece suporte a mecanismos de roteamento adaptativos que podem distribuir o tráfego pelos caminhos de rede disponíveis. Combinadas com o controle de congestionamento InfiniBand, recursos de qualidade de serviço e gerenciamento de faixa virtual, essas tecnologias ajudam a resolver pontos críticos de tráfego e a melhorar a estabilidade da comunicação.

Os benefícios reais dependem da topologia da malha, das políticas de roteamento, dos recursos de firmware e da configuração de gerenciamento de sub-rede. Os arquitetos de rede devem validar essas configurações no tráfego de aplicação representativo, em vez de confiar exclusivamente na capacidade de comutação teórica.

Computação em rede NVIDIA SHARP

O protocolo NVIDIA Scalable Hierarchical Aggregation and Reduction (SHARP) permite que operações coletivas suportadas sejam processadas na estrutura da rede. Ao reduzir o volume de dados trocados durante operações de redução suportadas, o SHARP pode melhorar a eficiência da comunicação para cargas de trabalho selecionadas de IA e HPC. A implantação requer firmware compatível, componentes de gerenciamento e suporte de software de aplicativo.

04. Estratégia de implantação e expansão da rede

Implantação doSolução OPN do switch InfiniBand 920-9B210-00FN-0D0deve seguir um processo de implementação estruturado que cubra compatibilidade de hardware, planejamento de malha, validação de rede e requisitos de capacidade futuros. Uma abordagem em fases reduz os riscos de configuração e facilita a identificação de problemas de desempenho.

Fase 1: Hardware e Infraestrutura Física

• Confirme o SKU do switch, o OPN legado, as dimensões do rack, os requisitos da fonte de alimentação e a direção do fluxo de ar P2C.
• Selecione adaptadores ConnectX compatíveis, módulos ópticos OSFP, cabos DAC ou cabos ópticos ativos com base na velocidade e distância do link.
• Planeje o roteamento de cabos, o resfriamento do rack, a redundância de energia e a alocação de portas físicas.
• Verifique as versões de firmware suportadas e a interoperabilidade de hardware antes da implantação em produção.

Fase 2: Configuração e Validação do Fabric

Como o QM9790 é um switch não gerenciado, um InfiniBand Subnet Manager externo é necessário para inicialização da malha e configuração do caminho. O NVIDIA UFM pode fornecer gerenciamento de malha, monitoramento e recursos operacionais adicionais quando implantado com componentes suportados.

Os administradores de rede devem verificar os estados dos links das portas, as velocidades negociadas, a descoberta de sub-redes, a configuração de roteamento e a conectividade RDMA ponta a ponta. Quando for relevante, configure o particionamento, os níveis de serviço, as vias virtuais, os controles de congestionamento e o roteamento adaptativo de acordo com os requisitos da aplicação.

Fase 3: Dimensionamento e Planejamento de Capacidade

A expansão do cluster deve considerar a base do switch, a capacidade de uplink disponível, a distribuição do tráfego e o número de camadas da rede. Embora o QM9790 forneça 64 portas NDR lógicas, o arranjo da interface física e as configurações de ruptura de cabos suportadas devem ser refletidas com precisão no plano de alocação de portas.

Para implantações maiores, switches leaf e espinha adicionais podem ser introduzidos para acomodar novos racks de servidores. Os planos de expansão devem levar em conta a redundância, a separação dos trilhos da rede, as distâncias de cabeamento e a manutenção da largura de banda necessária entre os grupos de computação.

05. Operações, monitoramento e solução de problemas

As operações confiáveis ​​do InfiniBand exigem visibilidade contínua do status do link, da integridade da malha, do comportamento de congestionamento e do desempenho da carga de trabalho. NVIDIA UFM e ferramentas de diagnóstico InfiniBand compatíveis podem ser usadas para monitorar condições de rede e identificar padrões de comunicação anormais.

O monitoramento operacional recomendado inclui:

• Saúde dos links:Monitore velocidades negociadas, erros físicos, falhas de link e eventos de porta inativa.
• Utilização de largura de banda:Rastreie o tráfego transmitido e recebido para identificar links com excesso de assinaturas.
• Indicadores de congestionamento:Inspecione contadores de transmissão-espera, atividade de controle de fluxo e pontos de acesso de tráfego.
• Gerenciamento de tecido:Verifique a disponibilidade do Subnet Manager, a consistência do roteamento, as alterações de topologia e os dispositivos descobertos.
• Desempenho do aplicativo:Correlacione medições de rede com NCCL, MPI e métricas de carga de trabalho de produção.

Para testes de desempenho em nível de rede, os engenheiros podem usar utilitários InfiniBand, comoibstat,ibdiagnet,perfquerye ferramentas de desempenho RDMA, comoib_write_bweib_send_lat. Os testes NVIDIA NCCL e benchmarks MPI podem fornecer informações adicionais sobre o desempenho da comunicação em nível de aplicativo.

Ao solucionar problemas de degradação de desempenho, verifique primeiro a conectividade física, seguida pela velocidade da porta, contadores de erros, roteamento de malha e indicadores de congestionamento. Se as métricas de rede permanecerem íntegras, investigue a largura de banda PCIe do lado do host, o posicionamento NUMA, a afinidade da GPU, as versões do driver e as configurações de comunicação do aplicativo.

A aceitação do desempenho deve incluir largura de banda efetiva, latência de comunicação, rendimento de operação coletiva e tempo de conclusão da carga de trabalho. As medições de latência P50, P95 e P99 podem ajudar a revelar a variabilidade de desempenho sob tráfego sustentado ou intenso. Os limites de aceitação devem ser definidos usando objetivos de serviço específicos do projeto e dados de linha de base medidos.

06. Valor da solução e avaliação de desempenho

O920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRA plataforma de comutação fornece a capacidade e a arquitetura de rede necessárias para ambientes de computação distribuídos exigentes. Seu principal valor reside em permitir comunicação de alta velocidade, design de malha escalável e integração eficiente com sistemas de computação compatíveis com RDMA.

Do ponto de vista da infraestrutura, a conectividade NDR de 400 Gb/s e a alta densidade de portas podem reduzir as restrições de rede à medida que o tamanho dos clusters de GPU aumenta. Os recursos avançados do InfiniBand oferecem suporte a uma distribuição de tráfego mais eficiente, enquanto o gerenciamento de malha externa melhora a visibilidade operacional e a solução de problemas.

Uma avaliação de valor completa deve comparar os custos de implantação com melhorias mensuráveis ​​no rendimento de aplicativos, utilização de GPU, estabilidade de rede e eficiência operacional. Avaliação das equipesPreço 920-9B210-00FN-0D0também deve levar em conta adaptadores compatíveis, óptica, cabos, software de gerenciamento, energia e requisitos de suporte.

Princípio de Avaliação Técnica:O sucesso de uma atualização de rede InfiniBand deve ser determinado por meio de benchmarking reproduzível e validação de carga de trabalho de produção. A troca de largura de banda por si só não garante uma redução fixa no tempo de treinamento ou na latência do aplicativo.

07. Conclusão e Desenvolvimento Futuro

ONVIDIA Mellanox 920-9B210-00FN-0D0O switch InfiniBand é uma solução de rede de alta densidade projetada para treinamento de IA, aplicativos HPC e ambientes acelerados de data center. Com tecnologia NVIDIA Quantum-2, 64 portas NDR e taxa de transferência bidirecional agregada de até 51,2 Tb/s, ele oferece uma base para a construção de malhas de computação escaláveis ​​e de baixa latência.

A implantação bem-sucedida requer mais do que instalação de hardware. Uma solução bem projetada deve coordenar a topologia de rede, adaptadores compatíveis com RDMA, interconexões ópticas, configuração do Subnet Manager, ajuste de carga de trabalho e monitoramento operacional.

À medida que os clusters de GPU se expandem e as cargas de trabalho distribuídas se tornam cada vez mais intensivas em comunicação, as malhas InfiniBand de alto desempenho continuarão sendo um componente importante da moderna infraestrutura de computação acelerada. O QM9790 oferece uma opção prática para organizações que buscam conectividade NDR confiável e um caminho claro para arquiteturas de rede multi-rack maiores.

Referência Técnica:Manual do usuário dos sistemas de switch InfiniBand NVIDIA QM97XX 1U NDR 400 Gbps. As especificações finais de implantação, os recursos suportados, a compatibilidade de firmware e as configurações físicas devem ser verificados na documentação do SKU exato do produto.

Soluções de rede NVIDIA Mellanox InfiniBand

fornece hardware de rede NVIDIA Mellanox e suporte a soluções para data centers de IA, clusters de GPU, sistemas HPC e infraestrutura corporativa. Nosso portfólio de produtos inclui switches NVIDIA Quantum InfiniBand, adaptadores de rede ConnectX, transceptores ópticos e cabos DAC/AOC de alta velocidade.

Para clientes que procuramCompatível com 920-9B210-00FN-0D0componentes de rede, suporte para seleção de produtos, informações de disponibilidade ou cotações de projetos, nossa equipe pode ajudar na identificação de modelos, correspondência de configuração e planejamento de aquisições.