Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch Solução técnica

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Solução técnica de switch InfiniBand – Otimização de interconexão de baixa latência para clusters RDMA/HPC/AI

Este white paper técnico apresenta uma arquitetura de solução abrangente construída em torno doMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Chave InfiniBand. Destinado a arquitetos de rede, engenheiros de pré-vendas e líderes de operações, este documento detalha como o920-9B110-00FH-0D0oferece RDMA determinístico de baixa latência e sem perdas e largura de banda HDR escalonável de 200 Gb/s para clusters de HPC e IA de média a grande escala. Cobrimos projeto arquitetônico, tecnologias-chave, topologias de implantação, melhores práticas operacionais e avaliação de valor.

1. Histórico do projeto e análise de requisitos

O treinamento moderno em IA, a simulação científica e a análise com uso intensivo de dados exigem malhas de rede que forneçam latência consistente de submicrossegundos, perda zero de pacotes e largura de banda de alta bisseção. As soluções tradicionais baseadas em Ethernet, mesmo com aprimoramentos RoCEv2, muitas vezes ficam aquém devido ao gerenciamento complexo de congestionamento, sobrecarga de ajuste de PFC e latência final imprevisível sob carga. Para organizações que implantam clusters de 64 a 512 nós de GPU, há uma clara necessidade de uma interconexão específica que equilibre desempenho, custo e simplicidade operacional.

Os principais requisitos do projeto identificados em implantações típicas de HPC/IA incluem:

• Latência do switch ponta a ponta < 1 μs (porta a porta) sob carga total
• Fabric sem perdas com zero quedas de pacotes induzidas por congestionamento
• Topologia escalável que suporta de 64 a 512 nós com largura de banda de bissecção completa
• Operações simplificadas com telemetria integrada e recuperação automatizada de falhas
• Preços por porta econômicos para orçamentos intermediários

ONVIDIA Mellanox 920-9B110-00FH-0D0atende diretamente a essas demandas combinando tecnologia HDR (High Data Rate) de 200 Gb/s, roteamento adaptativo e descarregamento coletivo SHARP em uma plataforma 1U com eficiência energética. O920-9B110-00FH-0D0 Interruptor InfiniBand OPNsimplifica a aquisição com um número de peça de pedido claro, garantindo configuração consistente em todas as implantações.

2. Projeto geral de arquitetura de rede/sistema

A arquitetura recomendada segue uma topologia leaf-spine (fat-tree) de dois níveis, fornecendo largura de banda de bissecção completa e alta resiliência. Cada bloco leaf compreende vários racks, com cada rack abrigando dois920-9B110-00FH-0D0interruptores para redundância. A camada espinhal agrega o tráfego de todos os switches leaf, garantindo a comunicação sem bloqueio entre quaisquer dois terminais. Para um cluster típico de 256 GPU, o projeto usa oito switches leaf (cada um conectando 32 nós de GPU por meio de links de 200G) e quatro switches de coluna, todos interconectados usando cabos ópticos ou DAC HDR de 200G.

A densidade de 200 Gb/s por porta do switch permite topologias flexíveis, incluindo:

• Clos de 3 estágios (árvore gorda):Ideal para cargas de trabalho equilibradas com padrões de tráfego previsíveis.
• Libélula +:Para clusters ultragrandes que exigem alta base e comunicação global eficiente.

O920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRplataforma sustenta a mudança, garantindo compatibilidade com o ecossistema HDR da NVIDIA, incluindo adaptadores ConnectX‑6 e ConnectX‑7. O920-9B110-00FH-0D0 compatívelO design também oferece suporte a óptica de terceiros validada por meio do programa de parceria da NVIDIA, oferecendo flexibilidade de implantação.

3. Função e principais recursos doMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0na solução

ONVIDIA Mellanox 920-9B110-00FH-0D0é a base desta solução, fornecendo um conjunto robusto de recursos avançados de rede:

• HDR de 200 Gb/s por porta– com switching cut-through que oferece latência porta a porta inferior a 900 ns, ideal para cargas de trabalho RDMA e MPI sensíveis à latência.
• Roteamento Adaptativo– seleciona dinamicamente o caminho menos congestionado por pacote, evitando links de pontos de acesso e mantendo um desempenho consistente mesmo sob padrões de tráfego assimétricos.
• SHARPv2 (protocolo de agregação e redução hierárquica escalonável)– alivia a comunicação coletiva (redução total, transmissão) das CPUs host, reduzindo a vibração da rede e melhorando a eficiência do treinamento de IA em até 25%.
• Computação em rede– suporta redução e segmentação de dados, liberando valiosos recursos de GPU para computação.
• Telemetria Avançada– contadores por porta, histogramas de ocupação de buffer e métricas de latência em nível de caminho, todos exportáveis ​​via UFM ou APIs REST para monitoramento proativo.

OEspecificações 920-9B110-00FH-0D0também incluem suporte para DACs de cobre passivos e módulos ópticos ativos, proporcionando flexibilidade de distância de intra-rack (≤5 m) a inter-rack (até 100 m com óptica SR4 200G). Para organizações que exigem implantação de alta densidade, o formato 1U do switch e o baixo consumo de energia (≈1,5 W por porta) minimizam a sobrecarga operacional.

4. Recomendações de implantação e escalonamento (topologia típica)

Para uma implantação em fases, recomendamos a seguinte abordagem:

• Fase 1 – Piloto (64 nós GPU):Implante 2 switches leaf e 2 switches Spine. Valide o desempenho em relação aoFolha de dados 920-9B110-00FH-0D0parâmetros, com foco na latência, taxa de transferência e eficiência de descarregamento SHARP.
• Fase 2 – Expansão horizontal (128–256 nós):Adicione switches leaf em incrementos de 2 por rack e switches de coluna conforme necessário para manter o excesso de assinaturas ≤ 1:1. A densidade de porta de 200G permite que um switch de folha única suporte de 32 a 64 nós (dependendo da velocidade de uplink do nó).
• Fase 3 – Multiplano (512+ nós):Implemente diversas malhas independentes (por exemplo, planos 2× ou 4×) com balanceamento de carga baseado em rota, aproveitando o suporte do switch para pistas virtuais e chaves de partição.

O cabeamento típico usa DACs OSFP para OSFP para conexões intra-rack (≤3 m) e módulos ópticos OSFP para 200G SR4 para distâncias espinhais de até 100 m. OSolução OPN do switch InfiniBand 920-9B110-00FH-0D0simplifica a logística – o OPN garante revisões consistentes de hardware e firmware em todas as unidades, reduzindo erros de implantação.

5. Operações, monitoramento, diagnóstico de falhas e otimização

Operações eficazes são essenciais para manter a baixa latência na produção. A solução integra-se comNVIDIA UFM (gerenciador de malha unificada), que fornece:

• Painel em tempo real– largura de banda por porta, contadores de erros e mapas térmicos de congestionamento.
• Reotimização automatizada de caminhos– quando um link se degrada ou falha, o UFM recalcula rotas e reconfigura tabelas de roteamento adaptativas sem intervenção do operador.
• Telemetria histórica– armazena dados de latência e fluxo para análise post mortem e planejamento de capacidade.

Solução de problemas recomendada e fluxo de trabalho de otimização:

1. Monitore quadros de pausa e descartes por porta– espera-se zero descarte; quaisquer descartes indicam configuração incorreta ou óptica defeituosa. Use alertas do UFM para identificar problemas de forma proativa.
2. Validar operação SHARPv2– verificar as estatísticas coletivas da UFM para garantir que as operações de redução sejam descarregadas; caso contrário, verifique as configurações do firmware e do adaptador.
3. Otimize limites de roteamento adaptáveis– ajuste os intervalos de detecção de carga com base nos padrões de carga de trabalho. O920-9B110-00FH-0D0permite o ajuste fino por meio de interfaces de gerenciamento.
4. Atualizações regulares de firmware– disponível no portal de suporte da NVIDIA, incluindo melhorias de desempenho e patches de segurança.

Para organizações que avaliam oPreço 920-9B110-00FH-0D0, a simplicidade operacional e a redução da sobrecarga de engenharia contribuem diretamente para um menor custo total de propriedade em comparação com alternativas Ethernet que exigem ajuste constante.

6. Resumo e avaliação de valor

OMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0oferece uma base comprovada e econômica para redes de cluster RDMA/HPC/AI. Ao combinar velocidade HDR de 200 Gb/s, computação avançada em rede e telemetria robusta, ele elimina gargalos de desempenho tradicionais e fornece um caminho de atualização claro para estruturas Ethernet em dificuldades. As principais propostas de valor incluem:

• Desempenho:Latência inferior a 900 ns, zero perda de pacotes e operações coletivas até 25% mais rápidas via SHARPv2.
• Escalabilidade:Suporta clusters de 64 a 512+ nós com largura de banda de bisseção completa, adaptável às topologias fat-tree e Dragonfly+.
• Eficiência operacional:A integração do UFM e a recuperação automatizada de falhas reduzem a intervenção manual em mais de 80%.
• Custo-eficácia:Preços competitivos por porta (Preço 920-9B110-00FH-0D0) e o baixo consumo de energia proporcionam um TCO atraente.

OFolha de dados 920-9B110-00FH-0D0eEspecificações 920-9B110-00FH-0D0fornecem detalhes técnicos abrangentes e as unidades estão prontamente disponíveis (920-9B110-00FH-0D0 para vendaatravés da rede global de canais da NVIDIA). A compatibilidade do switch com os adaptadores NVIDIA existentes garante um caminho de migração tranquilo para organizações que já investiram no ecossistema Mellanox.

Em resumo, esta solução técnica baseada naSolução OPN do switch InfiniBand 920-9B110-00FH-0D0oferece uma estrutura robusta e operacionalmente eficiente que atende aos mais exigentes requisitos de interconexão de baixa latência – uma pedra angular para a próxima geração de computação de IA e HPC.