Referência técnica do switch NVIDIA Mellanox MQM8790-HS2F InfiniBand

Este white paper técnico destina-se a arquitetos de rede, engenheiros de pré-vendas e líderes de operações. Centrado noNVIDIA Mellanox MQM8790-HS2FSwitch InfiniBand, ele fornece uma referência detalhada para projetar, implantar e operar malhas de alto desempenho que atendem treinamento de IA em larga escala e simulações de HPC — com foco na aceleração RDMA e comunicação determinística de baixa latência.

As cargas de trabalho modernas de IA e HPC estão direcionando clusters de GPU para dezenas de milhares de nós. As malhas Ethernet tradicionais, mesmo com RoCE, apresentam inconsistências de desempenho sob padrões incast e sofrem com maior sobrecarga de CPU. Os principais requisitos para interconexões de cluster de próxima geração incluem:

• Latência ponto a ponto de submicrossegundos para operações coletivas sincronizadas
• Transporte sem perdas e sem congestionamentos para evitar atrasos no tempo limite de cauda
• Descarregamento total do processamento de comunicação dos núcleos CPU/GPU
• Topologias fat‑tree ou dragonfly+ escaláveis ​​com largura de banda sem bloqueio
• Caminho de migração econômico da óptica 100G/200G existente

Atendendo a essas demandas, oInterruptor InfiniBand MQM8790-HS2Foferece HDR de 200 Gb/s por porta, 40 portas QSFP56 por unidade e suporte nativo para RDMA e computação em rede. Esta solução foi desenvolvida especificamente para ambientes onde a eficiência da interconexão se traduz diretamente no tempo de conclusão do trabalho e no TCO.

A topologia física recomendada para clusters AI/HPC usando oNVIDIA Mellanox MQM8790-HS2Fé uma árvore gorda de duas ou três camadas (também conhecida como espinha da folha). Cada switch leaf se conecta a servidores GPU por meio de links HDR ou HDR100, enquanto os switches de coluna fornecem conectividade full-mesh entre folhas. Uma configuração típica de 800 GPU emprega:

• 20 interruptores de folhas: cadaMQM8790-HS2F 200 Gb/s HDR QSFP56 de 40 portasatendendo até 20 servidores (conexões dual-rail)
• 4 switches Spine: totalmente interconectados com folhas usando uplinks de 200 Gb/s
• Proporção sem bloqueio de 1:1 em cada nível

Para clusters maiores (mais de 2.000 GPUs), uma arquitetura de três camadas adiciona uma camada superespinha. Todo o gerenciamento de malha é feito pelo Subnet Manager (SM), seja executado em um controlador dedicado ou incorporado no firmware do switch para malhas menores.

Dentro desta arquitetura, oMQM8790-HS2Fserve como elemento folha e lombada. Seus principais diferenciais incluem:

• HDR de 200 Gb/s por porta:Taxa de transferência bidirecional completa com capacidade de comutação sem bloqueio agregada de 16 TB/s
• Roteamento adaptativo (AR):Distribui dinamicamente o tráfego por vários caminhos para evitar pontos de acesso, o que é fundamental para a eficiência da fat-tree
• SHARPv2 (protocolo de agregação e redução hierárquica escalável):Descarrega operações coletivas (All-Reduce, Reduce-Scatter) diretamente na rede de switch, reduzindo o tempo ocioso da GPU
• Controle de congestionamento:O controle de fluxo refinado com mecanismos FECN/BECN garante malha sem perdas
• Alta densidade de portas:40 portas QSFP56 por chassi de 1U, simplificando o layout do rack e reduzindo a complexidade do cabeamento entre racks

Os engenheiros podem consultar oFolha de dados MQM8790-HS2Feespecificações deMQM8790-HS2Fpara obter números detalhados de potência, temperatura e latência. A plataforma também éCompatível com MQM8790-HS2Fcom uma ampla gama de ópticas HDR, HDR100 e até EDR, permitindo atualizações graduais.

Para um cluster de IA balanceado de 1.000 GPUs, recomenda-se a seguinte sequência de implantação:

• Passo 1 – Camada de folhas:Instale 25xMQM8790-HS2Funidades como interruptores de folha. Conecte cada servidor GPU (8 GPUs por servidor) por meio de duas portas HDR a duas folhas diferentes para redundância e largura de banda.
• Passo 2 – Camada da coluna vertebral:Implante 8xNVIDIA Mellanox MQM8790-HS2Fà medida que a coluna muda. Conecte cada folha a cada coluna usando links de 200 Gb/s (40 uplinks por folha, mas normalmente um subconjunto suficiente para manter a taxa de bloqueio ≤1:1).
• Etapa 3 – Posicionamento do Subnet Manager:Execute instâncias SM redundantes em dois servidores leves ou use o SM integrado para clusters com menos de 2.000 portas.
• Passo 4 – Particionamento:Use partições InfiniBand para isolar fluxos de tráfego de produção, desenvolvimento e armazenamento na mesma malha física.

Para expansão para mais de 2.500 GPUs, adicione uma camada super-spine usando unidades MQM8790-HS2F adicionais e aumente a densidade do uplink leaf-to-spine. OSolução de switch InfiniBand MQM8790-HS2Fé dimensionado linearmente sem rearquitetar o núcleo.

Operação diária de um tecido construído sobreMQM8790-HS2Fswitches são gerenciados por meio do Fabric Manager e do MLNX‑OS da NVIDIA. As principais práticas incluem:

• Monitoramento:Use `ibdiagnet` para validação de topologia, `perfquery` para contadores de portas e painéis Grafana com exportadores Prometheus para telemetria em tempo real (utilização de link, erros de símbolos, marcadores de congestionamento).
• Firmware e software:Mantenha firmware consistente em todos os switches. Consulte as notas de versão mais recentes noFolha de dados MQM8790-HS2Fpara compatibilidade de versão.
• Solução de problemas:Problemas comuns – oscilação de link, MTU incompatível ou configuração incorreta de partição – são rapidamente isolados usando `ibstatus`, `smpquery` e switch syslog. Os logs de roteamento adaptativo podem identificar fontes de congestionamento.
• Otimização:Ajuste limites de roteamento adaptativos e parâmetros de controle de congestionamento com base no perfil de carga de trabalho. Para treinamento de IA em larga escala, ative o SHARP nas bibliotecas MPI aplicáveis ​​(por exemplo, NCCL com plugin SHARP).

Ao planejar orçamento ou expansão, solicitePreço MQM8790-HS2Fcotações de parceiros autorizados e verifiqueMQM8790-HS2F à vendadisponibilidade. A compatibilidade da plataforma com o cabeamento QSFP56 existente reduz o risco de aquisição.

OMQM8790-HS2Fnão é apenas um switch, é um elemento fundamental para estruturas determinísticas e de baixa latência de HPC e IA. Sua combinação de HDR de 200 Gb/s, densidade de 40 portas, roteamento adaptativo e computação em rede SHARP aborda diretamente os principais pontos problemáticos das interconexões de cluster modernas. Em comparação com soluções Ethernet 200G alternativas, o ecossistema InfiniBand oferece:

• Menor sobrecarga de CPU (RDMA verdadeiro com descarregamento de transporte de hardware)
• Latência determinística em escala de microssegundos sob carga real
• Gerenciamento de malha simplificado com Subnet Manager centralizado
• Escalabilidade comprovada para dezenas de milhares de endpoints

Para organizações que constroem ou expandem clusters de GPU, a adoção doNVIDIA Mellanox MQM8790-HS2Fsignifica alcançar FLOPS efetivos mais elevados por dólar, reduzir o tempo de conclusão do trabalho e preparar a interconexão para o futuro para atualizações de HDR200 (400 Gb/s) de próxima geração. Projetos de referência detalhados, incluindo completosespecificações deMQM8790-HS2Fe matrizes de cabeamento estão disponíveis no portal de parceiros NVIDIA.