Solução Técnica do Switch InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Solução Técnica

Análise dos antecedentes e dos requisitos do projecto

À medida que o treinamento de grandes modelos de IA e a computação científica HPC aumentam para maiores empregos,O principal desafio para os clusters de computação mudou de poder de computação de um único nó para eficiência de comunicação entre nósAs redes RDMA servem como espinha dorsal de transporte para operações coletivas, acesso ao armazenamento e tráfego de pontos de verificação, e seu comportamento determina diretamente a utilização geral do cluster.

Os requisitos típicos nestes projectos incluem:

• Largura de banda elevada por nó:Os servidores de GPU exigem cada vez mais 200Gb/s ou mais para acompanhar as cargas de trabalho de treinamento multi-GPU.
• Baixa latência previsível:AllReduce e sincronização de parâmetros são sensíveis à latência de cauda, não apenas a latência média.
• Escalabilidade:O tecido deve crescer de dezenas de nós para centenas ou milhares sem redesenhar a topologia.
• Gestão:As equipas de operações precisam de telemetria e visibilidade de congestionamento para isolar nós lentos e ligações mal configuradas.

O MQM8790-HS2F está posicionado para atender a esses requisitos como uma plataforma de comutação HDR InfiniBand de 200 Gb/s.

Projeto geral da arquitetura de rede e sistema

A arquitetura recomendada é uma árvore de gordura de dois níveis sem bloqueio, com uma camada de espinha dorsal construída a partir de switches MQM8790-HS2F e uma camada de folha conectando nós de computação e armazenamento.Este projeto fornece largura de banda uniforme leste-oeste e diversidade de caminho previsível, que é essencial para os padrões de tráfego RDMA.

As principais decisões arquitetônicas incluem:

• HDR de ponta a ponta:Os nós de computação equipados com adaptadores ConnectX-6 ou ConnectX-7 conectam-se a 200 Gb/s aos switches de folha, formando um caminho de ponta a ponta compatível com MQM8790-HS2F.
• Capacidade da coluna:Cada MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 switch fornece 40 portas a 200Gb/s, permitindo uma alocação flexível de uplink e downlink com base em metas de oversubscription.
• Tecido de armazenagem:Os objetivos de armazenamento paralelo e NVMe-over-Fabrics podem ser colocados em grupos de folhas dedicados para isolar o tráfego de armazenamento do tráfego de treinamento.
• Plano de gestão:A gestão fora da banda e a recolha de telemetria estão separadas do plano de dados para evitar interferências.

Papel do Mellanox (NVIDIA Mellanox) MQM8790-HS2F e principais características

Nesta solução, o Mellanox (NVIDIA Mellanox) MQM8790-HS2F atua como o elemento de comutação da coluna vertebral, agregando tráfego de folhas e permitindo computação na rede.Também reduz os custos de comunicação coletiva e melhora a eficiência do tecido.

As principais características técnicas incluem:

• Portas HDR de 40 × 200 Gb/s:Até 16Tb/s de capacidade agregada em um fator de forma de 1U, com suporte adaptativo para velocidades HDR, EDR e FDR.
• Computação em rede SHARP:Descarrega o AllReduce e as operações coletivas relacionadas ao switch, reduzindo a participação da GPU e da CPU.
• Roteamento adaptativo:Mitigam os pontos quentes e melhoram o equilíbrio de carga em vários caminhos.
• Controle do congestionamento:Suporta o DCQCN e mecanismos relacionados para manter a latência estável sob carga.
• Ecossistema de software:Gerenciado pelo MLNX-OS e monitorizado pela UFM e NetQ.

Os arquitetos devem rever a folha de dados MQM8790-HS2F e as especificações MQM8790-HS2F para detalhes de energia, resfriamento e porta-split antes de finalizar os layouts de rack.O preço MQM8790-HS2F e as opções de venda MQM8790-HS2F devem ser validados com o canal de aquisição, uma vez que os preços variam consoante a escala e a configuração.

Recomendações de implantação e expansão

Para a implantação inicial, um único switch MQM8790-HS2F InfiniBand pode servir como espinha dorsal e núcleo em um pequeno cluster, conectando até 40 nós a 200Gb/s. À medida que o cluster cresce,são adicionados interruptores de coluna adicionais, e o tecido passa a um design completo de duas camadas com separação folha-espinha.

Orientação de expansão:

• Disciplina de cablagem:Normalizar a óptica QSFP56 e os tipos DAC/AOC para simplificar a poupança e reduzir o risco de compatibilidade.
• Divisão do porto:Usar 2×100Gb/s breakout onde 200Gb/s por nó não é necessário, melhorando a eficiência da porta.
• Objetivos de sobrescrição:Planejar relações espinha-de-folha com base em padrões de explosão de carga de trabalho, em vez de pico teoricamente largura de banda sozinho.
• Energia e refrigeração:Valida o espaço de potência por rack em relação ao fluxo nominal do interruptor antes de escalar.

Monitoramento, solução de problemas e otimização das operações

A visibilidade operacional é fundamental para manter uma baixa latência em escala.A solução de comutação MQM8790-HS2F InfiniBand deve ser integrada com UFM para monitorização em todo o tecido e NetQ para telemetria e validação.

As práticas recomendadas incluem:

• Monitorar os contadores por porto para erros, descartes e congestionamentos.
• Rastrear candidatos de nó lento usando telemetria em vez de depender apenas de falhas no nível do emprego.
• Validar a consistência do firmware em todos os switches e adaptadores para evitar problemas de compatibilidade.
• Reveja a configuração SHARP periodicamente, uma vez que árvores de agregação mal configuradas podem reduzir em vez de melhorar o desempenho.

Resumo e avaliação do valor

O MQM8790-HS2F fornece uma base prática para clusters de RDMA, HPC e AI que exigem baixa latência previsível e alta largura de banda.Computação em rede SHARP, e um ecossistema de gestão maduro, o NVIDIA Mellanox MQM8790-HS2F ajuda os arquitetos a projetar tecidos que escalam sem sacrificar a eficiência.

Do ponto de vista do valor, a contribuição do switch deve ser avaliada com base na utilização do cluster, no tempo de conclusão do trabalho e nas despesas operacionais, em vez de apenas na contagem de portas.