NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Solução técnica

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Solução Técnica

1Análise dos antecedentes e requisitos do projecto

À medida que os aglomerados de treinamento de inteligência artificial (IA) aumentam para milhares de GPUs e sistemas de computação de alto desempenho (HPC) avançam em direção ao desempenho exascale,O tecido de rede que conecta os nós de computação tornou-se um determinante crítico de desempenhoNesses ambientes, a latência não é apenas uma métrica que afeta diretamente o desempenho da aplicação, tempo de solução e eficiência geral do cluster.Para cargas de trabalho que dependem fortemente de operações coletivas MPI (Message Passing Interface) e de padrões de comunicação de todos para todos, como o treinamento de grandes modelos de linguagem, dinâmica de fluidos computacional e simulações de química quântica ̇ mesmo aumentos de latência de nível de microssegundos podem traduzir-se em horas de tempo de execução adicional.mesmo com RDMA sobre Ethernet convergente (RoCE), muitas vezes lutam para fornecer a baixa latência determinista e operação livre de congestionamento exigida por essas aplicações exigentes.

Este desafio é amplificado por três tendências simultâneas. Primeiro, a escala crescente de modelos de IA (agora excedendo trilhões de parâmetros) exige um paralelismo maciço entre milhares de GPUs,Requerendo um tecido capaz de suportar um elevado débito com variação de latência mínimaEm segundo lugar, a convergência das cargas de trabalho de HPC e IA significa que um único tecido deve suportar de forma eficiente os padrões de comunicação baseados em MPI e as operações coletivas de GPU baseadas em NCCL.A eficiência operacional exige que o tecido seja gerenciável em escala, com capacidades abrangentes de monitorização e otimização automatizada.É necessária uma solução técnica estruturada que aproveite um switch InfiniBand de alto desempenho com redirecionamento de baixa latência, gerenciamento avançado de congestionamento e aceleração de computação na rede para fornecer desempenho previsível em escala.

2. Projeto geral de arquitetura de rede / sistema

A arquitetura proposta adopta uma topologia de folha de coluna utilizandoNVIDIA Mellanox MQM8790-HS2Fcomutadores como camada de folha, ligados a comutadores de espinha de maior densidade de porta (como a série QM9700 com 64 portas de NDR de 400Gb/s) para tecidos de grande escala.A arquitetura é projetada para suportar comunicação não bloqueadora com largura de banda de bisecção completa, garantindo que qualquer nó de computação possa se comunicar com qualquer outro nó à velocidade do fio sem disputas.

Em uma implantação típica para um cluster de 2.000 nós, a arquitetura compreende:

• Nível de folhas:20MQM8790-HS2F Comutador de banda Infiniunidades, cada uma com 40 portas QSFP56 a funcionar a 200 Gb/s HDR.Cada switch de folha se conecta a 50 nós de computação (usando uma mistura de conexões diretas de 200Gb / s e HDR100 de 100Gb / s através de cabos QSFP56 para 2 × QSFP56).
• Nível da coluna:4 comutadores QM9700 (ou comutadores de alta densidade equivalentes), cada um com 64 portas de NDR de 400 Gb/s, proporcionando conectividade entre folhas.
• Núcleos de cálculo:Cada nó equipado com um ou mais adaptadores ConnectX-6 HDR ou ConnectX-7 NDR, ligados a interruptores de folha através de cabos ópticos passivos de cobre ou ativos.
• Rede de gestão:Uma rede Ethernet separada fora de banda para gerenciamento de switches, integrada com a plataforma Unified Fabric Manager (UFM) da NVIDIA para monitoramento e otimização centralizada de tecidos.

A arquitetura aproveita oMQM8790-HS2F 200Gb/s HDR 40 portas QSFP56Configuração para fornecer uma capacidade total de comutação de folha de 8Tb/s por comutador.Cada porta de 200 Gbps pode suportar um único ponto final de 200 Gbps ou dois pontos finais de 100 Gbps, que acomodam nós de computação heterogêneos com diferentes velocidades de interface.

3. Papel e características-chave do NVIDIA Mellanox MQM8790-HS2F na solução

Dentro desta arquitetura, oMQM8790-HS2Fserve como o switch de folha fundamental, fornecendo conexão de baixa latência e alta largura de banda para nós de computação, apoiando ao mesmo tempo recursos avançados essenciais para cargas de trabalho de HPC e IA.As suas principais características técnicas são fundamentais para o êxito da solução global:

• Latência de porta para porta inferior a 100 nanossegundos:Oferece baixa latência determinista essencial para coletivos MPI sensíveis à latência e operações de redução total.
• 40 portas de HDR InfiniBand de 200 Gb/s:Fornece capacidade de comutação total de 8Tb/s em um fator de forma compacto de 1U, maximizando a densidade das portas e reduzindo o consumo de espaço de rack.
• Suporte ao SHARP (Protocolo de Agregação e Redução Hierárquica Escalavel):Permite a aceleração de computação na rede para operações coletivas MPI, descarregando até 20% da carga de trabalho de comunicação da CPU/GPU.
• Roteamento adaptativo:Distribui dinamicamente o tráfego entre os caminhos de tecido disponíveis com base em métricas de congestionamento em tempo real, otimizando o rendimento e minimizando a variação de latência.
• Controle do congestionamento:Implementa mecanismos avançados de gestão de congestionamento (incluindo controlo de fluxo a nível de pacotes e notificação de congestionamento) para evitar que os hotspots da rede degradem o desempenho.
• Apoio ao HDR100:Permite que cada porta de 200 Gbps seja configurada como duas portas independentes de 100 Gbps, proporcionando flexibilidade de implantação para ambientes de velocidade mista.
• Interfaces de gestão abrangentes:Suporta o IBTA-compatible Subnet Management (SM), SNMP, CLI, Web UI e integração com UFM para gerenciamento centralizado de tecidos.
• Eficiência energética:Consumo de energia típico inferior a 230 W, contribuindo para um menor requisito de arrefecimento e uma melhor PUE.

Estas características estão amplamente documentadas noFicha de dados MQM8790-HS2F, que inclui curvas de desempenho detalhadas, especificações térmicas e desenhos mecânicos para integração em ferramentas de layout de rack.

4Recomendações de implantação e escalagem (com descrição típica da topologia)

Para a implantação inicial, recomendamos uma estratégia de expansão modular baseada na arquitetura de nível de cápsula.suportando aproximadamente 400 nós de computação com largura de banda de bisecção completa. OMQM8790-HS2F Solução de comutação InfiniBandpermite a escala incremental adicionando pods à medida que a capacidade de computação cresce, com a camada de coluna fornecendo conectividade entre pods para um tecido unificado.

Topologia típica para um único pod (400 nós de computação):

• Interruptores de folha:4 × MQM8790-HS2F, cada uma com 40 portas a 200Gb/s. São utilizadas 36 portas por folha para a conectividade de nós de computação (suportando até 72 nós por folha utilizando o breakout HDR100),enquanto 4 portas por folha são usadas para uplinks espinha.
• Interruptores da coluna:2 × QM9700 (ou comutadores NDR de 64 portas equivalentes), cada um conectado a todos os 4 comutadores de folha através de uplinks de 400 Gb/s (usando cabos QSFP56 a QSFP-DD de 4 × 200 Gb/s).
• Núcleos de cálculo:400 nós, cada um ligado a um switch de folha através de uma única ligação HDR100 de 200 Gb/s ou dupla ligação HDR100 de 100 Gb/s.

Escalado para além de uma única cápsula:

• Adicionar pods adicionais (cada um com 4 interruptores de folha MQM8790-HS2F) conforme a capacidade de computação exigir.
• Conectar as cápsulas através de uma camada superior da coluna vertebral (superspina) usando interruptores QM9700 ou NDR adicionais.
• Manter a consistência do tecido utilizando oMQM8790-HS2Fem todas as posições das folhas, garantindo uma latência e uma gestão uniformes em todo o tecido.

Ao implantar oMQM8790-HS2FNo modo de interrupção HDR100, aplicam-se as seguintes orientações de cablagem:

Para tecidos de grande escala com mais de 2.000 nós, recomendamos o uso das capacidades de simulação de tecido da UFM para validar o projeto de topologia e o comportamento de congestionamento antes da implantação.

5Operações e manutenção: Monitorização, solução de problemas e otimização

O ciclo de vida operacional do tecido InfiniBand baseado no MQM8790-HS2F requer uma abordagem sistemática de monitoramento, solução de problemas e otimização.Recomendamos a implantação da plataforma NVIDIA UFM como a ferramenta central de gestão e monitoramento, proporcionando visibilidade em tempo real do desempenho do tecido, métricas de latência e padrões de congestionamento.

Principais métricas de monitorização a acompanhar:

• Latência no nível da porta:Latência de ponta a ponta em todo o tecido, com alertas para portas que excedam os limiares de latência.
• Produção e utilização:Registo agregado e por porta, identificando ligações subutilizadas ou sobreutilizadas.
• Indicadores de congestionamento:Pacotes de queda, pausas de quadros e eventos de notificação de congestionamento.
• Saúde dos tecidos:Status da ligação, contadores de erros e telemetria de temperatura/potência.

Protocolo de resolução de problemas para problemas comuns:

1. Degradação da latência:Utilize as ferramentas de análise de latência da UFM para identificar o caminho específico ou a porta com maior latência; verifique se há congestionamento ou configuração errada do roteamento adaptativo.
2. Erros de ligação ou quedas:Inspeccionar a conectividade física (cabelas, óptica) e os contadores de erros das portas; verificar se oCompatibilidade MQM8790-HS2FOs cabos e as ópticas são utilizados porEspecificações MQM8790-HS2F.
3. Questões de gestão de sub-rede:Verificar se o Gestor de Subrede (SM) está em execução e se a topologia do tecido foi corretamente descoberta; verificar se há falhas no SM.

Recomendações de otimização:

• Ajuste de roteamento adaptativo:Ajustar os parâmetros do algoritmo de roteamento com base nos padrões de tráfego observados
• Configuração de controlo de congestionamento:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Atualizações de firmware e software:Atualizar regularmente o firmware do switch e o software UFM para acessar melhorias de desempenho e novos recursos.
• Auditorias periódicas dos tecidos:Realizar auditorias regulares de cablagem, energia e refrigeração para garantir a fiabilidade operacional em escala.

6Resumo e Avaliação do Valor

ONVIDIA Mellanox MQM8790-HS2FA solução técnica baseada em RDMA fornece uma metodologia abrangente e validada em campo para otimizar a interconexão de baixa latência em clusters RDMA/HPC/AI.Aproveitando as 40 portas do switch de 200Gb/s HDR InfiniBand, latência inferior a 100 nanossegundos, computação SHARP na rede e capacidades de roteamento adaptativo,As organizações podem construir tecidos que oferecem desempenho previsível em escala, simplificando a gestão e reduzindo as despesas operacionais.

As principais métricas de valor de implantações comparáveis incluem:

• Redução da latência:A latência de porta-a-porta inferior a 100 nanossegundos reduz os tempos de conclusão coletiva do MPI em até 35% em comparação com os tecidos da geração anterior.
• Aceleração de aplicação:A descarga de computação em rede SHARP reduz a sobrecarga de comunicação CPU/GPU em até 20%, acelerando os tempos de formação de IA em 25-30%.
• Eficiência do tecido:O roteamento adaptativo e o controle de congestionamento mantêm um desempenho consistente sob carga variável, reduzindo a variabilidade do desempenho em até 60%.
• Simplificação operacional:A integração UFM proporciona visibilidade e automação abrangentes, reduzindo o MTTR para incidentes de tecido em até 50%.
• Eficiência dos custos:OPreço MQM8790-HS2Fcombinado com a sua alta densidade de portas oferece um custo por porta mais baixo em comparação com as soluções alternativas InfiniBand, reduzindo ao mesmo tempo o espaço de rack e os requisitos de energia.

Para arquitetos de rede e líderes de engenharia, o MQM8790-HS2F oferece uma base escalável e de alto desempenho para clusters de HPC e IA de próxima geração.A solução é particularmente recomendada para organizações que implantam ambientes acelerados por GPU em larga escala, bem como os centros HPC tradicionais atualizando de tecidos de 100Gb/s para 200Gb/s. Como a InfiniBand continua a evoluir para NDR (400Gb/s) e XDR (800Gb/s),O suporte do MQM8790-HS2F para o HDR100 garante a compatibilidade com a infraestrutura existente, proporcionando um caminho de migração claro para velocidades futuras.

Para obter modelos detalhados de design de tecidos, guias de ajuste de desempenho e listas de verificação de implantação, consulte oFicha de dados MQM8790-HS2Fe a documentação da arquitetura NVIDIA Mellanox InfiniBand.