Switch InfiniBand NVIDIA Mellanox MQM8790-HS2F em produção | Otimizando a interconexão de baixa latência para RDMA/HPC/AI

À medida que o treinamento de grandes modelos de linguagem e as simulações de HPC em exascala impulsionam os clusters de GPU em direção a dezenas de milhares de nós, os tecidos Ethernet tradicionais lutam com latência de cauda e congestionamento incast.Um centro nacional de computação de IA enfrentou recentemente este desafioNVIDIA Mellanox MQM8790-HS2FOs switches InfiniBand são a espinha dorsal de sua expansão de GPU de 800 nós.Este artigo apresenta a sua viagem no mundo real – dos gargalos aos ganhos mensuráveis – utilizando RDMA e computação em rede para otimizar o desempenho da interconexão de clusters.

Antecedentes e desafio: quando a rede se torna o gargalo da IA

O clássico cluster de 400 nós do centro funcionava em 100Gb/s RoCEv2 Ethernet.Durante as operações All-ReduceOs arquitetos precisavam de uma plataforma que oferecesse latência inferior a um microssegundo, controlo de fluxo sem perdas,e suporte RDMA nativo todos ao reutilizar as ópticas QSFP56 existentesApós avaliar várias alternativas, oMQM8790-HS2F Comutador de banda InfiniA tecnologia de alta densidade de 40 portas e a sua largura de banda HDR de 200 Gb/s.

Solução e implantação: HDR Fat-Tree construído em MQM8790-HS2F

A nova interligação adota uma topologia de árvore de gordura de duas camadas, implantando 24 unidades deNVIDIA Mellanox MQM8790-HS2FCada switch fornece 40 portas QSFP56 a 200Gb/s por direcção, proporcionando uma capacidade de comutação não bloqueadora de 16Tb/s.Ficha de dados MQM8790-HS2FeEspecificações MQM8790-HS2Fpara permitir o roteamento adaptativo e o controlo avançado do congestionamento.Aproveitamento do RDMA nativo InfiniBand para transferências de dados de cópia zero - descarregando mais de 95% do envolvimento da CPU na comunicação.

O centro também reservou váriosMQM8790-HS2F 200Gb/s HDR 40 portas QSFP56com SHARP (Protocolo de Agregação e Redução Hierárquica Escalavel),Operações coletivas como All-Reduce são descarregadas dos servidores diretamente para a rede de comutaçãoNo treinamento 128‐GPU, este reduziu o tempo de comunicação em 32% sem qualquer alteração de código na estrutura da IA.

Resultados e ganhos: menor latência, maior rendimento, TCO controlado

As métricas pós-desplaçamento mostraram melhorias dramáticas:

• Latência ponto a ponto:Os testes de pingpong MPI mediram ~ 0,9 μs em ligações HDR de 200Gb / s, 65% mais baixos do que a configuração RoCE legada.
• Eficiência da comunicação colectiva:Na escala de 512-GPU, o All-Reduce foi concluído em apenas 18,3 ms, uma redução de 52% em comparação com a linha de base anterior.
• Utilização da rede:O roteamento adaptativo manteve o equilíbrio de carga do link acima de 92%, com quase nenhum ponto de congestionamento.
• Contratação e operações:OPreço MQM8790-HS2FA taxa de crescimento da rede por porta foi cerca de 12% inferior às soluções 200G concorrentes.Compatibilidade MQM8790-HS2FAs opticas são módulos QSFP56 padrão, permitindo a reutilização completa do cablagem existente.

¢Após a mudança para aMQM8790-HS2F Solução de comutação InfiniBand, conseguimos finalmente uma escala quase linear (0,9 eficiência) no treinamento de modelos de trilhões de parâmetros", disse o arquiteto-chefe do centro.A rede já não é o gargalo Podemos concentrar-nos na inovação da arquitetura do modelo em vez de agendar a comunicação. "

Conclusão e perspetivas: bloco de construção principal para as interconexões exascale

Este caso do mundo real demonstra que oMQM8790-HS2FCom 200Gb/s HDR, RDMA nativo, computação em rede SHARP e roteamento adaptativo,Aborda diretamente os pontos problemáticos da interligação de baixa latência nos aglomerados IA/HPC de hojeQuer estejam a planear um centro de supercomputação universitário ou a actualizar uma nuvem de IA empresarial, oNVIDIA Mellanox MQM8790-HS2FO projeto de uma nova versão do Switch, que oferece um caminho equilibrado que combina desempenho, compatibilidade e previsibilidade de custos, está agora em produção em volume.Ficha de dados MQM8790-HS2FPara o inventário em tempo real ouMQM8790-HS2F para vendaOs fornecedores de soluções autorizados devem ser informados de todas as suas necessidades e de todas as suas necessidades.