NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch em Ação: Otimização de Interconexão de Baixa Latência

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch em ação: otimização de interconexão de baixa latência para clusters RDMA / HPC / AI

No treinamento de IA, simulações de computação de alto desempenho (HPC) e armazenamento distribuído em larga escala, a latência e a largura de banda da rede geralmente determinam o limite superior da eficiência do cluster.Ajudar as organizações a superar este gargalo, oMQM9790-NS2FO InfiniBand Switch da NVIDIA Mellanox está se tornando um componente de interconexão central em muitas implementações de IA e HPC.ilustrando como este interruptor oferece redes RDMA de baixa latência e ganhos de desempenho mensuráveis.

Antecedentes e Desafio: De mil GPUs para dez mil GPUs de pressão de rede

Uma instituição de investigação líder operava anteriormente um cluster de mil GPU para o treinamento de grandes modelos de linguagem e simulação do tempo.À medida que os parâmetros do modelo cresciam de dezenas de bilhões para centenas de bilhões, a rede HDR InfiniBand existente de 200 Gb/s começou a experimentar congestionamento e aumento da sobrecarga de comunicação.e GPUs freqüentemente inactivo enquanto espera por transferências de redeOs arquitetos precisavam urgentemente de uma solução que oferecesse uma maior densidade de portos, um equilíbrio de carga mais preciso e uma total compatibilidade com a infra-estrutura RDMA existente.

Após uma avaliação minuciosa, a equipa selecionou um tecido InfiniBand de grau NDR, com base noNVIDIA Mellanox MQM9790-NS2FCom 64 portas OSFP, cada uma operando a uma taxa de linha de 400Gb / s, o switch corresponde perfeitamente às demandas de rendimento dos servidores GPU de próxima geração.

Solução e implantação: NDR Fabric + Rede RDMA sem perdas

No novo projeto, cada servidor de GPU está equipado com adaptadores ConnectX‐7 de duas portas, ligados a dois switches de folha.MQM9790-NS2F 400Gb/s NDR OSFP de 64 portasOs switches formam uma topologia Fat-Tree de duas camadas utilizando uma arquitetura Clos não bloqueadora.aproveitando o RDMA InfiniBand nativo para transferir dados diretamente da memória da GPU para a memória remota da GPU, ignorando CPU e software sobrecarga.

• Utilização e compatibilidade dos portos:Os adaptadores HDR existentes podem funcionar a velocidades reduzidas, protegendo os investimentos anteriores.MQM9790-NS2F compatívelA lista abrange servidores e sistemas de armazenamento de GPU convencionais, que não requerem modificações de driver durante a implantação.
• Operações inteligentes:Os monitores de telemetria integrados ligam erros e congestionamentos em tempo real, ajudando as equipas a isolar rapidamente problemas de módulo óptico ou cabo e reduzindo drasticamente o tempo médio de reparação.

Resultados e benefícios: Tempo de iteração de treinamento reduzido em 38%, custos gerais da rede caem para 8%

Após a modernização, a instituição realizou testes comparativos sobre as cargas de trabalho de produção.MQM9790-NS2F Comutador de banda InfiniO tempo de iteração foi reduzido de 2,8 segundos para 1,73 segundos, uma melhoria de 38%.O que significa que as GPUs gastaram significativamente mais tempo em computação útilGraças à computação em rede SHARPv3 dentro do switch NDR, a utilização da largura de banda All-Reduce quase duplicou.

Do lado do armazenamento, a NVMe de baixa latência na InfiniBand aumentou a largura de banda agregada de leitura / gravação do sistema de arquivos paralelo em 2,3x.Os tempos de armazenamento e restauração de pontos de verificação diminuíram de 12 minutos para menos de 5 minutosEstes valores são registados nos relatórios internos de ensaios e alinham-se com os resultados dos ensaios anteriores.Especificações MQM9790-NS2Flinha de base.

Resumo e perspetivas: Interconexão NDR como opção por defeito para a infraestrutura de IA de próxima geração

Este caso demonstra claramente que, para os clusters de RDMA/HPC/IA de grande escala, a adopção daMQM9790-NS2F Solução de comutação InfiniBandA utilização de uma GPU para o desenvolvimento de clusters de 10 mil GPUs é uma das principais vantagens do sistema de processamento de dados.Ficha de dados MQM9790-NS2FO modelo está agora em produção em volume; paraPreço MQM9790-NS2FouMQM9790-NS2F para vendaComo as cargas de trabalho futuras impulsionam a demanda para 800Gb/s e além,A plataforma de comutação NDR continuará a desempenhar um papel fundamental no desbloqueio do potencial de computação.