NVIDIA Mellanox MCX653105A-HDAT em Ação: RDMA/RoCE Transportes de Baixa Latência e Otimização de Transferência de Servidor

NVIDIA Mellanox MCX653105A-HDAT em Ação: RDMA/RoCE Transportes de Baixa Latência e Otimização de Transferência de Servidor

Antecedentes e desafios: O gargalo da rede num cluster IA/HPC

Uma grande empresa de tecnologia implementou recentemente um cluster acelerado por GPU de 128 nós para o treinamento de grandes modelos de linguagem (LLM),com cada nó equipado com oito GPUs NVIDIA H100 e armazenamento NVMe de alto desempenhoNo entanto, ao escalar para além de 32 nós, o cluster experimentou uma dramática degradação do desempenho.enquanto a pilha de rede TCP/IP consumia mais de 45% dos recursos da CPU por nóA rede construída sobre múltiplos links 25GbE tornou-se o principal gargalo, limitando severamente a utilização da GPU e estendendo os ciclos de formação muito além dos prazos aceitáveis.A equipe precisava urgentemente de uma solução capaz de fornecer latência ultra-baixa e largura de banda maciça ao mesmo tempo que descarregava processamento de rede intensivo em CPU.

Solução e implantação: Transformação do tecido com o MCX653105A-HDAT

Após uma avaliação técnica exaustiva, a equipa selecionou oNVIDIA Mellanox MCX653105A-HDATCada nó da GPU foi equipado com umCartão de rede PCIe MCX653105A-HDAT ConnectX adaptador, configurado com uma conectividade 100GbE de duas portas para fornecer 200 Gb/s de largura de banda agregada por servidor.

A implantação foi executada em quatro fases estruturadas:

• Fase 1  Instalação de hardware (128 nós):Cada servidor recebeu oCartão de adaptador MCX653105A-HDAT EthernetOs adaptadores foram instalados com o mais recente firmware e a pilha de drivers NVIDIA OFED.
• Fase 2 RoCEv2 Configuração:A equipe ativou o RoCEv2 em todo o tecido, ajustando cuidadosamente os parâmetros de Controle de Fluxo de Prioridade (PFC) e Notificação Explicita de Congestionamento (ECN) para estabelecer um ambiente Ethernet sem perdas.As características avançadas de gestão do congestionamento são detalhadas noFicha de dados MCX653105A-HDATforam fundamentais para a obtenção de uma alocação óptima do buffer.
• Fase 3 - Optimização do NCCL:A NVIDIA Collective Communications Library (NCCL) foi reconfigurada para aproveitar as capacidades RDMA do adaptador,com regras de direção de tráfego personalizadas programadas nos motores de processamento incorporados do adaptador para otimizar os padrões específicos de redução total e acumulação total da carga de trabalho LLM.
• Fase 4 - Validação e ajuste:Utilizando os dados de telemetria expostos através doEspecificações MCX653105A-HDAT, a equipe validou a configuração, ajustou as configurações de moderação de interrupção e estabeleceu métricas de desempenho de base para monitoramento contínuo.

Notavelmente, o adaptador provou serCompatibilidade MCX653105A-HDATcom a infraestrutura de cablagem existente, uma vez que as portas QSFP28 suportavam tanto 100GbE quanto 25GbE, permitindo uma migração graciosa sem substituição de cabo perturbadora.A equipe também aproveitou as capacidades multi-host do adaptador para suportar funções de computação e armazenamento na mesma porta física.

Resultados e benefícios: ganhos mensuráveis no desempenho do treinamento

As melhorias de desempenho proporcionadas peloNVIDIA Mellanox MCX653105A-HDATAs principais métricas de desempenho antes e após a atualização são resumidas abaixo:

Para além destas conquistas quantitativas, a equipa observou benefícios operacionais significativos.acelerando drasticamente os ciclos de iteração do modeloO caminho de dados programável do adaptador permitiu a configuração do tráfego personalizado para os fluxos prioritários, garantindo que o tráfego crítico de comunicação coletiva nunca experimentasse contenda.Para as organizações que avaliam o retorno do investimento, oPreço MCX653105A-HDATA equipe observou que o ganho de rendimento de 3x e a capacidade de adiar aquisições adicionais de servidores de GPU por pelo menos 12 meses.MCX653105A-HDAT para vendaOs pacotes com switches NVIDIA Spectrum-4 ofereceram a economia mais favorável para a implantação de cluster completo.

Resumo e perspectivas: Uma fundação para a infraestrutura de IA de próxima geração

Esta implantação em escala de produção valida que oNVIDIA Mellanox MCX653105A-HDATé um componente transformador para clusters modernos de IA e HPC. A combinação de largura de banda agregada de 200 Gb/s, latência de comunicação coletiva inferior a 0,3 milissegundo,e descargas de hardware abrangentes permite que as organizações alcancem uma escala quase linear para cargas de trabalho aceleradas pela GPUComo um end-to-endSolução de cartão de adaptador MCX653105A-HDAT Ethernet, elimina o gargalo da rede que tem historicamente limitado a eficácia da formação distribuída.

De cara ao futuro, a empresa está explorando a integração com a NVIDIA DOCA para implementar uma programabilidade adicional do caminho de dados para otimização específica da carga de trabalho.Os sistemas de telemetria de adaptadores também estão a aproveitar a telemetria avançada do adaptador, amplamente documentada noFicha de dados MCX653105A-HDAT¢ desenvolver modelos de desempenho preditivos e estratégias automatizadas de redução do congestionamento.NVIDIA Mellanox MCX653105A-HDATtornou-se a pedra angular do seu roteiro de infraestrutura de IA, fornecendo uma base robusta e escalável para a próxima geração de desenvolvimento e implantação de modelos de fundação.