NVIDIA Mellanox MCX653105A-HDAT Adaptador de Servidor em Ação

NVIDIA Mellanox MCX653105A-HDAT Adaptador de Servidor em Ação

Antecedentes e desafio: O gargalo da formação em IA

Uma empresa líder em tecnologia financeira especializada em negociação algorítmica e análise de riscos em tempo real enfrentou um desafio de infraestrutura crítico.A sua equipa de aprendizagem de máquina tinha implantado um cluster de treinamento distribuído composto por 32 servidores acelerados pela GPUNo entanto, à medida que a complexidade do modelo cresceu de milhões para bilhões de parâmetros, a latência da rede tornou-se o gargalo dominante.Os adaptadores 25GbE existentes, operando com o TCP/IP tradicional, introduziu uma latência de cauda imprevisível que diminuiu significativamente a sincronização de gradientes em todo o cluster.

Os arquitetos de infra-estruturas da empresa identificaram dois problemas principais.a pilha TCP/IP consumia recursos de CPU substanciais em cada servidor ̇ até 30% dos núcleos disponíveis ̇ o que reduziu a capacidade disponível para o treinamento real do modeloEm segundo lugar, a falta de descarga de hardware para o RDMA significava que as transferências de dados entre a memória da GPU e a rede requeriam múltiplas cópias da memória.adicionando atrasos de nível de microssegundos acumulados em milhares de trocas de parâmetros por etapa de treinamentoA equipa precisava de uma solução que pudesse fornecer uma comunicação determinista de baixa latência sem sacrificar o rendimento do servidor ou exigir uma revisão completa da rede.

Solução e implantação: Implementação do RoCE com o MCX653105A-HDAT

Após avaliar várias opções, a empresa selecionou aNVIDIA Mellanox MCX653105A-HDATEsta placa de rede PCIe foi implantada em cada um dos 32 servidores de formação, substituindo os adaptadores da geração anterior.Cartão de rede PCIe MCX653105A-HDAT ConnectX adaptadorforneceu a combinação necessária de alta largura de banda e suporte RoCEv2 acelerado por hardware, permitindo uma verdadeira comunicação RDMA através do tecido Ethernet existente.

A implantação seguiu uma abordagem estruturada:

• Instalação física:Cada servidor recebeu oCartão de adaptador MCX653105A-HDAT Ethernet, ligados através de ligações SFP28 25GbE de dupla porta a interruptores redundantes no topo do rack.
• Configuração RoCEv2:Os switches de rede foram configurados com Priority Flow Control (PFC) e Explicit Congestion Notification (ECN) para garantir o transporte Ethernet sem perdas – um pré-requisito para um desempenho óptimo da RDMA.
• GPUDirect Integração:A equipe aproveitou as capacidades GPUDirect do adaptador, permitindo o movimento direto de dados entre a memória da GPU e a interface de rede sem o envolvimento da CPU hospedeira.
• Software Stack:A pilha de drivers de rede da NVIDIA foi instalada e a estrutura de treinamento (PyTorch com dados distribuídos em paralelo) foi configurada para utilizar a camada de transporte RDMA.

De acordo com oFicha de dados MCX653105A-HDAT, o adaptador suporta PCIe Gen 4.0 x16,Proporcionar até 256 GB/s de largura de banda do host suficiente para saturar completamente as duas portas 25GbE, deixando amplo espaço para futuras atualizações para 50GbE ou 100GbEA equipa observou que a flexibilidade do adaptador o tornava totalmenteCompatibilidade MCX653105A-HDATcom seu hardware de servidor existente, que suportava tanto o PCIe Gen 3.0 quanto o 4.0.

OEspecificações MCX653105A-HDATEles ajustaram os parâmetros de coalescência de interrupção para equilibrar a latência versus a utilização da CPU.e configurações de prioridade por fila para garantir que o tráfego de sincronização de gradiente recebeu o tratamento QoS mais elevado.

Resultados e benefícios mensuráveis

As melhorias de desempenho foram substanciais e diretamente mensuráveis em várias dimensões:

Para além das melhorias quantitativas, aNVIDIA Mellanox MCX653105A-HDATA equipa não tinha previsto benefícios operacionais.A latência determinista assegurava que a convergência da formação fosse consistentemente alcançada dentro de prazos previsíveis, um requisito crítico para os ciclos de desenvolvimento de modelos sensíveis ao tempo da empresa.Os núcleos da CPU liberados foram redirecionados para a computação real, aumentando efetivamente a capacidade de computação efetiva do cluster sem adicionar novo hardware.

A equipe também aproveitou a telemetria incorporada do adaptador para obter visibilidade em padrões de congestionamento de tecido.Estes dados os ajudaram a otimizar as configurações do buffer da rede e a identificar proativamente possíveis degradações de desempenho. OSolução de cartão de adaptador MCX653105A-HDAT EthernetA Comissão propõe que a Comissão apresente uma proposta de decisão sobre a proposta de decisão relativa a um programa de investigação e desenvolvimento tecnológico.

Resumo & Perspectivas

Esta implantação validou que oNVIDIA Mellanox MCX653105A-HDATé mais do que uma atualização de rede é um investimento estratégico no desempenho da computação distribuída.O adaptador reduziu o tempo de treino em mais de 70%, acelerou o prazo de colocação no mercado dos novos modelos e melhorou significativamente a eficiência da infra-estrutura.

A empresa está agora a planear estender esta arquitetura para clusters adicionais, incluindo a sua plataforma de análise de risco em tempo real,Quando for essencial um movimento de dados de baixa latência entre bases de dados em memória e nós de computação. OPreço MCX653105A-HDAT, quando avaliadas em função das economias operacionais e dos ganhos de desempenho,A Comissão concluiu que o auxílio concedido à InfiniBand não é seletivo e que, por conseguinte, não pode ser considerado como uma medida estatal..

Para as organizações que avaliam activamenteMCX653105A-HDAT para vendaOpções, este estudo de caso demonstra que o adaptador cumpre a sua promessa de rede de baixa latência e de alto rendimento em ambientes de produção do mundo real.A combinação de aceleração de hardware, telemetria abrangente e compatibilidade perfeita com a infra-estrutura Ethernet existenteNVIDIA Mellanox MCX653105A-HDATum componente fundamental para as arquiteturas modernas de data centers.