Adaptador de Servidor Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT em Ação: Transporte de Baixa Latência RDMA/RoCE e Servidor

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Adaptador de servidor em ação: RDMA / RoCE transporte de baixa latência e otimização do rendimento do servidor

Antecedentes e desafio: gargalos de rede no armazenamento distribuído e treinamento de IA

Em um ambiente de produção real em um fornecedor de serviços de nuvem de tamanho médio, o portfólio de negócios principal inclui armazenamento de blocos distribuídos (Ceph) e plataformas de treinamento de modelos de IA baseadas em GPU.À medida que o volume de dados dos clientes cresceu a uma taxa anual de mais de 200%, a arquitetura de rede TCP/IP legada de 10GbE expôs gradualmente dois pontos críticos.Impedir que o pool de armazenamento NVMe realize todo o seu potencial de desempenhoEm segundo lugar, durante a sincronização de gradientes em clusters de treinamento de GPU, a capacidade de transferência da rede só poderia atingir 60% da largura de banda teórica,com uma parte significativa dos recursos da CPU consumidos pela pilha de protocolos de rede, dificultando gravemente a eficácia da iteração do treinamento.A equipe de arquitetura precisava urgentemente de uma solução de interface de rede capaz de reduzir a latência de transmissão e melhorar substancialmente o rendimento efetivo do servidor.

Solução e implantação: Revisão do RoCE com o MCX631102AN-ADAT ConnectX-6 Lx

Após avaliar múltiplas alternativas, a equipa selecionou oMellanox (NVIDIA Mellanox) MCX631102AN-ADATA Comissão Europeia decidiu, em 1 de Janeiro de 1998, que a rede de telecomunicações da União Europeia deveria ser considerada como a pedra angular da sua iniciativa de modernização da rede.Cartão de adaptador Ethernet MCX631102AN-ADATfoi implantado em 120 nós de armazenamento e 64 nós de computação da GPU, substituindo os adaptadores 10GbE existentes. Cada servidor foi equipado com a configuração SFP28 de duas portas de 25GbE,com uma porta de ligação ao tecido RoCE de produção e a segunda porta reservada para o tráfego de gestão e de reservaA implantação aproveitou oMCX631102AN-ADAT ConnectX-6 Lx com duas portas 25GbE SFP28o suporte nativo RoCE v2 do adaptador, eliminando a necessidade de dispositivos de gateway adicionais ou camadas de tradução de protocolo.

A implementação seguiu uma abordagem gradual.MCX631102AN-ADAT Solução de cartão de adaptador EthernetEm fase dois, os nós de computação da GPU foram atualizados, com o objetivo de reduzir o custo de instalação do TCP/IP.com a capacidade de armazenamento GPUDirect do adaptador, permitindo que a memória GPU comunique diretamente com o armazenamento NVMe remoto através da rede RoCE, ignorando completamente o envolvimento da CPUA implantação completa foi concluída em duas semanas, mantendo-se a infra-estrutura de comutação 25GbE existente, demonstrando aCompatibilidade MCX631102AN-ADATnatureza com equipamento de rede de data center padrão.

Resultados medidos e ganhos de desempenho

As melhorias de desempenho que se seguiram aoNVIDIA Mellanox MCX631102AN-ADATA tabela a seguir resume as principais métricas antes e depois observadas no ambiente de produção:

Além das métricas quantitativas, a equipa observou melhorias qualitativas na estabilidade operacional.MCX631102AN-ADATA utilização de um sistema de gestão de tráfego, que é o sistema de gestão de tráfego mais utilizado na Europa, é um dos principais mecanismos de gestão de tráfego.Especificações MCX631102AN-ADAT, o motor de direção avançado do adaptador e as capacidades de RDMA garantiram que, mesmo com 128 conexões NVMe-oF simultâneas por porta, o desempenho da taxa de linha fosse mantido de forma consistente.

Do ponto de vista dos custos totais, a equipa de arquitetura calculou que oMCX631102AN-ADAT preçoA capacidade de transferência efetiva por gigabit foi substancialmente inferior à atualização para alternativas de 40GbE ou 100GbE.A capacidade de reutilizar a infra-estrutura de cablagem e comutação SFP28 existente reduziu ainda mais a despesa de capital, fazendo oMCX631102AN-ADAT para vendaAvaliação de um caso de negócio convincente para a liderança do prestador.

Resumo & Perspectivas: Construção de uma rede preparada para o futuro

A implantação da produção doMellanox (NVIDIA Mellanox) MCX631102AN-ADATdemonstra um caminho claro para as organizações que procuram liberar todo o potencial da sua infraestrutura distribuída.Combinando o transporte de baixa latência RDMA/RoCE com descargas aceleradas por hardware, o adaptador elimina efetivamente a rede como um gargalo de desempenho, quer seja para formação de IA, armazenamento definido por software ou processamento de transacções de alta frequência.A experiência da equipa confirma que oCartão de adaptador Ethernet MCX631102AN-ADATA formação de GPU reduz os tempos de conclusão de tarefas em média 34%,e tempo de resposta do cluster de armazenamento foram consistentemente cumpridos, mesmo durante períodos de carga máxima.

A partir de agora, o fornecedor planeia ampliar oMCX631102AN-ADAT ConnectX-6 Lx com duas portas 25GbE SFP28A NVIDIA lançou um projeto de desenvolvimento de um adaptador para a rede de computadores, que foi desenvolvido pela NVIDIA e desenvolvido pela NVIDIA, para permitir a integração do adaptador com as DPUs BlueField da NVIDIA.Para equipas de engenharia que avaliam atualizações semelhantes, oFicha de dados MCX631102AN-ADATO caso reforça uma clara tendência do sector: a utilização de sistemas inteligentes, de sistemas de gestão de dados e de sistemas de gestão de dados.Adaptadores de 25GbE com hardware descarregado como o MCX631102AN-ADAT estão rapidamente se tornando a nova linha de base para projetos de data centers conscientes do desempenho.