NVIDIA Mellanox MCX653106A-HDAT em ação: alcançando avanços no transporte RDMA/RoCE de baixa latência e na taxa de transferência do servidor

Em ambientes de data center modernos – abrangendo armazenamento distribuído, negociação de alta frequência e clusters de treinamento de IA – dois desafios persistentes permanecem: reduzir a latência induzida pela rede e maximizar o rendimento do servidor sem sobrecarregar a CPU. Este aprofundamento do aplicativo examina como um provedor líder de infraestrutura em nuvem abordou exatamente esses problemas, implantando oNVIDIA Mellanox MCX653106A-HDATadaptador de servidor em seus nós de computação e armazenamento.

Antecedentes e Desafio

A infra-estrutura de 25 GbE existente do fornecedor, baseada em adaptadores Ethernet padrão com pilhas TCP/IP baseadas em software, apresentava limitações claras. As cargas de trabalho de armazenamento que usam NVMe sobre Fabrics experimentaram picos de latência imprevisíveis (muitas vezes excedendo 50 µs), enquanto os clusters de banco de dados sofriam com alta utilização de CPU – até 35% dos núcleos consumidos apenas pelo processamento de rede. A equipe de engenharia precisava de uma solução que pudesse fornecer latência inferior a 10 µs para transações RDMA e suportar taxa de transferência de 200 GbE sem exigir uma revisão completa da arquitetura.

Depois de avaliar diversas opções, eles recorreram aoPlaca adaptadora Ethernet MCX653106A-HDAT, que prometia RoCE descarregado de hardware (RDMA over Converged Ethernet) e integração perfeita com sua topologia leaf-spine existente baseada em Cumulus Linux.

Abordagem de solução e implantação

A implantação centrou-se noAdaptador MCX653106A-HDAT ConnectX placa de rede PCIe, aproveitando sua configuração 100GbE de porta dupla para criar uma malha sem bloqueio. Cada nó de computação recebeu um adaptador, enquanto os nós de armazenamento foram equipados com dois para redundância. As principais etapas de implementação incluíram:

• Habilitando RoCEv2 com PFC (Priority Flow Control) e ECN (Explicit Congestion Notification) para garantir transporte sem perdas
• Configurando o SR-IOV para dedicar funções virtuais a bancos de dados de alta prioridade e cargas de trabalho de armazenamento
• Implantando o que há de mais recenteCompatível com MCX653106A-HDATpilha de drivers (NVIDIA DOCA 2.5) em nós Ubuntu 22.04 LTS
• Implementando aceleração DPDK baseada em hardware para caminhos de processamento de pacotes

Com base noFolha de dados MCX653106A-HDATe validação pré-implantação, a equipe projetou latência de hardware inferior a 1 µs e até 215 milhões de pacotes por segundo (MPPS) para transações de pacotes pequenos – métricas que orientaram seu planejamento de capacidade.

Resultados e benefícios mensuráveis

Após um piloto de quatro semanas em 50 nós de produção, a equipe de infraestrutura documentou as seguintes melhorias ao compararNVIDIA Mellanox MCX653106A-HDATcontra seus adaptadores legados:

Além dos números brutos, a equipe de engenharia observou que oSolução de placa adaptadora Ethernet MCX653106A-HDATeliminou soluções alternativas de ajuste anteriormente necessárias, como hacks de coalescência de interrupções e buffers de recepção superdimensionados. As descargas de hardware do adaptador para VXLAN e Geneve também simplificaram a pilha de rede de contêineres, reduzindo a latência entre pods em 40% em ambientes Kubernetes.

Para gerentes de TI que avaliam custos,Preço de MCX653106A-HDATcomparações com soluções comparáveis ​​de 200 GbE mostraram um custo total de propriedade 15-20% menor quando se considera a economia de núcleo de CPU e a redução do uso da porta do switch. Enquanto isso,MCX653106A-HDAT para vendaconsultas de equipes adjacentes – incluindo HPC e análises em tempo real – já foram enviadas para o próximo ciclo de aquisição.

Resumo e perspectivas

A implantação confirma queNVIDIA Mellanox MCX653106A-HDATnão é apenas uma atualização de especificação, mas um salto funcional para ambientes sensíveis à latência e limitados pela taxa de transferência. Ao mudar o processamento de rede de software para hardware – por meio de descarregamentos RoCE, SR-IOV e arquitetura pronta para GPUDirect – as organizações podem alcançar latência determinística em escala de microssegundos enquanto recuperam ciclos de CPU para lógica de aplicativo.

À medida que a equipe de infraestrutura expande sua implementação para mais de 500 nós, eles também estão explorando a criptografia em linha integrada do adaptador (IPsec/TLS) para segurança multilocatário e PTP (IEEE 1588v2) para cargas de trabalho de serviços financeiros. Para engenheiros que buscam configurações validadas, oMCX653106A-HDAT especificaçõese designs de referência estão disponíveis no portal de desenvolvedores DOCA da NVIDIA. Este caso do mundo real deixa uma coisa clara: oAdaptador MCX653106A-HDAT ConnectX placa de rede PCIecumpre a promessa de Ethernet de baixa latência e alto rendimento para data centers de próxima geração.

Para uma revisão técnica mais aprofundada, consulte o oficialFolha de dados MCX653106A-HDATou entre em contato com seu arquiteto de soluções NVIDIA regional.