Adaptador de servidor Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT em ação

Adaptador de Servidor Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT em Ação | Transporte de Baixa Latência RDMA/RoCE e Otimização de Throughput de Servidor

Em um cenário de implantação híbrida de bare-metal elástico e inferência de IA de uma grande empresa de Internet, a latência de rede e a sobrecarga da CPU se tornaram barreiras críticas para a escalabilidade da utilização da GPU e do desempenho do armazenamento. A equipe de infraestrutura precisava de uma solução que pudesse oferecer latência sub-microssegundo para trabalhos de treinamento distribuído, ao mesmo tempo em que suportava tráfego de armazenamento NVMe-oF de alto throughput — tudo isso sem forçar atualizações dispendiosas na infraestrutura de cabeamento existente. Este estudo de caso examina como o MCX623106AN-CDAT da Mellanox (NVIDIA Mellanox) abordou esses desafios e transformou o tecido de rede em um verdadeiro acelerador de computação.

Contexto e Desafios: Quando as NICs de 25G Atingem Seus Limites

O ambiente de produção consistia em mais de 1.200 nós de computação divididos em duas zonas de disponibilidade, executando uma mistura de serviços de inferência online, treinamento de IA offline e armazenamento de objetos distribuído. Os adaptadores Ethernet de 25G existentes, embora adequados para conectividade básica, lutavam sob cargas de trabalho concorrentes. Os principais pontos problemáticos incluíam:

• Alta utilização da CPU: O processamento da pilha TCP/IP baseada em software consumia até 35% dos núcleos da CPU em nós de armazenamento durante picos de E/S.
• Latência inconsistente: A latência de cauda (p99) para operações distribuídas de all-reduce frequentemente excedia 50µs, causando subutilização da GPU durante a sincronização de parâmetros.
• Gargalo de armazenamento: O tráfego NVMe-oF sobre Ethernet com perdas sofria com quedas de pacotes, acionando retransmissões que degradavam o throughput efetivo em quase 40%.

Após avaliar várias alternativas — incluindo InfiniBand proprietário e NICs de 25G concorrentes — a equipe selecionou a NVIDIA Mellanox MCX623106AN-CDAT por sua combinação única de aceleração RoCEv2 baseada em hardware, caminho de dados programável e ampla compatibilidade de plataforma.

Abordagem de Solução e Implantação

A estratégia de implantação focou em três pilares: habilitação de RDMA/RoCE, ativação de offload inteligente e migração gradual da frota. Cada nó de computação recebeu um adaptador Ethernet MCX623106AN-CDAT, substituindo as NICs da geração anterior sem alterar a infraestrutura de cobre/fibra de 25G subjacente.

Do ponto de vista de configuração, a equipe aproveitou o datasheet do MCX623106AN-CDAT para ajustar os seguintes parâmetros:

• Configuração RoCEv2 PFC (Priority Flow Control): Classes de tráfego sem perdas dedicadas foram definidas para armazenamento (NVMe-oF) e comunicações coletivas de IA, enquanto o tráfego de melhor esforço permaneceu em filas com perdas separadas.
• Offloads de hardware ativados: Offload de túnel VXLAN/NVGRE, segmentação de checksum e LRO (Large Receive Offload) foram ativados para reduzir a intervenção da CPU por pacote.
• Programabilidade pronta para DPU: Usando ASAP², a equipe implantou regras de fluxo leves para direcionar o tráfego de armazenamento diretamente para os endpoints de destino NVMe-oF, contornando completamente a pilha de rede do kernel.

A validação de compatibilidade foi simples — a lista MCX623106AN-CDAT compatível cobriu todos os modelos de servidor na frota (Dell PowerEdge R750 e série Supermicro Ultra), e os nós existentes baseados em Red Hat OpenShift e Ubuntu adotaram os novos drivers sem problemas.

Resultados e Benefícios Mensuráveis

Após três semanas de implantação em produção em 40% da frota de computação, os ganhos de desempenho foram imediatamente visíveis. A tabela a seguir resume as principais métricas antes e depois:

Além das melhorias quantitativas, a equipe de engenharia relatou uma mudança qualitativa na estabilidade operacional. Os mecanismos de PFC e ECN (Explicit Congestion Notification) baseados em hardware garantiram que o tráfego de armazenamento permanecesse virtualmente sem perdas, eliminando as tempestades de retransmissão em cascata que anteriormente impactavam os SLAs de aplicativos. Além disso, o cartão de rede PCIe do adaptador MCX623106AN-CDAT ConnectX lidou com criptografia IPSec em velocidade de linha para tráfego de replicação entre zonas, permitindo que a equipe de segurança aplicasse políticas de zero-trust sem implantar appliances de criptografia dedicados.

Resumo e Perspectiva Futura

Esta implantação ressalta que a solução de adaptador Ethernet MCX623106AN-CDAT não é apenas uma atualização incremental de NIC — é um facilitador estratégico para arquiteturas modernas de data center. Ao combinar RoCEv2 acelerado por hardware, programabilidade flexível e recursos abrangentes de offload, o adaptador transforma efetivamente um tecido Ethernet padrão em uma camada de infraestrutura de alta eficiência e baixa latência. A organização de TI agora está planejando expandir a implantação para todos os nós restantes e está avaliando ativamente as especificações do MCX623106AN-CDAT para projetos Spine-Leaf de próxima geração de 50G.

Para arquitetos de infraestrutura e gerentes de TI que enfrentam tetos de desempenho semelhantes, o MCX623106AN-CDAT oferece um caminho convincente e comprovado. Como observou um arquiteto sênior: "Alcançamos melhor latência do que nossas NICs de 25G anteriores com metade do custo de CPU, e não tivemos que recabear um único rack." Com seu amplo ecossistema MCX623106AN-CDAT compatível e posicionamento de preço competitivo do MCX623106AN-CDAT, este adaptador está bem posicionado para se tornar a escolha padrão para implantações de RoCE de 25G — seja a carga de trabalho treinamento de IA, armazenamento distribuído ou análise em tempo real.