Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptador de servidor em ação.

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptador de servidor em ação.

No cenário de implantação híbrida de base elástica de metal e inferência de IA de uma empresa de Internet em larga escala,A latência da rede e a sobrecarga da CPU tornaram-se barreiras críticas para dimensionar a utilização da GPU e o desempenho do armazenamento.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureEste estudo de caso examina como oMCX623106AN-CDATNVIDIA Mellanox resolveu estes desafios e transformou o tecido de rede num verdadeiro acelerador de computação.

Antecedentes e desafios: Quando os NICs 25G atingem seus limites

O ambiente de produção consistia em mais de 1.200 nós de computação divididos em duas zonas de disponibilidade, executando uma mistura de serviços de inferência on-line, treinamento de IA off-line e armazenamento de objetos distribuídos.Os adaptadores Ethernet 25G existentes, embora adequado para a conectividade básica, teve dificuldades com cargas de trabalho simultâneas.

• Alta utilização da CPU: O processamento de pilhas TCP/IP baseado em software consumia até 35% dos núcleos da CPU em nós de armazenamento durante picos de I/O.
• Latência inconsistente: A latência de cauda (p99) para operações distribuídas de redução total frequentemente excedeu 50μs, causando uma subutilização da GPU durante a sincronização de parâmetros.
• Gargalo de armazenamento: O tráfego NVMe-oF através da Ethernet com perdas sofreu quedas de pacotes, desencadeando retransmissões que degradaram a taxa de transferência efetiva em quase 40%.

Após a avaliação de várias alternativas, incluindo a InfiniBand proprietária e os NICs 25G concorrentes, a equipa selecionou oNVIDIA Mellanox MCX623106AN-CDATpara a sua combinação única de aceleração RoCEv2 baseada em hardware, caminho de dados programável e ampla compatibilidade de plataforma.

Solução e abordagem de implantação

A estratégia de implantação centrou-se em três pilares:Atividade RDMA/RoCE,ativação inteligente de descarga, emigração gradual da frota. Cada nó de computação recebeu umCartão de adaptador Ethernet MCX623106AN-CDAT, substituindo os NICs da geração anterior sem alterar a infraestrutura de cobre/fibra 25G subjacente.

Do ponto de vista da configuração, a equipa aproveitou oFicha de dados MCX623106AN-CDATPara ajustar os seguintes parâmetros:

• Configuração do PFC (Priority Flow Control) RoCEv2: Foram definidas classes dedicadas de tráfego sem perdas para armazenamento (NVMe-oF) e comunicações coletivas de IA, enquanto o tráfego de melhor esforço permaneceu em filas separadas com perdas.
• Descargas de equipamento habilitadas: VXLAN/NVGRE tunnel offload, segmentação de soma de verificação e LRO (Large Receive Offload) foram ativados para reduzir a intervenção da CPU por pacote.
• Programabilidade pronta para DPU: Usando o ASAP2, a equipe implementou regras de fluxo leves para direcionar o tráfego de armazenamento diretamente para os endpoints alvo do NVMe-oF, ignorando completamente a pilha de rede do kernel.

A validação da compatibilidade foi simples.Compatibilidade MCX623106AN-CDATA lista cobriu todos os modelos de servidor da frota (série Dell PowerEdge R750 e Supermicro Ultra), e os nós existentes baseados em Red Hat OpenShift e Ubuntu adotaram os novos drivers sem problemas.

Resultados e benefícios mensuráveis

Após três semanas de implantação em produção em 40% da frota de computação, os ganhos de desempenho foram imediatamente visíveis.

Para além das melhorias quantitativas, a equipa de engenharia relatou uma mudança qualitativa na estabilidade operacional.Os mecanismos PFC e ECN (Explicit Congestion Notification) baseados em hardware garantiram que o tráfego de armazenamento permanecesse praticamente sem perdas., eliminando as tempestades de retransmissão em cascata que afetaram anteriormente os SLA de aplicação.MCX623106AN-CDAT Adaptador ConnectX cartão de rede PCIeGestão da criptografia IPSec de taxa de linha para o tráfego de replicação entre zonas, permitindo que a equipe de segurança aplique políticas de confiança zero sem implantar dispositivos de criptografia dedicados.

Resumo e perspectiva prospectiva

Esta implantação sublinha que oMCX623106AN-CDAT Solução de cartão de adaptador EthernetO RoCEv2 não é apenas uma atualização incremental do NIC, é um facilitador estratégico para arquiteturas modernas de data centers.e capacidades de descarga abrangentes, o adaptador transforma efetivamente um tecido Ethernet padrão em uma camada de infraestrutura de baixa latência e alta eficiência.A organização de TI está agora a planear alargar a implantação a todos os nós remanescentes e está a avaliar activamente aEspecificações MCX623106AN-CDATpara a próxima geração de projetos 50G Spine-Leaf.

Para os arquitetos de infra-estruturas e os gestores de TI que enfrentam limites de desempenho semelhantes, oMCX623106AN-CDATO que é que a Europa tem a ver com a Europa?"Conseguimos uma melhor latência do que nossos NICs 25G anteriores a metade do custo da CPU, e não tivemos que recabelhar um único rack".Com a sua grandeCompatibilidade MCX623106AN-CDATecossistema e competitivoMCX623106AN-CDAT preçoA partir de agora, o sistema de armazenamento de dados será utilizado para o desenvolvimento de sistemas de gestão de dados.

Tags:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx Implementação RDMA/RoCE Rede de baixa latência Otimização de rendimento do servidor