Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptador de servidor Whitepaper Técnico

Este whitepaper técnico foi projetado para arquitetos de rede, engenheiros de pré-vendas e gerentes de operações. Ele se concentra no adaptador de servidor Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT e demonstra como construir redes de data center de baixa latência e alta taxa de transferência usando a tecnologia RDMA/RoCE. O documento abrange design arquitetônico, recursos técnicos chave, estratégias de implantação e escalonamento, bem como operações e monitoramento – fornecendo orientação acionável para implementação no mundo real.

Data centers modernos enfrentam três desafios principais: a CPU se tornando um gargalo de rede, latência excessiva de acesso ao armazenamento e sobrecarga de comunicação incontrolável para aplicações distribuídas. A pilha de protocolo TCP/IP tradicional consome mais de 30% dos recursos da CPU no processamento de protocolo e cópia de dados durante a comunicação paralela em larga escala, reduzindo significativamente a taxa de transferência efetiva do servidor. Enquanto isso, aplicações como NVMe over Fabrics, frameworks de aprendizado de máquina distribuído (por exemplo, NCCL) e bancos de dados em memória exigem latência de ponta a ponta inferior a 20 microssegundos. O que é urgentemente necessário é uma solução que contorne o kernel e forneça descarregamento de transporte em nível de hardware – precisamente o problema que o MCX623106AN-CDAT combinado com a tecnologia RoCE resolve.

Esta solução adota uma topologia Spine-Leaf de duas camadas. Todos os nós de computação e armazenamento estão equipados com o adaptador Ethernet NVIDIA Mellanox MCX623106AN-CDAT. Os switches Leaf são configurados para operação RoCE sem perdas, habilitando PFC (Priority Flow Control) e ECN (Explicit Congestion Notification), com uma fila de prioridade dedicada alocada para tráfego RoCE. Os princípios de design chave incluem:

• Separação de planos de controle e dados: Fluxos de dados RoCE são processados inteiramente por hardware no adaptador, enquanto protocolos de controle (por exemplo, ARP, DHCP) ainda seguem o caminho tradicional.
• Tecido unificado: Ethernet transporta tráfego TCP/IP e RoCE padrão, com isolamento de QoS alcançado através de marcação DSCP.
• Gerenciamento de congestionamento de ponta a ponta: Baseado no algoritmo DCQCN, estabelecendo um mecanismo de feedback de loop fechado entre adaptadores de origem e switches.

O cartão adaptador Ethernet MCX623106AN-CDAT desempenha um papel crítico em cada nó do servidor. Seu design de porta dupla 100GbE pode se conectar a diferentes switches Leaf para redundância ou fornecer isolamento físico entre tráfego de armazenamento e computação.

Como o componente central do plano de dados desta solução, o placa de rede PCIe MCX623106AN-CDAT ConnectX adapter oferece as seguintes capacidades decisivas:

• Motor de descarregamento RoCE em hardware: Lida com o processamento da camada de transporte (segmentação, remontagem, confirmação, retransmissão) sem intervenção da CPU do host.
• Descarregamentos dinâmicos ConnectX: Distribui automaticamente tráfego multi-fila, melhorando a taxa de transferência em servidores multi-core.
• Interface de host PCIe 4.0 x16: Largura de banda teórica de 256Gb/s, garantindo nenhum gargalo para encaminhamento em velocidade de linha.
• Descarregamentos avançados de armazenamento: Suporta aceleração de hardware para NVMe over Fabrics, incluindo consulta de namespace e verificações de integridade de dados.

De acordo com a folha de dados MCX623106AN-CDAT e as especificações MCX623106AN-CDAT publicamente disponíveis, este adaptador atinge latência porta a porta inferior a 600 nanossegundos e suporta taxas de processamento de pacotes de até 200 milhões de pacotes por segundo. Para equipes que avaliam custos, o preço MCX623106AN-CDAT é altamente competitivo entre adaptadores RoCE 100GbE comparáveis, e MCX623106AN-CDAT para venda está disponível através de canais de distribuição padrão. Antes da seleção, é aconselhável confirmar que os modelos de servidor aparecem na lista MCX623106AN-CDAT compatível – as principais plataformas OEM foram todas validadas.

Descrição da Topologia Típica:
Uma arquitetura Clos consistindo em 2 switches Spine e 4 switches Leaf. Cada nó do servidor está equipado com um MCX623106AN-CDAT, com ambas as portas 100GbE conectadas a dois switches Leaf diferentes. As portas uplink Leaf se conectam aos Spines com uma taxa de super-subscrição de 4:1. Uma VLAN dedicada é usada para tráfego RoCE.

Etapas de Implantação:

• Etapa 1: Instale fisicamente o MCX623106AN-CDAT em um slot PCIe 4.0 x16, em seguida, instale o firmware mais recente e o driver NVIDIA MLNX_OFED.
• Etapa 2: Nos switches, configure PFC (prioridade 3 recomendada) e ECN (definir Kmin/Kmax) para tráfego RoCE.
• Etapa 3: No sistema operacional, habilite o modo RoCEv2 e configure os parâmetros DCQCN (valores iniciais: α=1, β=1, período do timer 100μs).
• Etapa 4: Use as ferramentas ib_write_bw e ib_write_lat para verificar a linha de base de desempenho.

Recomendações de Escalonamento: Quando o cluster escalar além de 500 nós, considere habilitar o controle de fluxo do adaptador (PPC) e as tabelas de mapeamento QoS, e considere usar múltiplas prioridades RoCE para evitar bloqueio head-of-line.

As equipes de operações podem usar as seguintes ferramentas para monitorar a saúde da solução completa de cartão adaptador Ethernet MCX623106AN-CDAT:

• mlxconfig / mlxfwmanager: Configure parâmetros de firmware e gerencie atualizações de firmware.
• ethtool -S: Visualize contadores de transmissão/recepção RoCE e contagens de quadros de pausa PFC.
• ibdiagnet: Realize diagnósticos abrangentes de rede RoCE para detectar tempestades PFC desnecessárias.
• Telemetria e HIST: Utilize tabelas de distribuição de latência histórica integradas no adaptador para identificar anomalias de latência de cauda.

Solução de Problemas Comuns:

• Taxa de transferência abaixo do esperado: Verifique o status de negociação PCIe (deve ser Gen4 x16) e certifique-se de que o MTU esteja definido uniformemente para quadros jumbo de 9000.
• Falhas de conexão RoCE: Verifique o mapeamento DSCP e a configuração VLAN, garantindo que o switch não esteja descartando pacotes marcados com RoCE.
• Alto uso de CPU: Isso pode indicar que o descarregamento de hardware não está habilitado; verifique as configurações de descarregamento do ethtool.

Recomendações de Otimização: Para aplicações extremamente sensíveis à latência (por exemplo, negociação de alta frequência, replicação de log RDMA), considere mudar o tipo de serviço RoCE de "conectado" para "datagrama" e desabilitar o controle de congestionamento.

A solução RDMA/RoCE baseada no MCX623106AN-CDAT reduz a latência de ponta a ponta para aplicações distribuídas em uma ordem de magnitude (de centenas de microssegundos para dezenas de microssegundos) sem substituir a infraestrutura Ethernet existente, ao mesmo tempo liberando 20-30% dos recursos de computação da CPU. Para cenários como treinamento de IA, armazenamento hiperconvergente e análise em tempo real, isso se traduz diretamente em tempos de conclusão de job mais curtos e maior densidade de servidores. Como uma solução completa de cartão adaptador Ethernet MCX623106AN-CDAT, ela demonstra que "Ethernet sem perdas + NIC inteligente" é um caminho viável para alcançar alta taxa de transferência e baixa latência. Para mais detalhes técnicos ou para obter a folha de dados MCX623106AN-CDAT, consulte a documentação oficial da NVIDIA ou entre em contato com uma equipe de arquitetura de soluções.