Solução Técnica NVIDIA Mellanox MCX556A-ECAT: RDMA/RoCE para Transporte de Baixa Latência e Otimização de Throughput de Servidor

Este white paper técnico destina-se a arquitetos de rede, engenheiros de pré-venda e gerentes de operações.NVIDIA Mellanox MCX556A-ECATA rede de redes de centros de dados de baixa latência, de alto desempenho e de baixa latencia, é uma ferramenta que permite a criação de redes de computadores de baixo desempenho e de baixa latência, utilizando a tecnologia RDMA e RoCE.

As cargas de trabalho modernas dos data centers, incluindo o armazenamento distribuído (Ceph, Lustre), bancos de dados em memória (Redis, Aerospike) e estruturas de treinamento de IA, exigem alta capacidade de transferência e latência de menos de um milissegundo.As pilhas TCP/IP tradicionais introduzem uma sobrecarga significativa da CPU, comutação de contexto e cópia de dados, que se tornam gargalos à medida que as velocidades de rede atingem 100Gb/s ou mais.Descarga da CPU (reduzindo a utilização do processador host)A rede de telecomunicações é uma das principais fontes de informação para os utilizadores, com uma latência ultra-baixa e previsível (especialmente para a latência de cauda), transporte sem perdas para protocolos de armazenamento (NVMe-oF, iSER) e integração perfeita com a infraestrutura Ethernet existente.MCX556A-ECATOs Estados-Membros deverão ter em conta as disposições do Regulamento (CE) n.o

A arquitetura recomendada adota uma topologia de folha-espinha de dois níveis com Ethernet sem perdas configurada para transporte RoCE (RDMA sobre Ethernet Convergente).Todos os nós de computação e armazenamento estão equipados com oCartão de adaptador Ethernet MCX556A-ECATOs principais princípios arquitetônicos incluem:

• Separação dos planos de controlo e de dados:O RoCEv2 encapsula o RDMA em UDP/IP, permitindo o roteamento através dos limites da camada 3.
• Controle de fluxo prioritário (PFC):Permite um comportamento sem perdas para as classes de tráfego RDMA.
• Seleção reforçada de transmissão (ETS):Garante largura de banda para fluxos sensíveis à latência.
• Notificação de congestionamento:Utilizando o DCQCN (Data Center Quantized Congestion Notification) para controlo de fluxo de ponta a ponta.

A arquitetura suporta ambientes de metal e virtualizados, com o SR-IOV fornecendo passagem direta de funções virtuais para as máquinas virtuais.

Como umCartão de rede PCIe MCX556A-ECAT ConnectX adaptadorEste adaptador serve como a pedra angular da solução. Seu motor de descarga baseado em hardware evita o kernel, permitindo a transferência direta de dados de memória para memória.

Para as equipas que revisam oFicha de dados MCX556A-ECATeEspecificações MCX556A-ECAT, observe que o adaptador suporta PCIe 3.0 e 4.0 (x16), garantindo a compatibilidade com servidores existentes, oferecendo um caminho de migração para plataformas de próxima geração.

Uma implementação de referência para um cluster de tamanho médio (até 200 nós) é descrita a seguir.MCX556A-ECATÉ instalado no slot PCIe de cada servidor, com conectividade de duas portas para redundância e agregação de largura de banda.

• Topologia física:Dois interruptores de espinha, quatro interruptores de folha. Cada folha se conecta a todas as espinhas (malha completa). Cada servidor se conecta a duas folhas (ligação ativa-ativa).
• Configuração RoCE:VLAN dedicado para tráfego RoCE. Marcação QoS baseada em DSCP (por exemplo, DSCP 46 para RDMA). PFC habilitado na prioridade 3.
• Gestão do buffer:Configurar tampões de espaço sem perdas por porta com base no tempo de ida e volta e na distância de ligação.
• Endereçamento:Utilize atribuições de IP estáticas ou reservas DHCP para interfaces RDMA.

Escalado para além de 200 nós: introduzir uma camada super-espinha e implantar BGP-EVPN para extensão de camada 2 em vários pods.Compatibilidade MCX556A-ECATA avaliação da qualidade dos produtos é efectuada através de uma análise dos resultados obtidos com base nos dados obtidos.Preço MCX556A-ECATPara a aquisição em grande escala, considerar o preço em pacote com interruptores e ópticas.

O funcionamento eficaz de um tecido baseado em RoCE requer um monitoramento proativo e ferramentas especializadas:

• Monitorização do desempenho:Utilizaçãomlxlinkeectoolpara estatísticas de ligação (erros BER, FEC).Solução de cartão de adaptador Ethernet MCX556A-ECATInclui telemetria através do PCM (Performance Counters Monitor).
• Detecção de congestionamento:Monitorar pacotes marcados ECN e quadros de pausa PFC usando telemetria de switch (por exemplo, Mellanox SNMP MIBs).
• Gestão de firmware e driver:Atualizar regularmente para as versões mais recentes da NVIDIA OFED.mstflintpara validação de firmware.
• Solução de problemas comuns:Para falhas de conexão RDMA, verifique a consistência da MTU, a adesão à VLAN e os mapeamentos DSCP-to-CoS.ibdev2netdeveRdma link showpara verificar o estado do dispositivo.
• Dicas de otimização:Ajuste os parâmetros do DCQCN (alfa, beta, temporizador de aumento de taxa) com base na carga de trabalho. Para cargas de trabalho de armazenamento, aumente a profundidade da fila de conclusão. Para treinamento de IA, ative o GPUDirect RDMA e a memória de pin.

Para o planeamento da capacidade, consulte oFicha de dados MCX556A-ECATPara as especificações térmicas e de potência (típico 15W).MCX556A-ECAT à vendaAtravés de distribuidores autorizados, incluindo programas de abastecimento.

OMCX556A-ECATfornece um valor mensurável em três dimensões:desempenho(redução de até 90% da latência da aplicação, ganho de rendimento de 4x),eficiência(70% de descarga da CPU, menor potência por Gb/s), eCusto total de propriedade(infra-estrutura consolidada, número reduzido de servidores, custos de arrefecimento mais baixos).NVIDIA Mellanox MCX556A-ECATComo parte de uma solução baseada em RoCE, pode-se esperar um ROI dentro de 6-12 meses, dependendo da intensidade da carga de trabalho.Este adaptador representa um dispositivo comprovadoPara começar, solicite umaFicha de dados MCX556A-ECATe validarCompatibilidade MCX556A-ECATConfigurações com o seu fornecedor de interruptores.