Solução técnica: Alcançando baixa latência RDMA/RoCE e otimização de rendimento com o Mellanox

March 13, 2026

Solução técnica: Alcançando baixa latência RDMA/RoCE e otimização de rendimento com o Mellanox
1Análise dos antecedentes e necessidades do projecto

Os centros de dados modernos estão sob constante pressão para oferecer um desempenho mais elevado para aplicações sensíveis à latência, como bancos de dados distribuídos, computação de alto desempenho (HPC),e agrupamentos de formação em IAA rede TCP/IP tradicional impõe uma sobrecarga significativa da CPU, criando gargalos que limitam a escalabilidade das aplicações e aumentam os tempos de resposta.Para organizações que pretendam modernizar a sua infra-estrutura, o requisito central é claro: reduzir a latência e aumentar a capacidade de transferência dos servidores sem revisões de arquitetura dispendiosas.

A solução reside na adoção do RDMA (Remote Direct Memory Access) através da Ethernet Converged (RoCE).contornando o kernel do sistema operacional para liberar recursos da CPU e minimizar a latênciaNo centro desta transformação está a placa de interface de rede (NIC).MCX631432AN-ADABO modelo de tecidos de Mellanox (NVIDIA) foi projetado especificamente para atender a estas demandas, fornecendo uma base sólida para tecidos habilitados para RoCE.

2. Projeto geral da arquitetura de redes e sistemas

A arquitetura proposta é um tecido baseado em folhas projetado para um ambiente Ethernet sem perdas, que é um pré-requisito para um desempenho RoCEv2 ideal.O projeto integra computação e tráfego de armazenamento através de um sistema unificado, tecido de alta velocidade para reduzir a complexidade e o custo.

  • Capa da coluna vertebral:Comutadores 100GbE de alta capacidade fornecem conectividade sem bloqueio entre todos os comutadores de folha, garantindo qualquer caminho de baixa latência.
  • Capa de folha:Os switches Top-of-Rack (ToR) com ligações descendentes de 25 GbE conectam-se a servidores e nós de armazenamento.Esses interruptores são configurados com Priority Flow Control (PFC) e Explicit Congestion Notification (ECN) para manter um tecido sem perdas.
  • Camada do servidor:Cada servidor está equipado com oNVIDIA Mellanox MCX631432AN-ADAB, um adaptador 25GbE SFP28 de duas portas. Isso permite ligação de rede ou caminhos separados para armazenamento e tráfego de computação.

Esta concepção garante que oCartão de adaptador Ethernet MCX631432AN-ADABopera em um ambiente onde o tráfego RoCE pode fluir sem perda de pacotes, o que é fundamental para manter um alto débito e baixa latência.

3. O papel do MCX631432AN-ADAB na solução

OMCX631432AN-ADABÉ o ponto final crítico que permite a solução completa. Como membro da família ConnectX-6 Lx, ele traz recursos de nível empresarial para o fator de forma 25GbE.MCX631432AN-ADAB Solução de cartão de adaptador EthernetPara o tráfego de computação e de armazenamento, descarregar tarefas de rede da CPU do servidor.

As principais contribuições técnicas do adaptador incluem:

  • Descargas de hardware:O cartão lida com todos os aspectos do protocolo RoCE no hardware, incluindo transporte, encapsulamento e controle de congestionamento.
  • Flexibilidade de duas portas:As duas portas 25GbE podem ser configuradas para falha ativa / em estado de espera ou usadas para separar tipos de tráfego.Uma porta pode lidar com tráfego Ethernet front-end enquanto a outra é dedicada ao tráfego de armazenamento back-end usando RoCE, maximizando o rendimento e a segurança.
  • PCIe 3.0 x16 Host Interface:Com largura de banda suficiente para conduzir ambas as portas 25GbE simultaneamente, oMCX631432AN-ADAB ConnectX-6 Lx com duas portas 25GbE SFP28Assegura que nenhum gargalo interno limita o desempenho da aplicação.
4Recomendações de implantação e ampliação

Implementação doMCX631432AN-ADABA implementação de um cluster de alto desempenho requer um planejamento cuidadoso do tecido de rede e da configuração do servidor.

  • Preparação de tecidos:Antes da implantação, configure os switches de rede para suportar o RoCE.Isto cria o ambiente sem perdas necessárias para o adaptador para executar de forma ideal.
  • Instalação do controlador e do firmware:Instale os drivers mais recentes NVIDIA WinOF-2 (para Windows) ou MLNX_OFED (para Linux) para garantir suporte completo de recursos.MCX631432AN-ADABÉ atualizado para um desempenho e uma compatibilidade RoCE ideais.
  • Escalado do Cluster:A arquitetura escala horizontalmente adicionando mais nós de servidor, cada um com seu próprio MCX631432AN-ADAB.O tecido não bloqueador da coluna da folha garante que os nós adicionados não degradem o desempenho dos existentesPara implantações maiores, os grupos de agregação de ligações (LAGs) podem ser utilizados entre os interruptores de folha e de espinha.

Uma topologia típica para um cluster de banco de dados envolve conectar os servidores primário e réplica ao mesmo switch de folha para minimizar a latência entre racks.Cada servidor usa seu adaptador de duas portas para se conectar a dois interruptores de folha separados para redundância.

5Monitoramento operacional, solução de problemas e otimização

Uma vez implantado, a manutenção do desempenho requer um controlo e uma regulação proactivos.MCX631432AN-ADABfornece telemetria abrangente para esse efeito.

  • Métricas-chave de monitorização:Usar ferramentas como `mlxstat` e `ethtool` para monitorizar contadores de portas, erros de ligação e estatísticas de tráfego RDMA.uma contagem elevada indica um tecido com perdas que irá degradar o desempenho do RoCE.
  • Atualizações de Firmware e Driver:Verifique regularmente as atualizações. O novo firmware geralmente inclui otimizações de desempenho e correções de bugs que podem reduzir ainda mais a latência e melhorar a compatibilidade com os switches upstream.
  • Ajuste de desempenho:Para ambientes com os requisitos de latência mais exigentes, a moderação da interrupção e os tamanhos do buffer podem produzir ganhos incrementais.A flexibilidade do adaptador permite aos arquitetos marcar as configurações com base na sua carga de trabalho específica (e(por exemplo, HPC versus virtualização).

Para solucionar problemas de conectividade, verificar se os módulos SFP28 estãoCompatibilidade MCX631432AN-ADABA utilização de ópticas com qualificação NVIDIA garante um estabelecimento e um desempenho de ligação fiáveis.

6Resumo e Avaliação do Valor

OMCX631432AN-ADABA NVIDIA fornece um caminho claro e eficaz para implementar um tecido de rede de alto desempenho e baixa latência.As organizações podem alcançar os dois benefícios de uma redução drástica da sobrecarga da CPU e um aumento significativo do rendimento do servidor- O detalhadoEspecificações MCX631432AN-ADABeFicha de dados MCX631432AN-ADABValidar a sua capacidade de lidar com as cargas de trabalho mais exigentes.

Para os gestores de TI e arquitetos de rede que avaliam uma actualização de hardware, os ganhos de desempenho oferecidos por esta solução traduzem-se directamente em valor empresarial: processamento de transacções mais rápido,acesso mais eficiente ao armazenamentoA utilização de sistemas de gestão de dados, como os sistemas de gestão de dados, e a melhoria do custo total de propriedade.MCX631432AN-ADABA infra-estrutura da rede não é um gargalo, mas um acelerador.MCX631432AN-ADAB preçoe disponibilidade, consulte o seu representante da NVIDIA.