NVIDIA Mellanox MCX631432AN-ADAB Adaptador de servidor em ação.

NVIDIA Mellanox MCX631432AN-ADAB Adaptador de servidor em ação.

Antecedentes e desafio: O gargalo de latência no armazenamento distribuído

A equipe de infraestrutura de uma grande empresa de internet encontrou recentemente um desafio familiar: seu cluster de armazenamento distribuído, construído em um backend Ceph,A empresa estava a lutar para acompanhar as crescentes demandas de aplicações.Enquanto os nós de armazenamento estavam equipados com CPUs poderosas e unidades NVMe rápidas, a latência da rede se tornou o principal gargalo, especialmente durante as operações de I/O de pico.Os adaptadores 10GbE existentes não tinham capacidades de descarga de hardware, causando uma intervenção excessiva da CPU para cada pacote processado.

Esta sobrecarga foi mais pronunciada em cargas de trabalho de gravação intensiva, onde cada operação de E / S exigia várias viagens de ida e volta da rede.A equipe precisava de uma solução que pudesse reduzir drasticamente a latência da cauda enquanto aumentava o rendimento geral do servidorA Comissão decidiu, em 31 de Dezembro de 1998, que a rede de telecomunicações da Comunidade Europeia, a qual é a maior rede de telecomunicações do mundo, deveria ser transformada em uma rede de telecomunicações, sem necessitar de uma revisão completa da sua infra-estrutura Ethernet existente.NVIDIA Mellanox MCX631432AN-ADAB¢ um adaptador SFP28 de 25GbE com duas portas, especialmente concebido para implantações de RDMA sobre Ethernet convergente (RoCE).

Solução e implantação: implantação de RoCE com o ConnectX-6 Lx

A implantação visou três nós de armazenamento que servem como servidores de metadados dentro do cluster Ceph, onde a sensibilidade de latência é mais alta.MCX631432AN-ADAB ConnectX-6 Lx com duas portas 25GbE SFP28A equipe configurou ambas as portas no modo de ligação ativo-ativo,Agregação de até 50 Gb/s de largura de banda total, proporcionando redundância de failover.

Um aspecto crítico da implementação foi habilitar o RoCEv2 com Priority Flow Control (PFC) e Explicit Congestion Notification (ECN) para garantir um comportamento de rede sem perdas.Cartão de adaptador Ethernet MCX631432AN-ADABO sistema de gestão de congestionamento permite a utilização de sistemas de gestão de congestionamento de forma nativa, eliminando a necessidade de interruptores proprietários ou de licenciamento adicional.A equipe também utilizou os carimbos de tempo e contadores de telemetria do adaptador para monitorar a saúde do tecido em tempo real durante a fase inicial de queima..

De acordo com oFicha de dados MCX631432AN-ADAB, o adaptador suporta o PCIe Gen 4.0 x8, o que se mostrou essencial para saturar totalmente as duas portas 25GbE sem entorpecer o barramento do host.tornar a atualização simplesPara ambientes ainda em PCIe Gen 3.0, o adaptador permanece totalmenteCompatibilidade MCX631432AN-ADABcom compatibilidade com as versões anteriores uma flexibilidade que simplificou o plano de implantação gradual.

O processo de implantação foi notavelmente simplificado. Com a pilha de drivers de rede NVIDIA, os adaptadores foram reconhecidos imediatamente em todo o ambiente do CentOS 8.Especificações MCX631432AN-ADABpara ajustar as alocações de buffer e interromper as configurações de coalescência, adaptando o comportamento do adaptador aos seus padrões específicos de carga de trabalho.

Resultados e benefícios mensuráveis

Os ganhos de desempenho foram imediatos e quantificáveis.NVIDIA Mellanox MCX631432AN-ADAB:

Além dos números, a equipe observou uma consistência melhorada nos tempos de resposta de E/S, eliminando o efeito de "vizinho barulhento" que anteriormente havia afetado aplicativos de locatários que compartilhavam o backend de armazenamento.Os descargas de hardware fornecidas peloMCX631432AN-ADAB Solução de cartão de adaptador Ethernetreduziu a sobrecarga da CPU de forma tão significativa que os nós poderiam lidar com aproximadamente 60% a mais de IOPS antes de atingir a saturação da CPU, efetivamente atrasando um ciclo de atualização de hardware planejado.

Para a equipa de operações de rede, a telemetria integrada do adaptador e a capacidade de aceder a contadores de desempenho em tempo real através doEspecificações MCX631432AN-ADABA equipe pôde identificar micro-explosões e problemas de profundidade de fila antes que eles afetassem as cargas de trabalho de produção.

Resumo & Perspectivas: Uma base para a escala futura

Esta implantação validou que oNVIDIA Mellanox MCX631432AN-ADABO RoCE não é apenas uma atualização incremental, mas um componente transformador para sistemas distribuídos sensíveis à latência.O adaptador forneceu reduções substanciais tanto na latência média quanto na tardança da cauda, aumentando simultaneamente a capacidade de transferência agregada do servidor em quase 6xOs ciclos de CPU liberados estão agora a ser realocados para processamento a nível de aplicação, melhorando ainda mais a eficiência global do cluster.

Olhando para o futuro, a equipa está a explorar casos de utilização adicionais para os adaptadores,incluindo NVMe over Fabrics (NVMe-oF) para armazenamento de blocos de alto desempenho e potencialmente GPUDirect para cargas de trabalho de treinamento de IAA flexibilidade da arquitetura ConnectX-6 Lx garante que o mesmoMCX631432AN-ADABO hardware pode suportar estas demandas em evolução sem substituição.MCX631432AN-ADAB preço, quando comparado com as economias operacionais e os ganhos de desempenho, apresenta um argumento de negócio convincente.

A experiência da equipa sublinha uma tendência mais ampla: à medida que os data centers adotam cada vez mais 25GbE e tecidos mais elevados, a escolha do adaptador do servidor torna-se uma decisão de arquitetura crítica.Cartão de adaptador Ethernet MCX631432AN-ADABoferece uma solução comprovada e pronta para produção para aqueles que procuram preencher a lacuna entre a infraestrutura existente e as exigências de desempenho da próxima geração.