Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Adaptador de servidor Solução técnica

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Adaptador de servidor Solução técnica: RDMA/RoCE Transporte de baixa latência e aprimoramento do desempenho do servidor

1Análise dos antecedentes e dos requisitos do projecto

Os centros de dados modernos estão a passar por uma mudança fundamental de arquiteturas "computacionalistas" para arquiteturas "datacéntricas", impulsionadas pelo crescimento explosivo das cargas de trabalho de IA/ML, sistemas de armazenamento distribuídos,e plataformas de análise em tempo realNeste contexto, o adaptador de rede não é mais um componente de conectividade passivo, mas um determinante crítico do desempenho geral da aplicação.com suas limitações de bypass do kernel e sobrecarga da pilha de protocolo, tornou-se um gargalo primário, consumindo até 30% dos ciclos da CPU, não conseguindo fornecer a latência de nível de microssegundos e a taxa de transferência de linha exigida pelas cargas de trabalho da próxima geração.

Especificamente, três desafios interligados exigem uma resposta arquitectónica.Sistemas de armazenamento que aproveitam NVMe sobre Fabrics (NVMe-oF) exigem latência de acesso inferior a 100 microssegundos para explorar plenamente a mídia flash modernaEm segundo lugar, a capacidade de armazenamento é reduzida em função da capacidade de armazenamento.estruturas de treinamento de IA distribuídas, como PyTorch e TensorFlow, dependem de operações freqüentes de redução total em clusters de GPUEm terceiro lugar, a virtualização e a containerização introduzem custos adicionais de encapsulamento,exigindo uma descarga de hardware inteligente para manter o desempenho em escala. OMellanox (NVIDIA Mellanox) MCX631102AN-ADATO adaptador de servidor aborda diretamente esses requisitos, fornecendo uma base construída para uma rede de data center de alto desempenho e baixa latência.

2. Projeto geral da arquitetura de redes e sistemas

A solução proposta adopta uma arquitetura de rede de dois níveis, concebida para maximizar as capacidades doCartão de adaptador Ethernet MCX631102AN-ADATNa camada de folha, os switches SFP28 de 25GbE fornecem conectividade ToR (Top-of-Rack), com cada switch de folha suportando até 48 portas.fornecer conectividade não bloqueadora de qualquer pessoa para qualquer pessoaEsta arquitetura é otimizada para o transporte RoCE v2 (RDMA sobre Ethernet convergente versão 2),Utilizando os mecanismos nativos de controlo de congestionamento do adaptador e as capacidades PFC (Priority Flow Control) para manter condições de rede sem perdas.

Cada nó de computação e armazenamento está equipado com oMCX631102AN-ADAT ConnectX-6 Lx com duas portas 25GbE SFP28Adaptador, com portas configuradas em modo ativo-ativo para fornecer alta disponibilidade e largura de banda agregada de 50 GbE. O servidor host interage com o adaptador via PCIe 4.0 x8,assegurar uma largura de banda de autocarro suficiente para manter o tráfego a taxa total da linhaDo ponto de vista do software, a arquitetura incorpora a pilha de drivers OFED (OpenFabrics Enterprise Distribution) da NVIDIA, fornecendo suporte RoCE otimizado em todos os sistemas operacionais convencionais.Para nós de armazenamento, a arquitetura integra alvos NVMe-oF diretamente acessíveis via RoCE, eliminando a camada TCP/IP inteiramente do caminho de dados.

3Função e características principais do MCX631102AN-ADAT na solução

ONVIDIA Mellanox MCX631102AN-ADATserve como a interface de rede fundamental para os domínios de computação e armazenamento, desempenhando quatro papéis críticos dentro da arquitetura geral.O sistema de direção acelerada por hardware oferece uma taxa de transferência de 25GbE por porta em todos os pacotes de tamanho.Especificações MCX631102AN-ADAT, que demonstram uma latência de aplicação para aplicação de sub-1-microssegundos quando emparelhados com interruptores habilitados para RoCE.

Em segundo lugar, o adaptador atua como o ponto final de transporte RDMA, descarregando toda a pilha de protocolo RDMA, incluindo registro de memória, tradução de endereços e processamento de conclusão, da CPU hospedeira.Esta descarga é particularmente impactante para cargas de trabalho de armazenamento, reduzindo a utilização da CPU para os iniciadores NVMe-oF de aproximadamente 18% para menos de 3% em comparação com as implementações apenas de software.O MCX631102AN-ADAT fornece descarga de sobreposição baseada em hardware para VXLAN e NVGRE, assegurando que o encapsulamento de redes virtualizadas não degrade o desempenho, uma vantagem crítica para as implantações nativas em nuvem.O adaptador suporta SR-IOV (Single Root I/O Virtualization), permitindo até 256 funções virtuais por porta para um isolamento multi-locatário eficiente sem comprometer o rendimento.MCX631102AN-ADAT Solução de cartão de adaptador EthernetIntegra-se perfeitamente com a tecnologia GPUDirect Storage da NVIDIA, permitindo o movimento direto de dados entre a memória GPU e dispositivos remotos de armazenamento NVMe através da rede.

O quadro seguinte resume as principais especificações técnicas relevantes para a arquitetura da solução:

4Recomendações de implantação e escalagem com topologia típica

Para implantações em campo verde, recomendamos uma abordagem de dimensionamento de três níveis.com cada nó equipado com o MCX631102AN-ADAT e ambas as portas ligadas ao mesmo interruptor de folha para agregação de ligaçõesNo nível médio (64 ‰ 128 nós), a arquitetura deve adoptar um projeto de duas camadas de folha de espinha,com as portas duplas de cada nó conectadas a diferentes interruptores de folha para fornecer desempenho e resiliênciaNa escala empresarial (256+ nós), a solução recomenda implantar uma arquitetura de três níveis com segmentação de tecido RoCE dedicada,isolamento do tráfego de armazenamento do tráfego de computação na camada de rede, e alavancando oCompatibilidade MCX631102AN-ADATnatureza com switches NVIDIA Spectrum e switches 25GbE de terceiros.

Para ambientes de campo marrom, o adaptador fornece compatibilidade retroativa perfeita com ópticas e cabos SFP+ de 10GbE, permitindo que as organizações migrem gradualmente.Ficha de dados MCX631102AN-ADATfornece matrizes de compatibilidade detalhadas para as principais plataformas de servidor, incluindo as famílias Dell PowerEdge, HPE ProLiant e Supermicro SuperServer.A implantação do adaptador deve ser coordenada com atualizações de firmware para garantir que todos os nós executem a mesma versão mínima de firmware para um comportamento RoCE consistenteTambém recomendamos usar a persistência de configuração baseada em EEPROM do adaptador para manter as configurações em reinicializações do sistema, reduzindo as despesas operacionais durante as janelas de manutenção.

5Operações, Monitorização, Solução de Problemas e Optimização

OMCX631102AN-ADATfornece capacidades abrangentes de telemetria e gerenciamento através das ferramentas MLNX_OFED da NVIDIA. Para monitoramento, recomendamos a implementação das seguintes práticas operacionais.Os contadores de fluxo baseados em hardware permitem monitorizar a utilização por fila e identificar hotspots. Estes contadores são acessíveis através domlx5_coreO módulo de núcleo e pode ser integrado com Prometheus ou outras soluções TSDB.utilizar o monitoramento PFC (Priority Flow Control) do adaptador para detectar e remediar eventos de congestionamento da rede antes que eles afetem o desempenho da aplicaçãoEm terceiro lugar, implementar alertas baseados em limiares para a temperatura do adaptador e o estado da ligação PCIe para identificar previamente a degradação do hardware.

Para solucionar problemas, os diagnósticos avançados do adaptador, incluindo testes de loopback por porta, registos de treinamento de ligação e estatísticas de coalescência de interrupção, fornecem uma visibilidade detalhada dos problemas de desempenho.Recomendamos estabelecer uma linha de base de operação normal durante a implantação inicial, capturando métricas-chave como latência média, rendimento e utilização da CPU,Para servir de referência para futuras comparações. Ao avaliar aMCX631102AN-ADAT preçoNo que se refere ao número de unidades de propriedade, as organizações devem ter em conta as economias operacionais resultantes da redução do consumo de CPU e da simplificação dos fluxos de trabalho de resolução de problemas.

Estratégias de otimizaçãoCartão de adaptador Ethernet MCX631102AN-ADATNa configuração do host, ajuste o tamanho da carga útil máxima do PCIe para 512 bytes e habilite a moderação de interrupção para equilibrar a latência e a eficiência da CPU.Configurar as prioridades PFC de forma coerente em todos os interruptores e adaptadores, recomendamos dedicar a prioridade 3 ao tráfego RoCE e a prioridade 0 ao tráfego de gestão.. Na camada de aplicação, alinhar a profundidade da fila RDMA com as características da carga de trabalho: filas mais profundas beneficiam cargas de trabalho de armazenamento intensivas em rendimento,enquanto as filas mais rasas reduzem a latência para processamento de transações sensíveis- O detalhadoEspecificações MCX631102AN-ADATFornecer orientações específicas para ajustar estes parâmetros em diferentes plataformas de sistemas operacionais.

6Resumo e Avaliação do Valor

OMellanox (NVIDIA Mellanox) MCX631102AN-ADATfornece uma solução arquitetónica que aborda os desafios fundamentais da rede moderna de centros de dados: fornecimento de latência em escala de microssegundos, transporte RDMA acelerado por hardware,e um desempenho consistente de 25GbE ao mesmo tempo em que reduz a sobrecarga da CPU host. Ao servir como uma interface de rede unificada para computação, armazenamento e cargas de trabalho de IA, o adaptador simplifica a infraestrutura ao mesmo tempo em que melhora o desempenho.MCX631102AN-ADAT Solução de cartão de adaptador Ethernetreduz o consumo de CPU ligado à rede em cerca de 80%, melhora a latência de acesso ao armazenamento em mais de 80%,e fornece desempenho previsível em condições de carga variáveis através de gestão de congestionamento baseada em hardware.

Do ponto de vista dos negócios,O adaptador permite que as organizações maximizem os investimentos existentes em switches 25GbE, proporcionando desempenho anteriormente alcançável apenas com soluções 40GbE ou 100GbE. OMCX631102AN-ADAT para vendaA avaliação demonstra consistentemente um ROI positivo no prazo de 12-18 meses, impulsionada pela redução dos requisitos de contagem de servidores (devido à maior eficiência por nó) e menor sobrecarga operacional.Para organizações que constroem ou modernizam redes de centros de dados, o MCX631102AN-ADAT representa não apenas uma actualização incremental, mas uma melhoria fundamental na eficiência da base de rede.