Solução técnica de NIC de servidor Mellanox (NVIDIA Mellanox) MCX556A-ECAT

Este white paper fornece aos arquitetos de rede, engenheiros de pré-venda e líderes de operações um quadro técnico abrangente para a implantação doMellanox (NVIDIA Mellanox) MCX556A-ECATA solução centra-se na eliminação de gargalos TCP/IP através do RDMA/RoCE,fornecer comunicação determinística de baixa latência, maximizando o rendimento do servidor para cargas de trabalho intensivas em dados.

1Análise dos antecedentes e requisitos do projecto

Os ambientes modernos de centros de dados, incluindo clusters de treinamento de IA, bancos de dados distribuídos, infraestrutura hiperconvergente e plataformas de negociação de alta frequência, compartilham uma restrição comum:a pilha de rede tradicional consome 30~50% dos ciclos da CPU em cópias de memóriaA medida que as velocidades de ligação aumentam para 100 Gbps e além, as redes baseadas em software tornam-se insustentáveis.Os principais requisitos para a conectividade de servidores de próxima geração incluem:: latência inter-nodo inferior a 5 microsecundos, sobrecarga da CPU inferior a 10% por link de 100 Gbps, transporte sem perdas para protocolos de armazenamento (NVMe-oF) e integração perfeita com a infraestrutura Ethernet existente.OSolução de cartão de adaptador Ethernet MCX556A-ECATO Conselho Europeu de Lisboa, em nome da Comissão,

2. Projeto geral da arquitetura de rede/sistema

A arquitetura recomendada utiliza oNVIDIA Mellanox MCX556A-ECATA solução adota uma topologia de folha-espinha de dois níveis com suporte a RoCE (RDMA sobre Ethernet Convergente).:

• Fundamento Ethernet sem perdas: Ativar o controlo de fluxo prioritário (PFC) nas portas que transportam tráfego RoCE e configurar limiares ECN (Explicit Congestion Notification) nos interruptores de folha.
• Classes de circulação distintas: Atribuir o tráfego RoCE a uma fila de prioridade dedicada (normalmente 3 ou 5) com programação de prioridade rigorosa.
• Gestão do buffer: Alocar pool de buffers partilhados nos switches de acordo comEspecificações MCX556A-ECAT(recomendado 4 MB por porta para uma operação sem perdas).

Cada umCartão de rede PCIe MCX556A-ECAT ConnectX adaptadorliga-se a um interruptor de folha através de ópticas QSFP28 (SR4, LR4 ou AOC/DAC dependendo da distância)Configurações de dupla localização ligam ambas as portas ◄ ativo-ativo para transferência de dados ou ativo-de espera para transição por falhaO plano de controlo utiliza Ethernet e IP padrão, enquanto o plano de dados utiliza RDMA para transferências de cópia zero.

3. Papel e características-chave do Mellanox (NVIDIA Mellanox) MCX556A-ECAT na solução

OMCX556A-ECATA função de um motor de descarga crítica entre a memória do servidor e o tecido da rede.Ficha de dados MCX556A-ECATincluem:

OCartão de adaptador Ethernet MCX556A-ECATTambém inclui direção avançada (classificação do fluxo em 128 filas virtuais), SR-IOV com até 512 funções virtuais e temporizador de hardware para o protocolo de tempo de precisão (PTP).Estas características tornam-no um motor de aceleração de caminho de dados completo, não apenas uma interface de alta velocidade.

4Recomendações de implantação e escalagem (topologia típica)

Para um cluster de tamanho médio (64256 nós), recomenda-se a seguinte topologia:

• Camada de folhas: dois ou quatro comutadores RoCE 100GbE de 48 portas (por exemplo, NVIDIA SN3700).Compatibilidade MCX556A-ECATPortas QSFP28.
• Camada da coluna vertebral: Quatro comutadores 400GbE de 32 portas que fornecem 128 uplinks 100GbE não-bloqueantes a partir de folhas.
• Configuração do servidorUm.MCX556A-ECATPor servidor, a porta A para o switch de folha A, a porta B para o switch de folha B. Isto produz 200Gbps de largura de banda agregada e redundância de caminho.

A escalação do tecido para além de 256 nós requer a adição de pares de folhas-espinha dorsal ou a migração para uma arquitetura Clos de 3 estágios.Preço MCX556A-ECATcontra a capacidade futura, fator em que o adaptador éCompatibilidade MCX556A-ECATcom placas-mãe PCIe 4.0 (operando em 3.0 x16 inicialmente), oferecendo um caminho de atualização direto.

5. Operações, Monitorização, Solução de Problemas e Optimização

A excelência operacional para as implantações de RoCE requer monitoramento e ajuste específicos.

• Contadores de monitorização: UtilizaçãoE o que é que ele tem a dizer?A Comissão Europeia, através da Comissão Europeia e da Comissão Europeia, lançou um programa de investigação e desenvolvimento em matéria de segurança rodoviária, de segurança rodoviária e de segurança rodoviária.Especificações MCX556A-ECATDocumentar os valores de referência esperados.
• Ajuste do tampão: Configure os buffers de saída do switch para 4 6MB para filas de RoCE. Buffers insuficientes causam tempestades de PFC e colapso de throughput.
• Gestão de firmware: Manter o firmware mais recente (disponível no portal de suporte empresarial da NVIDIA) para resolver erros e obter melhorias de desempenho documentadas noFicha de dados MCX556A-ECAT.
• Performance baselineCorra.ib_write_bweib_read_latResultados esperados: 98 ‰ 99 Gbps bidireccional com latência de 0,8 ‰ 1,2 μs para mensagens de 8 bytes.

Cenários comuns de resolução de problemas: bloqueios de PFC (verificação de mapeamentos de fila mal configurados), batidas de ligação (validação da potência e das classificações dos cabos),e RDMA timeouts de conexão (garantir a consistência MTU em 4200 bytes para quadros jumbo)Para as equipas de buscaMCX556A-ECAT à vendaPara expandir os clusters, o alinhamento do firmware pré-estagão entre os lotes evita surpresas de compatibilidade.

6Resumo e Avaliação do Valor

OMCX556A-ECATA utilização de um sistema de gestão de dados, que permite a utilização de um sistema de gestão de dados, permite a utilização de umNVIDIA Mellanox MCX556A-ECATreduz a latência de aplicação em 10x em comparação com TCP, corta CPU overhead de rede em 85% e desbloqueia a desagregação de armazenamento via NVMe-oF.A capacidade de 100GbE de duas portas do cartão fornece espaço para o futuroPara as equipas de operações, a pilha de drivers madura (upstream Linux, Windows e VMware) simplifica a gestão.Preço MCX556A-ECATEm relação ao custo total de propriedade, incluindo licenças de software, energia e refrigeração, o adaptador normalmente se paga dentro de 6-12 meses através da consolidação de servidores.Cartão de adaptador Ethernet MCX556A-ECATouCartão de rede PCIe MCX556A-ECAT ConnectX adaptador, esta solução continua a ser um projeto de referência para redes Ethernet sem perdas e de alto rendimento.