NVIDIA Mellanox MCX556A-ECAT Adaptador de Servidor Livro Branco Técnico

NVIDIA Mellanox MCX556A-ECAT Adaptador de Servidor Livro Branco Técnico

1Análise dos antecedentes e requisitos do projecto

Os centros de dados modernos estão passando por uma transformação fundamental impulsionada pela inteligência artificial, computação de alto desempenho (HPC) e análise em tempo real.Essas cargas de trabalho exigem desempenho de rede sem precedentes, não apenas largura de banda brutaOs adaptadores Ethernet tradicionais, que dependem de pilhas TCP/IP baseadas em software, tornaram-se um gargalo significativo.Consumindo 20~30% dos núcleos da CPU e introduzindo variações de latência imprevisíveis que degradam o desempenho do aplicativoPara as organizações que operam em escala, esta ineficiência traduz-se diretamente em custos de infra-estrutura mais elevados e tempo de visão mais lento.

Este livro branco apresenta uma solução técnica global centrada naNVIDIA Mellanox MCX556A-ECATO sistema foi concebido para empresas que procuram maximizar o retorno dos seus investimentos em 100GbE.Cartão de adaptador Ethernet MCX556A-ECATA tecnologia RDMA é uma solução de rede que fornece RDMA acelerada por hardware através da Ethernet Convergente (RoCE), permitindo um transporte sem perdas e com baixa latência que transforma as E/S da rede de um passivo em um ativo estratégico.A solução é especificamente concebida para cumprir três objectivos principais: (1) alcançar uma latência de aplicação de ponta a ponta inferior a 10 μs, (2) reduzir a sobrecarga de processamento da rede da CPU para menos de 5% e (3) fornecer uma base escalável e à prova do futuro para 100GbE e além.

2. Projeto geral de arquitetura de rede e sistema

A arquitetura recomendada adota uma topologia de leaf-spine de alto desempenho com 100GbE como camada de acesso ao servidor e 400GbE uplinks para a coluna vertebral.Cartão de rede PCIe MCX556A-ECAT ConnectX adaptadorA arquitetura é construída em torno de cinco princípios-chave:

• Tecido Ethernet sem perdas:Aproveitamento do RoCE v2 com PFC (Priority Flow Control) e ECN (Explicit Congestion Notification) em todos os switches para eliminar quedas de pacotes e garantir latência determinista para o tráfego RDMA.
• Descarregar hardware em todos os lugares:Descarregar o processamento de camada de transporte incluindo descarga de soma de verificação, segmentação (LSO / LRO), marcação VLAN e RDMA ao adaptador, liberando ciclos de CPU para a lógica da aplicação.
• Redundância ativa-ativa:Utilizando as duas portas QSFP28 no modo de agregação de ligações (LACP) para largura de banda agregada de 200 Gb/s e passagem automática por falha com recuperação em segundos.
• Segmentação do tráfego:Classes de tráfego dedicadas para armazenamento (NVMe-oF), computação (MPI/RDMA) e tráfego de gestão, garantindo QoS previsível em todas as cargas de trabalho.
• Plano de controlo escalável:Gerenciamento centralizado por meio de switches NVIDIA Spectrum com telemetria e automação incorporadas por meio de APIs REST e playbooks Ansible.

A solução é totalmenteCompatibilidade MCX556A-ECATcom plataformas de servidores líderes (Dell PowerEdge, HPE ProLiant, Supermicro, Lenovo) e integra-se perfeitamente com os principais sistemas operacionais (Linux, Windows Server, VMware ESXi).A arquitetura suporta NVMe-oF sobre RoCE, permitindo armazenamento desagregado compartilhado com latências próximas a unidades NVMe locais.

3O papel e as principais características do NVIDIA Mellanox MCX556A-ECAT

Como componente fundamental desta solução, aNVIDIA Mellanox MCX556A-ECATdesempenha três funções críticas dentro da arquitetura:

Especificações técnicas essenciais extraídas doFicha de dados MCX556A-ECATIncluem a interface host PCIe 3.0/4.0 x16, capacidades abrangentes de descarga (checksum, LSO/LRO, VLAN stripping/insertion, RSS) e telemetria avançada por porta.A eficiência energética do adaptador (normalmente inferior a 15W) e o amplo suporte ao sistema operacional tornam-no um bloco de construção versátil para ambientes heterogêneos. OEspecificações MCX556A-ECATAlém disso, destacar o apoio à compatibilidade 25GbE e 40GbE, oferecendo flexibilidade de implantação para ambientes de velocidade mista.

4Recomendações de implantação e escalagem

Para implantações em campo verde, recomendamos uma topologia de dois níveis de leaf-spine com acesso 100GbE e uplinks de 400GbE.Cartão de adaptador Ethernet MCX556A-ECATcom ambas as portas QSFP28 ligadas a interruptores de folha separados para redundância.PFC sobre a prioridade 3 (para o tráfego RDMA) e a prioridade 4 (para o armazenamento)Recomendamos a alocação de VLANs dedicadas para RoCE, gerenciamento e armazenamento de tráfego para simplificar o monitoramento e solução de problemas.

Para ambientes de campo branco com infraestrutura 40GbE existente, oSolução de cartão de adaptador Ethernet MCX556A-ECATComo o adaptador é compatível com as ópticas 40GbE QSFP +, os cabos existentes podem ser reutilizados durante a atualização gradual para 100GbE.O adaptador também suporta comutação Ethernet padrão sem habilitação obrigatória de RoCE, permitindo que as equipes implantem primeiro o hardware e ativem as capacidades RDMA em etapas à medida que o tecido amadurece e as cargas de trabalho justificam a transição.

A escala da solução para além de 50 nós introduz considerações adicionais.Recomendamos a implementação de uma estratégia de gestão de congestionamento RoCE dedicada usando switches de espectro NVIDIA com telemetria incorporada e ajuste dinâmico do limiar ECNPara clusters com mais de 200 nós, considere implantar um controlador de gerenciamento de tecido centralizado (por exemplo, NVIDIA Cumulus NetQ) para manter a visibilidade de ponta a ponta e a consistência da configuração automatizada.OMCX556A-ECAT à vendaA NVIDIA fornece serviços de gestão de dados e de gestão de dados, incluindo serviços de gestão de dados e de gestão de dados, através dos parceiros globais da NVIDIA.

5. Operações, Monitorização, Solução de Problemas e Optimização

O funcionamento eficaz do tecido RoCE requer uma estratégia de monitorização e solução de problemas em várias camadas:

• Telemetria de nível de adaptador:OEspecificações MCX556A-ECATincluem contadores por porta para quadros PFC, pacotes marcados ECN, quadros abandonados e erros de link.mlx5cmd,ectool, ou ferramentas de firmware da NVIDIA para exportar essas métricas para os painéis Prometheus/Grafana.
• Monitorização no nível do interruptor:Monitore a ocupação do buffer, a contagem de quadros de pausa, a profundidade da fila e as taxas de marcação ECN nos interruptores de coluna e folha.Aumento repentino dos intervalos de pausa indica micro-congestão que pode exigir ajuste do limiar da ECN.
• Métricas de nível de aplicação:Para aplicativos RDMA, acompanhe as latências de conclusão do WR (Work Request), os eventos de transbordamento do CQ (Completion Queue) e a contagem de erros do QP (Queue Pair) usando as bibliotecas NVIDIA libibverbs e rdma-core.

Cenários comuns de resolução de problemas e as ações recomendadas:

• Degradação do desempenho do RoCE:Verifique se o PFC está habilitado em todas as portas do switch e se a marcação DSCP corresponde à configuração do switch.Ficha de dados MCX556A-ECATPara validar as definições de atribuição do buffer em relação aos valores recomendados para o seu perfil de carga de trabalho.
• Erros de batida de ligação ou CRC:Verifique a qualidade do cabo QSFP28 e verifique se o firmware do adaptador está atualizado para a versão mais recente. Verifique se os cabos atendem às especificações IEEE 802.3bj para 100GBASE-SR4 ou LR4.
• CPU ainda alta apesar da descarga:Confirme que o RDMA está realmente sendo usado (não caindo no TCP) inspecionando contadores de drivers, registros de aplicativos e estados de conexão.
• Estancamento de PFC ou tempestade de pausa:Verificar se existem prioridades mal configuradas e assegurar que o PFC está habilitado apenas nas classes de tráfego RoCE (não no tráfego de gestão ou armazenamento).

Para otimização, recomendamos os seguintes parâmetros de ajuste baseados em extensas validações de laboratório:

• Interrupção da coalescência (moderação):Definição de 4 ‰ 8 μs para cargas de trabalho mistas (negociação + armazenamento) para equilibrar a latência e a eficiência da CPU.
• RDMA MTU:Aumentar para 4096 bytes para cargas de trabalho de armazenamento para reduzir a sobrecarga do protocolo e melhorar a taxa de transferência.
• RSS (Receber Scalação do Lado):Configurar em vários núcleos de CPU para tráfego não-RDMA para distribuir o processamento e evitar a saturação de um único núcleo.
• Prazos da NEC:Definir um limiar mínimo de 50% do tampão e um limiar máximo de 80% para o tráfego prioritário 3, ajustando-se com base nos padrões de congestionamento observados.

6Resumo e Avaliação do Valor

ONVIDIA Mellanox MCX556A-ECATA solução oferece um valor transformador para centros de dados modernos.As organizações podem alcançar reduções de latência a nível de aplicação de 5×10x, reduzir a sobrecarga de rede da CPU em mais de 80% e aumentar a densidade de contêineres do servidor em 30­50%.Cartão de adaptador Ethernet MCX556A-ECATProporciona um caminho rentável para a adoção de 100GbE com proteção do investimento através da compatibilidade com a versão anterior de 40GbE e de capacidades de descarga preparadas para o futuro para cargas de trabalho emergentes.

Para avaliar o custo total de propriedade, oPreço MCX556A-ECATé compensada por economias operacionais significativas: redução do número de servidores (devido a uma maior utilização), custos de arrefecimento mais baixos (graças ao consumo de energia < 15W),e eliminação de tecidos separados InfiniBand ou RDMA proprietáriosA solução é totalmenteCompatibilidade MCX556A-ECATcom os principais ecossistemas de código aberto e empresariais, incluindo Kubernetes, Apache Spark, TensorFlow e VMware vSphere, garantindo ampla aplicabilidade em empresas, HPC e implantações nativas em nuvem.

Para obter scripts de implantação detalhados, modelos de configuração e relatórios de benchmark de desempenho, consulte o site oficialFicha de dados MCX556A-ECATEste white paper serve como uma base ∙ a arquitetura é validada, os componentes estão prontos para produção,e os benefícios são mensuráveis. OCartão de rede PCIe MCX556A-ECAT ConnectX adaptadorNão é apenas um adaptador; é um facilitador estratégico para o centro de dados do futuro pronto para RDMA e otimizado para o rendimento.