Solução Técnica de Switch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Este white paper técnico fornece aos arquitetos, engenheiros de pré-venda e equipas de operações um projeto de referência abrangente centrado noMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0A solução aborda os desafios mais prementes nos ambientes modernos de IA e HPC: latência induzida pela rede, congestionamento,e limitações de escalabilidade dos tecidos Ethernet tradicionais.

1Análise dos antecedentes e requisitos do projecto

As organizações que implantam clusters de GPU em grande escala para treinamento de modelos de linguagem de grande porte, simulações de dinâmica molecular ou previsão do tempo enfrentam um gargalo comum: o tecido de interconexão.A Ethernet convencional com perdas não pode garantir a, a latência de submicrossegundos necessária para operações coletivas eficientes de redução total e de todos para todos. Os principais requisitos identificados a partir de implantações no mundo real incluem:

• Latência de ponta a ponta inferior a 1 μs para cargas de trabalho MPI sensíveis à latência
• Sem perdas, taxa de linha de 400Gb/s por porta sem bloqueio da cabeça da linha
• Computação em rede para descarregar operações coletivas de CPUs host
• Escalabilidade contínua de 8 a mais de 2.000 nós GPU sem rearquitetura de tecido

Estas exigências levaram a nossa equipa de design a selecionar o920-9B210-00FN-0D0como o bloco de construção fundamental para a próxima geração de tecido de baixa latência.

2. Projeto geral da arquitetura de rede/sistema

A arquitetura proposta adota uma topologia de dois níveis de leaf-spine otimizada para largura de banda não bloqueadora e de bisecção completa.(ou seja, os servidores de gestão) conectam-se aos interruptores de folhaEste projeto elimina a subscrição excessiva e garante latência previsível, independentemente dos padrões de comunicação.

Para um cluster de referência 512-GPU, implantamos 16 interruptores de folha e 8 interruptores de coluna, cada um sendo oNVIDIA Mellanox 920-9B210-00FN-0D0As ligações folha-espinha operam a 400Gb/s NDR, resultando numa largura de banda de tecido agregada superior a 200 Tb/s.Algoritmos de roteamento adaptativo (AR) e controle de congestionamento são habilitados em todos os portos para equilibrar dinamicamente o tráfego e evitar pontos críticos durante eventos incast.

3. Função do 920-9B210-00FN-0D0 e dos principais diferenciadores

O920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDRO switch serve tanto como folha quanto como espinha dorsal, proporcionando um desempenho consistente em todo o tecido.

Os engenheiros que avaliam os contratos encontrarão920-9B210-00FN-0D0 InfiniBand switch OPN(número de peça de encomenda) simplifica a cotação e a entrega.Ficha de dados 920-9B210-00FN-0D0e920-9B210-00FN-0D0 especificaçõesFornecer matrizes de compatibilidade detalhadas com as DPUs ConnectX-7, BlueField-3 e dispositivos de armazenamento de terceiros.

4Recomendações de implantação e escalagem

Recomendamos uma abordagem de implantação em fases para minimizar a interrupção da produção:

• Fase 1 (piloto):8 a 16 nós GPU + 2920-9B210-00FN-0D0comutadores (topologia de trilho único). Validar o desempenho do RDMA e coletar métricas de base.
• Fase 2 (produção parcial):Escala para 128 GPUs usando 4 folhas + 2 spines.
• Fase 3 (produção completa):Implementar 16 folhas + 8 espinhos para 512+ GPUs. Introduzir roteamento multi-caminho e partição de tecido usando NVIDIA UFM.

Para cablagem, utilizar cabos ópticos ativos (AOC) ou cabos de cobre ativos para percursos inferiores a 5 metros; para espinhos mais longos ou ligações cross-rack, implantar transceptores NDR de 400Gb/s com fibra de modo único.Todos os portos no920-9B210-00FN-0D0 compatívelO ecossistema suporta a negociação automática entre os modos de operação de 400 Gb/s e 200 Gb/s.

5. Operações, Monitorização e Solução de Problemas

A preparação para a produção requer uma observabilidade robusta.920-9B210-00FN-0D0 Solução OPN de interruptor de banda InfiniAs principais capacidades operacionais incluem:

• Telemetria em tempo real:Contadores de porto, histogramas de latência, ocupação do buffer e notificações de congestionamento exportadas via Prometheus/Graphite.
• Mudança automática por falha:Reencaminhamento de ligação subsecunda em caso de falha do cabo ou transceptor.
• Diagnóstico de desempenho:Contadores de desempenho SHARP e ferramentas de análise de tecido para identificar nós de drenagem lenta.

Para questões comuns, consulte oFicha de dados 920-9B210-00FN-0D0A Comissão Europeia e o Conselho de Ministros da União Europeia (CE)920-9B210-00FN-0D0 preçoModelos de compensação entre a expansão apenas das folhas e a expansão total da coluna vertebral.

6Resumo e Avaliação do Valor

ONVIDIA Mellanox 920-9B210-00FN-0D0A solução baseada em computadores oferece latência determinística de submicrossegundos, transferência sem perda de 400Gb/s e aceleração de computação em rede para clusters RDMA/HPC/AI.Em comparação com os projetos Ethernet alternativos de 400 Gb, este tecido InfiniBand atinge 2.5x menor total reduzir a latência e elimina até 90% do tráfego coletivo através SHARPv3.920-9B210-00FN-0D0 à vendaNo que respeita às opções, o custo total de propriedade é normalmente recuperado no prazo de 6 a 12 meses, graças a uma maior utilização da GPU e a um menor tempo de conclusão do trabalho.Recomendamos uma implantação piloto imediata para qualquer infraestrutura nova ou em escala de IA..