Mellanox (NVIDIA) 920-9B110-00FH-0D0 InfiniBand Switch Solução Técnica para Optimizar Interconexão de Baixa Latência

1Análise dos antecedentes e requisitos do projecto

A implantação e a ampliação de clusters de computação acelerada modernos para formação em IA e cargas de trabalho em HPC apresentam desafios de rede únicos.As redes tradicionais baseadas em TCP/IP introduzem latência significativa e CPU overheadOs requisitos essenciais para uma solução de interconexão de próxima geração incluem: latência determinística de submicrossegundos para evitar a paralisação da GPU,Alta largura de banda bisecional para padrões de comunicação todos-para-todos, computação em rede escalável para descontaminar as operações coletivas e gestão robusta do tecido para simplificar a operação.

O...NVIDIA Mellanox 920-9B110-00FH-0D0A tecnologia de ponta é projetada para satisfazer estas exigências exatas, formando a base de um sistema de ponta e eficiente.920-9B110-00FH-0D0 Solução OPN de comutação InfiniBandEste documento descreve um plano técnico abrangente para a sua implantação.

2. Projeto geral da arquitetura de rede/sistema

A arquitetura proposta é uma topologia de árvore de gordura sem bloqueio, que é o padrão de facto para a construção de clusters de HPC e IA previsíveis e de alta largura de banda.Este projeto garante constante hop contagem e latência entre quaisquer dois nósA arquitetura é construída sobre um ecossistema com pilha completa e otimizado para a NVIDIA.

• Camada de cálculo:Sistemas NVIDIA DGX ou HGX, ou servidores GPU equivalentes com NICs NVIDIA ConnectX-7.
• Camada de interconexão:Tecido homogéneo de920-9B110-00FH-0D0Interruptores que atuam tanto como interruptores de folha (top-of-rack) como de espinha.
• Camada de gestão e orquestração:NVIDIA UFM® para gerenciamento de tecido, integrado com agendadores de cluster como Slurm ou Kubernetes através da pilha NVIDIA Magnum IO.

Esta arquitetura de ponta a ponta garante um desempenho ideal para as comunicações RDMA e GPUDirect, criando um "fabric como um recurso de computação".

3Função do 920-9B110-00FH-0D0 e principais características técnicas

Dentro desta arquitetura, o920-9B110-00FH-0D0A sua função vai além do simples encaminhamento de pacotes para se tornar um elemento computacional ativo.

Pilares técnicos essenciais:

• Latência ultra-baixa e largura de banda elevada:Alimentado pelo920-9B110-00FH-0D0 MQM8790-HS2FASIC, ele oferece latência de porta a porta líder do setor e velocidade de fio total de 200Gb / s por largura de banda de porta, o que é crítico para o tráfego RDMA.
• Computação em rede (SHARP):O hardware do switch acelera as operações coletivas MPI e NCCL (All-Reduce, Broadcast) realizando a agregação de dados dentro da rede.
• Controle avançado do congestionamento:Mecanismos adaptativos de encaminhamento e de controlo de congestionamento em tempo útil gerem dinamicamente os fluxos de tráfego,Prevenção de quedas de pacotes e garantia de uma distribuição justa da largura de banda durante cenários incast comuns no treinamento de IA.
• Telemetria e visibilidade:O suporte integrado para a infraestrutura de telemetria da NVIDIA fornece insights profundos sobre padrões de tráfego, ocupação de buffer e saúde do link, que são essenciais para o ajuste de desempenho.

Os engenheiros devem consultar o funcionárioFicha de dados 920-9B110-00FH-0D0para detalhesEspecificações 920-9B110-00FH-0D0em configurações de energia, refrigeração e portas.

4Recomendações de implantação e escalagem

A implantação começa com uma análise cuidadosa da920-9B110-00FH-0D0 compatívelUma unidade de dimensionamento típica é um "pod" construído com uma árvore de gordura não bloqueadora.

Exemplo: 512-GPU Cluster Pod

• Nível de folhas:Implementar920-9B110-00FH-0D0comutadores como Top-of-Rack (ToR), cada um conectando até 16 servidores de GPU (por exemplo, sistemas 8x DGX A100).
• Nível da coluna:Uma segunda camada de920-9B110-00FH-0D0Interliga todos os interruptores de folha, fornecendo largura de banda bisecional completa.
• Cablagem:Utilize cabos HDR QSFP56 (passivos ou ativos) para todas as ligações inter-switch e servidor de 200 Gb/s.

Escalado para além de um pod:As células podem ser interconectadas usando interruptores de espinha dorsal dedicados ou estendendo a hierarquia da árvore de gordura, aproveitando a alta radix do920-9B110-00FH-0D0. O920-9B110-00FH-0D0 InfiniBand switch OPNFornece um roteiro claro para a interoperabilidade das peças durante a expansão.

5. Operações, Monitorização, Solução de Problemas e Optimização

O gerenciamento proativo é crucial para manter o desempenho máximo do tecido.

As atualizações regulares do firmware e a adesão às melhores práticas descritas na documentação do switch são essenciais.O fluxo de diagnóstico deve começar com telemetria UFM®, verifique a integridade do cabo e verifique as configurações SHARP e controle de congestionamento.

6Conclusão e Avaliação do Valor

Implementação de uma interconexão de clusters baseada naMellanox (NVIDIA) 920-9B110-00FH-0D0fornece uma base de alto desempenho e à prova de futuro para cargas de trabalho RDMA, HPC e AI. Sua proposta de valor é multifacetada: maximiza a utilização da GPU e o ROI minimizando a sobrecarga de comunicação,permite o crescimento escalável dos clusters e simplifica as operações através de uma gestão integrada e telemetria.

Enquanto o920-9B110-00FH-0D0 preçorepresenta um investimento premium, o custo total de propriedade (TCO) é favorável, tendo em conta as reduções drásticas no tempo de conclusão do trabalho, a melhoria da produtividade dos investigadores,e escalabilidade eficiente que evita redesenhos de tecidos dispendiosos. As organizações que avaliam a920-9B110-00FH-0D0 à vendaEsta solução técnica fornece o modelo para liberar todo o potencial das infra-estruturas de computação acelerada.