Switch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 em Produção

As empresas e instituições de pesquisa que ampliam o treinamento de IA e as simulações de HPC geralmente enfrentam um gargalo comum: latência e congestionamento induzidos pela rede que desperdiçam ciclos de computação de GPU. Este estudo de caso de implantação examina como um laboratório de pesquisa de IA de médio porte transformou o desempenho de seu cluster usando oMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Switch InfiniBand, alcançando malha determinística de baixa latência para cargas de trabalho paralelas exigentes.

Antecedentes e Desafio: Quando a Ethernet se Torna o Gargalo

A malha Ethernet de 100 Gb existente do laboratório exibiu consistentemente picos de latência final durante operações com redução total, causando tempos ociosos da GPU de até 25% em trabalhos de treinamento em grande escala. Seus switches legados não possuíam controle de congestionamento compatível com RDMA e recursos de computação em rede. Os arquitetos precisavam de uma solução que pudesse fornecer latência de submicrossegundos, transporte sem perdas e escalabilidade contínua para um backbone NDR de 400 Gb/s em expansão. Depois de avaliar diversas opções, a equipe selecionou a920-9B210-00FN-0D0como o principal alicerce de sua nova estrutura InfiniBand.

Solução e implantação: construindo uma estrutura de IA de baixa latência

A implantação centrou-se no920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRswitch, que serve como backbone leaf-spine para 32 servidores GPU. As principais decisões de implantação incluíram:

• Suporte completo a RDMA:Eliminação da sobrecarga de desvio de kernel usando a camada de transporte proprietária da NVIDIA.
• Roteamento adaptativo:Equilibrando dinamicamente o tráfego em vários caminhos para evitar pontos de acesso.
• Agregação SHARPv3 na rede:Descarregando operações coletivas das CPUs host para o plano de dados do switch.

Engenheiros referenciaram oFolha de dados 920-9B210-00FN-0D0eEspecificações 920-9B210-00FN-0D0para validar a compatibilidade com adaptadores ConnectX-7 existentes. OCompatível com 920-9B210-00FN-0D0O ecossistema permitiu uma substituição imediata dos switches de coluna anteriores sem alterações de cabeamento. Além disso, o920-9B210-00FN-0D0 Interruptor InfiniBand OPN(número da peça do pedido) fluxos de trabalho simplificados de aquisição e RMA.

Resultados e benefícios: ganhos mensuráveis ​​para HPC e IA

Depois de migrar para oNVIDIA Mellanox 920-9B210-00FN-0D0baseado em tecido, o laboratório registrou as seguintes melhorias ao longo de um período de avaliação de 30 dias:

Para gerentes de TI que avaliam o custo total de propriedade, oPreço 920-9B210-00FN-0D0foi compensado por uma redução de 40% na energia ociosa do cluster e um rendimento de trabalho mais rápido. O920-9B210-00FN-0D0 para vendacanal através de distribuidores autorizados também forneceu suporte de ciclo de vida de 5 anos – fundamental para o planejamento de infraestrutura de HPC de longo prazo.

Resumo e perspectivas: um modelo para clusters de IA de última geração

O laboratório de pesquisa agora padronizou oSolução OPN do switch InfiniBand 920-9B210-00FN-0D0para todas as novas expansões de GPU. Olhando para o futuro, a equipe planeja escalar de 32 para 256 portas NDR usando a mesma plataforma de comutação, aproveitando sua arquitetura sem bloqueio e controle de congestionamento. Para arquitetos que projetam malhas RDMA de baixa latência, oNVIDIA Mellanox 920-9B210-00FN-0D0fornece uma base comprovada e pronta para produção que elimina a imprevisibilidade da rede, desde pequenos clusters de prototipagem de IA até implantações de HPC em exaescala.