Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch em ação

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch em Ação ¢ Otimização de Interconexão de Baixa Latência para Clusters RDMA/HPC/AI

Um centro regional de supercomputação recentemente realizou uma grande atualização da sua infraestrutura de computação de IA,Expansão de 64 para 256 GPUs NVIDIA A100 para suportar treinamento de modelos de linguagem em larga escala e cargas de trabalho de sequenciamento genômicoNo entanto, a rede RoCEv2 de 100GbE existente tornou-se um gargalo persistente frequentes tempestades de PFC, latência de cauda imprevisível,A utilização de sistemas de controlo de desempenho e de sistemas de controlo de desempenho (ECN) complexos consumiu um esforço de engenharia significativo e prolongou os tempos de conclusão de trabalhos em mais de 40%Este estudo de caso examina como o centro implementou oMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Comutação InfiniBand para transformar seu tecido, fornecendo interligação determinística de baixa latência para aplicações de RDMA intensivo.

Antecedentes e desafios

A arquitetura inicial do centro usou dois switches de folha de 100GbE com RoCEv2, conectando servidores de GPU e um sistema de arquivos paralelo.Primeiro, ocorreram bloqueios PFC (Priority Flow Control) diariamente, forçando a reinicialização manual; em segundo lugar, as operações coletivas de redução total experimentaram latências de cauda superiores a 200 μs, retardando diretamente a utilização da GPU;TerceiroA equipe de operações percebeu que a Ethernet, mesmo com extensões RDMA, não era uma solução eficaz.Não podiam sustentar os que não perdem., o tecido determinístico necessário para as cargas de trabalho de IA de próxima geração.

Solução e implantação920-9B110-00FH-0D0 InfiniBand Switch OPNcomo a Nova Espinha

Após avaliar várias opções, o centro selecionou oNVIDIA Mellanox 920-9B110-00FH-0D0A alteração, baseada no920-9B110-00FH-0D0 MQM8790-HS2FA implementação empregou uma topologia de árvore de gordura de dois níveis: quatro920-9B110-00FH-0D0comutadores como folhas (cada um conectando 64 nós GPU através de ligações 200G) e duas unidades adicionais como espinhos, fornecendo largura de banda de bisecção completa.,Aproveitamento do920-9B110-00FH-0D0 compatívelO programa de desenvolvimento de sistemas de gestão da biodiversidade (PEM) foi lançado em 2002 e foi financiado pelo Fundo Europeu de Desenvolvimento Rural (FEDER) e pela Comissão Europeia.

• Cablagem:Módulos ópticos HDR 200G para distâncias de até 100 metros, com DACs passivos para ligações intra-rack.
• Gestão:NVIDIA UFM (Unified Fabric Manager) para descoberta automatizada de topologia, políticas de roteamento adaptativas e telemetria em tempo real.
• Descarga coletiva:O SHARPv2 permitiu acelerar as operações de redução total, descarregando o trabalho das CPUs host e reduzindo o chat da rede.

A equipa fez referência aoFicha de dados 920-9B110-00FH-0D0eEspecificações 920-9B110-00FH-0D0Para validar os requisitos de potência e refrigeração ¥ o comutador ¥ com um fator de forma de 1U e 200G por densidade de porta cabem perfeitamente nos racks existentes sem alterações adicionais da infra-estrutura.920-9B110-00FH-0D0 Solução OPN de comutação InfiniBandO sistema de contratação também foi simplificado, com o OPN (número de peça de encomenda) exacto, garantindo a configuração correta.

Resultados e benefícios medidos ¢ ganhos de desempenho quantificáveis

Após duas semanas de implantação e validação, o centro documentou melhorias significativas em todos os principais indicadores de desempenho.O quadro a seguir resume as métricas antes e depois de um trabalho de formação representativo de 256 GPU (pré-formação de grande dimensão BERT):

Para além dos números, a equipa relatou que oNVIDIA Mellanox 920-9B110-00FH-0D0A telemetria integrada fornecida pelo sistema de medição de fluidos de resíduos de plástico (PFCs) permite a obtenção de informações sobre a qualidade dos resíduos.920-9B110-00FH-0D0 InfiniBand switch OPNO sistema de gestão de tráfego, que foi desenvolvido pela empresa, permitiu ao pessoal das operações uma visibilidade granular da congestão por fluxo e da utilização do caminho, permitindo um planeamento proativo da capacidade.920-9B110-00FH-0D0 preçoO sistema de transmissão de dados NDR de 400G é um sistema de transmissão de dados NDR de 400G, que é um sistema de transmissão de dados NDR.

Resumo e perspetivas Uma via comprovada para a interconexão de baixa latência

A experiência do centro de supercomputação demonstra que aMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0oferece uma alternativa pragmática e de alto desempenho para tecidos Ethernet com dificuldades e soluções caras de ponta.e transporte RDMA sem perdas, a mudança permite que as organizações liberem todo o potencial dos seus investimentos em GPUs, acelerando o tempo de inserção das cargas de trabalho de IA e HPC.

Olhando para o futuro, o centro planeja expandir sua estrutura para 512 GPUs usando o mesmo920-9B110-00FH-0D0 Solução OPN de comutação InfiniBand, aumentando a escala através da adição de interruptores de folhas adicionais, mantendo a infra-estrutura de coluna existente.A compatibilidade do switch com futuros adaptadores NVIDIA (incluindo o ConnectX‐7) garante um caminho de atualização suavePara as organizações que avaliam actualizações semelhantes, oEspecificações 920-9B110-00FH-0D0eFicha de dados 920-9B110-00FH-0D0A utilização de equipamentos para a produção de equipamentos de construção é de grande importância.920-9B110-00FH-0D0 à vendaatravés de canais autorizados).

Esta implantação no mundo real confirma que o920-9B110-00FH-0D0é mais do que um produto ­ é um facilitador comprovado de redes cluster de baixa latência e alta eficiência, pronto para atender às exigências da próxima década de IA e computação científica.