Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Switch InfiniBand em ação: otimizando a interconexão de baixa latência
May 29, 2026
No treinamento de IA no mundo real e nas implementações de computação de alto desempenho, a latência da rede e a sobrecarga da CPU muitas vezes se tornam assassinos silenciosos da escalabilidade.Este resumo da candidatura examina como uma organização de investigação de médio porte enfrentou estes desafios exatamenteMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Comutação InfiniBand como o tecido central para o seu cluster de pesquisa baseado em GPU.
O tecido RoCE Ethernet 100Gb / s da organização sofreu de latência de cauda imprevisível devido a tempestades PFC (Priority Flow Control) e manejo ineficiente do congestionamento.À medida que os tamanhos dos modelos de IA cresciam de 10 mil milhões para mais de 50 mil milhões de parâmetros, as operações de comunicação colectiva (All-Reduce, All-to-All) consumiam quase 45% do tempo total de iteração.tecido de baixa latência que poderia alavancar completamente o RDMA mantendo a escala de desempenho linearA busca convergiu rapidamente para o920-9B110-00FH-0D0como o bloco de construção mais promissor.
A equipa selecionou os920-9B110-00FH-0D0 MQM8790-HS2FO sistema de transmissão de dados é um sistema de transmissão de dados que permite a transmissão de dados através de um computador, um computador, um computador, um computador, um computador, um computador, um computador, um computador, um computador, um computador, um computador, um computador, etc.920-9B110-00FH-0D0 InfiniBand switch OPNO sistema de encomenda foi desenvolvido com base em um quadro de encomenda, eles implementaram dois switches redundantes com 40 portas HDR cada, alcançando uma relação de oversubscription não-bloqueante de 1:1.A implementação aproveitou o Roteamento Adaptativo e o SHARPv2 (Protocolo de Agregação e Redução Hierárquica Escalavel)Ficha de dados 920-9B110-00FH-0D0A equipe confirmou que a utilização de um sistema de transmissão de dados, que permite a transmissão de operações coletivas diretamente para o tecido do interruptor.920-9B110-00FH-0D0 compatívelO ecossistema incluiu os adaptadores ConnectX-6 HDR existentes e a ótica QSFP56 padrão.
A telemetria pós-implementação revelou melhorias dramáticas. A latência de ponta a ponta entre qualquer dois nós da GPU caiu de 3,2 μs (RoCE) para menos de 1,1 μs, com jitter reduzido em 80%.NVIDIA Mellanox 920-9B110-00FH-0D0reduziu o tempo de conclusão de All-Reduce em 57% para trabalhos de 512-GPU.
| Métrica | Anterior (RoCE) | Com 920-9B110-00FH-0D0 |
|---|---|---|
| Latência P2P média (MPI pingpong) | 3.2 μs | 10,08 μs |
| All-Reduce (512 GPUs, mensagem de 1 GB) | 17.3 ms | 7.4 ms |
| Utilização eficaz da largura de banda | 62% | 94% |
| CPU Overhead (por 10 Gb/s) | ~ 8% | < 1% |
Para além dos números brutos, o920-9B110-00FH-0D0 Solução OPN de comutação InfiniBandUtilizando o NVIDIA UFM (Unified Fabric Manager), a equipe ganhou visibilidade em tempo real do tecido, otimização automática do caminho,e alertas de congestionamento proativos capacidades não disponíveis na sua implantação Ethernet anterior. OEspecificações 920-9B110-00FH-0D0Também permitiu uma operação de eficiência energética: o chassi de 1U consumiu apenas 180W em carga total, reduzindo sua contribuição de PUE.
Para as organizações que avaliam melhorias semelhantes, o920-9B110-00FH-0D0 preçoComparar favoravelmente com comutadores Ethernet equivalentes de 200Gb/s, ao ter em conta a menor sobrecarga do NIC e a eliminação de licenças de Ethernet sem perdas caras.920-9B110-00FH-0D0 à vendaA análise do ROI da equipe mostrou um período de retorno de 9 meses puramente de melhorias na utilização da GPU.
A implantação confirmou que oNVIDIA Mellanox 920-9B110-00FH-0D0Para os arquitetos que projetam clusters de IA de próxima geração ou sistemas HPC, a tecnologia de computador de ponta oferece uma ampla gama de soluções de computador de ponta, que oferecem uma latência inferior a um microssegundo, largura de banda bi-secional completa e eficiência nativa de RDMA.Este interruptor representa umA medida que as cargas de trabalho continuam a ser dimensionadas em direcção a exascale, as soluções construídas em torno do920-9B110-00FH-0D0A Comissão considera que o projeto de infraestrutura de ligação de alta performance deve ser desenvolvido de forma a permitir uma melhor integração entre as redes de ligação de alta performance e as redes de ligação de alta performance.