NVIDIA Mellanox MMA4Z00-NS Data Center Transceiver Óptico em Prática

NVIDIA Mellanox MMA4Z00-NS Data Center Transceiver Óptico na prática. Balançando largura de banda e distância em Rack-to-Rack e Inter-Facility Links

Conteúdo e desafio: o dilema da largura de banda de 800G em centros de dados orientados por IA

À medida que os clusters de treinamento de IA aumentam de centenas para milhares de GPUs, o tecido de rede subjacente deve fornecer largura de banda em escala de terabit, mantendo distâncias de link aceitáveis dentro do data hall.Para implantações de 800G Ethernet e 400G InfiniBand, o desafio da camada física é particularmente grave: os transceptores multimodo tradicionais baseados em VCSEL de 850 nm oferecem uma excelente relação custo-eficácia para ligações de curto alcance (menos de 30 metros),Mas o alcance deles geralmente cai para 5070 metros em 800G PAM4 velocidades uma distância que pode ser insuficiente para conexões de corredor cruzado ou topologias entre fileirasPor outro lado, as soluções de modo único como os transceptores DR8 ou FR8 estendem o alcance para centenas de metros, mas vêm com um custo e um consumo de energia significativamente mais elevados.torná-los economicamente inviaveis para implantações de camada de acesso de alta densidade.

Este desafio foi recentemente confrontado por um fornecedor de nuvem em larga escala que implantou um cluster de treinamento de IA de 8.000 GPU em 12 salas de data centers.O cluster exigia conectividade 800G entre os switches de folha e os nós de computação da GPU distribuídos em racks adjacentes e não adjacentes, com distâncias que vão de 5 metros (intra-rack) a 65 metros (cross-aisle).A equipe de engenharia precisava de um único transceptor SKU que poderia cobrir a maioria desses links sem sacrificar a integridade do sinalO sistema de transmissão de dados é um sistema de transmissão de dados que permite uma maior eficiência energética ou flexibilidade de protocolo, porque o tecido inclui tanto Ethernet para armazenamento como InfiniBand para comunicação GPU-GPU.NVIDIA Mellanox MMA4Z00-NSsurgiu como o candidato ideal, oferecendo desempenho 800G OSFP SR8 com capacidade de ruptura 2 × 400G em ambos os protocolos.

Solução e implantação: uma estratégia óptica 800G unificada

Para abordar o equilíbrio largura de banda-distância, o fornecedor padronizado noNVIDIA Mellanox MMA4Z00-NSEste é o único transceptor óptico 800G para todas as ligações de fibra multimodo até 60 metros.MMA4Z00-NS 800G OSFP SR8 transceptoroperando através de fibras multimodo de banda larga OM5,Suporte a um alcance de 70 metros a 800G, proporcionando uma ampla margem para a conectividade transversal, mantendo simultaneamente a compatibilidade com a infraestrutura OM4 existente para ligações mais curtasPara ligações de mais de 60 metros, a equipa reservou um pequeno inventário de transceptores de modo único (DR8/FR8) para cobrir as poucas ligações entre salas.

A implantação foi executada em três zonas distintas, cada uma com requisitos específicos de cablagem e conectividade:

• No interior do rack (2 ̊5 m):Cordões de correção MPO-12 diretos das portas de comutação OSFP para os nós de computação da GPU, usando transceptores MMA4Z00-NS em ambas as extremidades.garantir um funcionamento robusto mesmo com degradação moderada dos conectores.
• Estacas adjacentes (820 m):Cablagem OM5 estruturada através de bandejas aéreas com painéis de parche intermediários.bem dentro do orçamento óptico do módulo como documentado noFicha de dados MMA4Z00-NS.
• Corredor transversal / entre fileiras (25 55 m):Para manter a margem mínima de 3,0 dB,A equipa realizou uma limpeza da face final de todos os conectores antes da instalação e verificou a perda de inserção com um medidor de potência óptico durante a colocação em serviço..

Para a porção InfiniBand do tecido ?? conectar servidores de GPU para switches Quantum-2 ?? oMMA4Z00-NS 2x400G InfiniBand/EthernetNeste tipo de configuração, um único transceptor MMA4Z00-NS no lado do switch alimenta dois endpoints 400G através de um conjunto de cabo MPO-12 para 2×MPO-8.Esta capacidade de fuga nativa eliminou a necessidade de módulos externos de ventilação, reduzindo o consumo de espaço de rack em cerca de 20% em comparação com a arquitetura anterior baseada em 400G.NVIDIA Mellanox MMA4Z00-NSéCompatibilidade MMA4Z00-NScom os protocolos Ethernet e InfiniBand, a equipe manteve uma única SKU de transceptor em todo o tecido, simplificando a gestão de compras e peças de reposição.

Resultados e benefícios: ganhos mensuráveis em custos, densidade e simplicidade operacional

A análise pós-implementação das 2.400 ligações ópticas revelou várias vantagens quantificáveis.MMA4Z00-NS 800G solução de transceptor OSFP SR8A organização eliminou a necessidade de SKUs separados de curto e médio alcance, reduzindo o inventário de transmissores-receptores em 60% e simplificando os processos de encomenda.Preço MMA4Z00-NS, quando avaliados em relação a módulos de modo único de alcance alargado comparáveis, proporcionaram uma redução de custos de 45% por ligação para distâncias inferiores a 60 metros,porque não foi pago nenhum prémio por capacidades que não eram necessárias.

Em segundo lugar, a taxa de falhas operacionais durante os primeiros seis meses foi excepcionalmente baixa: foram necessárias apenas duas substituições de transceptores de 2.400 unidades – uma taxa de falhas de 0.08% significativamente inferior à média da indústria de 0.5 ‰ 1% para transceptores 800G de primeira geração. Esta confiabilidade é atribuída ao alinhamento óptico otimizado na fábrica e ao rigoroso controle de qualidade do MMA4Z00-NS,Os resultados do trabalho de limpeza devem ser apresentados em conformidade com os procedimentos de limpeza especificados noEspecificações MMA4Z00-NS.

Em terceiro lugar, a eficiência energética doNVIDIA Mellanox MMA4Z00-NSO facto de o consumo do módulo a 800G ser inferior a 10,5 W e de consumir aproximadamente 8,2 W no modo de emergência 2 × 400 G contribuiu para economias de arrefecimento mensuráveis.400 transceptores consumidos aproximadamente 240,6 kW no total no modo 2×400G e 25,2 kW no modo 800G, em comparação com um valor estimado de 35 kW se tivessem sido selecionados módulos alternativos de modo único com maior consumo de energia (normalmente 12-14W).Esta redução de energia de 28-30% melhorou directamente a métrica de Eficiência de Utilização de Energia (PUE) da instalação em um valor estimado de 0.03 pontos.

De um ponto de vista de engenharia, a interface de monitorização de diagnóstico digital (DDM) do módulo provou ser inestimável durante a resolução de problemas.Uma diminuição gradual da potência óptica recebida foi detectada através de monitorização proativa, permitindo que a equipe de operações agende uma limpeza do conector durante uma janela de manutenção, em vez de reagir a uma queda inesperada do link.Esta abordagem preventiva reduziu o tempo médio de reparação (MTTR) para incidentes de camada óptica em cerca de 55%, porque a equipa podia localizar ligações degradadas antes que causassem interrupções de serviço.

Resumo e perspectivas: um projeto para uma arquitetura óptica 800G escalável

A experiência de implantação com oNVIDIA Mellanox MMA4Z00-NSatravés de zonas de distância múltiplas demonstra claramente que um único, well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirementsAproveitando o alcance de 70 metros doMMA4Z00-NS 800G OSFP SR8 transceptoratravés da fibra OM5, os arquitetos podem evitar o custo e a complexidade de múltiplos SKUs ópticos, mantendo a integridade do sinal e a simplicidade operacional dentro do rack, entre os racks,e ligações transversais.

Olhando para o futuro, como 800G Ethernet e 400G InfiniBand continuam a ganhar força em treinamento de IA, HPC e ambientes de armazenamento corporativo, a demanda por confiavel,transceptores ópticos 800G rentáveis só crescerãoO MMA4Z00-NS está bem posicionado para esta trajetória.porque a sua capacidade de duplo protocolo e suporte nativo 2 × 400G garantem a compatibilidade com as infraestruturas 400G atuais e futuros endpoints nativos 800GPara as organizações que planejam migrações 800G semelhantes, a abordagem em camadas validada nesta implantação oferece um roteiro prático: padronizar no MMA4Z00-NS para todos os links até 60 metros sobre OM5,transceptores de modo único de reserva para conexões inter-salão mais longas,e manter um quadro de monitoramento unificado que aproveite os dados DDM para gerenciar proativamente a saúde óptica em tecidos Ethernet e InfiniBand.

Para obter modelos de orçamento detalhados de ligação, listas de verificação de instalação e protocolos de limpeza, consulte oFicha de dados MMA4Z00-NSe as notas de aplicação óptica da NVIDIA Mellanox.