Análise da arquitetura de rede Mellanox que suporta o treinamento de grandes modelos de IA

Data:18 de novembro de 2023

À medida que os modelos de inteligência artificial crescem exponencialmente em tamanho e complexidade, a malha de rede que conecta milhares de GPUs tornou-se o determinante crítico da eficiência do treinamento. A tecnologia Mellanox InfiniBand da NVIDIA surgiu como a espinha dorsal fundamental para clusters modernos de supercomputação de IA, especificamente projetada para superar os gargalos de comunicação que afligem o treinamento de modelos de IA em larga escala. Este artigo desconstroi as inovações arquiteturais que tornam o InfiniBand o padrão de fato para acelerar as cargas de trabalho de IA mais exigentes do mundo.

O treinamento de modelos de IA moderno, como para Modelos de Linguagem Grandes (LLMs), depende de estratégias de paralelismo de dados, onde os parâmetros do modelo são sincronizados em milhares de GPUs após o processamento de cada mini-lote de dados. O tempo gasto nesta fase de sincronização, conhecida como all-reduce, é pura sobrecarga. Com as redes de GPU tradicionais, essa sobrecarga de comunicação pode consumir mais de 50% do ciclo total de treinamento, reduzindo drasticamente a utilização geral da GPU e prolongando o tempo de obtenção de insights de semanas para meses. A rede não é mais um mero cano de dados; é um componente computacional central.

Mellanox InfiniBand aborda esse gargalo diretamente com um conjunto de mecanismos de aceleração baseados em hardware que transformam a rede de um participante passivo em um ativo computacional ativo.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): Esta tecnologia revolucionária realiza operações de agregação (por exemplo, somas, médias) diretamente nos switches InfiniBand. Em vez de enviar todos os dados de gradiente de volta para cada GPU, o SHARP reduz os dados na malha de rede, cortando drasticamente o volume de dados transferidos e o tempo necessário para a sincronização. Isso pode acelerar as operações coletivas em até 50%.
• Roteamento Adaptável e Controle de Congestionamento: Os recursos de roteamento dinâmico do InfiniBand direcionam automaticamente o tráfego em torno de pontos de acesso congestionados, garantindo a utilização uniforme da malha de rede e impedindo que qualquer link se torne um gargalo durante as intensas fases de comunicação all-to-all.
• Latência Ultra-Baixa e Alta Largura de Banda: Com latência de ponta a ponta inferior a 600 nanossegundos e suporte para 400 Gb/s e além, o Mellanox InfiniBand fornece a velocidade bruta necessária para a troca de parâmetros quase em tempo real entre GPUs.

As vantagens arquiteturais do InfiniBand se traduzem diretamente em resultados de negócios e pesquisa superiores para empresas que executam cargas de trabalho de IA em larga escala.

Essas métricas demonstram que uma estratégia otimizada de redes de GPU não é um luxo, mas uma necessidade para alcançar um ROI viável em investimentos de cluster de IA de vários milhões de dólares.

A era do design de data center de uso geral está terminando para a pesquisa em IA. A natureza exigente do treinamento de modelos de IA requer uma abordagem co-projetada, onde o poder computacional das GPUs é correspondido pela rede inteligente e acelerada do Mellanox InfiniBand. Ao minimizar a sobrecarga de comunicação e maximizar a utilização da GPU, a arquitetura InfiniBand é a chave para desbloquear inovações mais rápidas, reduzir os custos de treinamento e alcançar escalas de IA antes impossíveis. É a base indispensável para a próxima geração de avanços em IA.