Quale infrastruttura di rete richiedono i carichi di lavoro IA?

Gli acceleratori costosi sono veloci quanto la rete che li alimenta e l’aspetto che deve avere quella rete dipende dal carico di lavoro. L'addestramento di un modello su più server richiede una rete dedicata, molto veloce e a bassa latenza tra di loro, poiché i server trascorrono gran parte del loro tempo a scambiarsi risultati. L'esecuzione di un modello addestrato per rispondere alle richieste, noto come inferenza, è spesso molto più simile alla normale rete di data center. La preparazione dei dati richiede un throughput elevato per l'archiviazione. Capire quale di queste attività stai facendo e il traffico che ciascuna crea è il punto di partenza; da ciò consegue la scelta della tecnologia.

Né un’elevata velocità di collegamento su una scheda tecnica dimostra che il sistema completo funzionerà. La topologia, il comportamento di congestione, il throughput di archiviazione e il layout fisico giocano tutti la loro parte.

Mantenere separate le funzioni di rete

Un progetto di riferimento pubblicato, l'architettura DGX SuperPOD di NVIDIA per la generazione DGX H100, utilizza quattro reti separate. I progetti di altri fornitori differiscono nei dettagli, ma la divisione del lavoro è istruttiva.

Non tutte le implementazioni necessitano di questa struttura, ma la separazione degli interessi è un modello da copiare. La guida spiega che la rete fuori banda si trova sulla propria struttura perché non esiste alcun caso in cui gli utenti abbiano bisogno di accedere a tali porte. Una rete di gestione che rimane disponibile quando il tessuto produttivo è congestionato o guasto è ciò che consente agli operatori di ripristinare il sistema.

Costruisci per l'unità completa, non per l'acquisto di oggi

L'architettura di riferimento di NVIDIA consiglia che se vengono acquistati meno server rispetto a un'unità completamente scalabile, il tessuto dovrebbe comunque essere costruito per l'intera unità, switch leaf e cavi leaf-to-spine inclusi, con le posizioni inutilizzate lasciate vuote, in modo che l'instradamento del traffico e le prestazioni rimangano coerenti. Far crescere la rete in modo frammentario attorno a ciò che è stato acquistato può creare prestazioni irregolari difficili da diagnosticare.

Qualsiasi deviazione dall'architettura convalidata di un fornitore richiede una revisione tecnica. I componenti che sulla carta sembrano intercambiabili potrebbero comportarsi diversamente sotto carico.

Cablaggio e layout fanno parte della rete

I tessuti ad alte prestazioni impongono limiti fisici. I progetti di cluster possono limitare il percorso totale dei cavi di ciascun collegamento Fabric e un vincolo di alimentazione che costringe i rack a distanziarsi può allungare i cavi e influire sulla latenza. È pertanto necessario definire le distanze dei collegamenti supportati, i tipi di ricetrasmettitori, la capacità dei vassoi, le patch e l'accesso per la manutenzione prima che le posizioni nei rack siano definitive, con spazio riservato per la fase successiva.

Vedere oltre i confini

Quando un lavoro viene eseguito lentamente, la causa potrebbe essere il fabric di calcolo, lo storage, i server, il software o l'impianto stesso; un vincolo di raffreddamento può limitare i processori. Il monitoraggio dovrebbe consentire al team di distinguerli e il contratto dovrebbe indicare chi indaga su un problema che coinvolge diversi fornitori.

Accettare su prestazioni utili

I risultati dei test a livello di collegamento sono necessari ma non sufficienti. Il metodo di accettazione, concordato con i team IT e applicativi, dovrebbe misurare ciò che realmente interessa all'azienda: tempo di completamento del lavoro o throughput su carichi di lavoro rappresentativi, comportamento in caso di guasto di un collegamento o di uno switch e tempo di ripristino.