Di quale infrastruttura di alimentazione e raffreddamento hanno bisogno i server GPU?

"GPU-ready" non è una specifica. I server GPU necessitano esattamente di ciò che specifica la configurazione approvata dal produttore (alimentazione per sistema, disposizione di alimentazione, tipi di connettori e circuiti, connessioni del flusso d'aria o dei liquidi e limiti ambientali), consegnati nelle posizioni rack in cui verranno effettivamente posizionati. Gli input che contano sono la scheda dell'apparecchiatura e la documentazione attuale del prodotto, tracciata lungo l'intero percorso elettrico e di raffreddamento.

La guida alla progettazione pubblicata da NVIDIA per i suoi sistemi DGX H100 funge qui da esempio pratico, scelto perché insolitamente dettagliato; citarlo non implica alcuna raccomandazione. Le sue cifre si applicano solo a quella generazione di prodotti; altri server, e successivamente i prodotti NVIDIA, hanno requisiti diversi.

Gli ingressi specifici dell'apparecchiatura

Per ogni tipo di server e per le apparecchiature di rete e di archiviazione che ne derivano, la pianificazione dovrebbe registrare:

• domanda di potenza massima e se una cifra è un massimo o un'ipotesi di pianificazione;
• il numero di alimentatori e quanti devono essere energizzati affinché il sistema funzioni;
• tensione di alimentazione, fase e tipologia di connettori;
• metodo di smaltimento del calore (aria, liquido o entrambi) e condizioni di ingresso;
• dimensione fisica e peso.

La guida DGX H100, ad esempio, offre 10,2 kW massimi per sistema, un peso di circa 130 kg, raffreddamento ad aria e una densità tipica di quattro sistemi per rack. Sconsiglia esplicitamente più di quattro sistemi per rack, per ragioni termiche.

Alimentazione, controllata al momento qualcosa non funziona

La guida DGX H100 illustra in che modo le comuni modalità di alimentazione supportano i rack in uno schema a tre circuiti N+1 in cui nessun circuito trasporta più della metà del carico:

Quattro sistemi da 10,2 kW producono 40,8 kW per rack; se un circuito si guasta e ciascuno dei due circuiti rimanenti ne trasporta la metà, ovvero 20,4 kW per circuito. La guida indica 415 V, 32 A, trifase N+1 come la disposizione preferita per le implementazioni ad alta densità. Il metodo è quello che viene trasferito ad altre apparecchiature: dimensionare ciascun circuito per il carico che deve sostenere quando un altro è guasto o è in manutenzione e controllare le regole di alimentazione del server.

Il controllo non dovrebbe fermarsi al rack. La distribuzione al piano, gli UPS e i quadri elettrici a monte e il generatore devono essere tutti valutati nello stesso stato di guasto.

Raffreddamento per l'intero carico termico

Tutta l’energia elettrica diventa calore. NVIDIA avverte che, poiché ciascun circuito nel suo schema N+1 trasporta solo la metà del carico del rack, la capacità di raffreddamento deve essere allineata al carico completo trasportato da due circuiti, non alla capacità di uno. Si tratta di un errore facile per i progettisti abituati agli schemi 2N, dove un'alimentazione equivale al pieno carico.

Prima di adottare misure più drastiche, la guida sottolinea la corretta gestione dell'aria: orientamento dei corridoi caldi e freddi, contenimento, pannelli ciechi negli spazi vuoti del rack e anelli di tenuta per spazzole sulle aperture dei cavi. La temperatura in ingresso rientra nello stesso discorso: l'aria in ingresso più calda fa risparmiare energia al refrigeratore ma fa lavorare di più le ventole del server, come nota la guida alla progettazione del Dipartimento dell'Energia degli Stati Uniti, quindi concorda l'intervallo di ingresso con il progettista del sistema di raffreddamento prima di fissare il budget energetico.

La lezione generalizza. La densità è un compromesso tra la superficie calpestabile, la potenza inutilizzabile e la fornitura di raffreddamento e deve essere risolta su un disegno di layout prima di ordinare l'apparecchiatura.

Pronto per l'approvazione

Un layout è pronto per l'approvazione quando il programma delle apparecchiature di ciascun rack deriva dalla documentazione attuale del produttore, il dimensionamento del circuito e la capacità a monte sono stati controllati sia nello stato di guasto che di manutenzione, il raffreddamento disponibile in quelle posizioni del rack è stato confrontato con quello a pieno carico e sono stati confermati il carico del pavimento, l'accesso e la lunghezza dei cavi di rete.