Data centre e infrastrutture per l’IA
Definire l'applicazione e la sua governance operativa prima di scegliere l'hardware.
Per la maggior parte dei consigli, "infrastruttura AI" significa una stanza piena di GPU. Questa è una risposta possibile, per un tipo di carico di lavoro. L’infrastruttura AI è davvero tutto ciò di cui un’applicazione AI ha bisogno per funzionare in modo affidabile: elaborazione, archiviazione e reti; il software che gestisce modelli e dati; le pipeline di dati che li alimentano; e la governance che decide come vengono utilizzati i loro risultati. Per gli edifici e le proprietà immobiliari può includere anche dispositivi locali in loco e connessioni sicure ai sistemi operativi dell'edificio, come il BMS.
Molte organizzazioni che pongono questa domanda hanno bisogno di qualcosa di molto più piccolo della stanza della GPU, e alcune non hanno bisogno di nulla in loco. Il punto giusto da cui iniziare è l'applicazione, non l'hardware.
Il primo è se stai addestrando un modello o utilizzandone uno. L'addestramento di un modello di grandi dimensioni da zero richiede elaborazione concentrata e reti molto veloci per settimane. L'esecuzione di un modello esistente per rispondere a domande o valutare i dati, noto come inferenza, è solitamente molto più semplice.
Poi viene la velocità con cui l'applicazione deve rispondere e dove. Un report prodotto durante la notte può essere eseguito ovunque, ma una funzione che deve continuare a funzionare anche quando il collegamento Internet è interrotto deve essere eseguita in loco. Il punto in cui cade quella linea cambia l’infrastruttura.
Poi ci sono i dati di cui l'applicazione ha bisogno e dove risiede. Lo spostamento di set di dati grezzi di grandi dimensioni è costoso e talvolta non è consentito, quindi potrebbe essere meglio trasferire l'elaborazione ai dati. Nel complesso, queste tre risposte danno forma a quasi tutto il resto.
| Strato | Cosa include | Domanda tipica |
|---|---|---|
| Elaborazione | CPU, GPU o altri acceleratori, on-site o ospitati | Di quali dimensioni del modello e tempi di risposta è necessario il caso d'uso? |
| Archiviazione e dati | Archivi dati, pipeline, preparazione e controlli di qualità | Dove sono i dati di origine e chi li mantiene? |
| Rete | Connessioni tra elaborazione, archiviazione, utenti e sistemi di costruzione | Quale larghezza di banda, latenza e segregazione sono necessarie? |
| Software della piattaforma | Hosting di modelli, distribuzione, monitoraggio, identità, backup | Come vengono aggiornati e ripristinati i modelli? |
| Struttura | Alimentazione, raffreddamento, spazio, sicurezza fisica o quella di un fornitore | Si tratta di un armadio, una stanza o un contratto? |
| Governance | Approvazione, supervisione, valutazione, gestione degli incidenti | Chi è responsabile dei risultati? |
I primi progetti spesso sottovalutano la seconda e l'ultima riga e sopravvalutano la prima.
Il quadro di gestione del rischio AI del National Institute of Standards and Technology degli Stati Uniti (AI RMF 1.0, pubblicato nel gennaio 2023 e ora in fase di revisione come parte del piano d'azione AI della Casa Bianca) organizza la gestione del rischio AI in quattro funzioni: governare, mappare, misurare e gestire. Descrive l’intelligenza artificiale affidabile come valida e affidabile, sicura, protetta e resiliente, responsabile e trasparente, spiegabile e interpretabile, tutelata dalla privacy ed equa con la gestione di pregiudizi dannosi. Il quadro è volontario, ma fornisce al brief una struttura utile: chi approva l'applicazione, come viene misurata la sua prestazione e cosa succede quando peggiora.
Laddove i risultati influenzano il funzionamento di un edificio, il confine tra consulenza e controllo deve essere chiaro e la conseguenza di una risposta sbagliata dovrebbe stabilire il livello di supervisione.
Modelli, origini dati e software cambiano tutti, quindi il budget deve coprire il monitoraggio delle prestazioni, la rivalutazione dopo le modifiche, il mantenimento di una versione funzionante nota su cui ricorrere e il tempo del personale che tutto ciò richiede. Nessuna piattaforma informatica, per quanto capace, rende utili i dati sugli edifici inaccessibili o scarsamente etichettati.
Quando una proposta di intelligenza artificiale arriva sulla tua scrivania, chiedi prima di quali dati dell'edificio, connettività e infrastruttura in loco ha realmente bisogno. La risposta è spesso inferiore a quanto presupposto dalla proposta e talvolta superiore.
Questo articolo si collega al nostro lavoro su I nostri servizi.
Possiamo discutere come questo tema entra nel brief del progetto.
Contatta Pagin Consulting