Dal sito ufficiale deepmind.google.com, approfondimento della pubblicazione completa su arxiv.org, vediamo questa novità: l'addestramento dei modelli linguistici di grandi dimensioni (LLM) è molto critico per un Cloud centralizzato di enormi dimensioni quindi è più efficiente distribuirlo fra molti Data Center più piccoli, soluzione decentralizzata.
DiLoCo (Distributed LowCommunication) è quindi questo nuovo metodo di addestramento per modelli linguistici
di grandi dimensioni, ideato da Google DeepMind.
L'addestramento dei modelli IA top al mondo, ha costi enormi e le stime sono sempre in crescita! Elon Musk (xAI) dichiara di voler acquistare 200.000 GPU NVIDIA per migliorare Grok, analogamente Meta con Llama vuole acquistarne 350.000 e secondo alcune fonti a breve si spingerebbe anche a 600.000. Questo trend di spese enormi per ovvie ragioni non è sostenibile, non può continuare all'infinito, inoltre è chiaro che le performance non aumentano linearmente ma sono decrescenti (c'è tutta la complessità di un sistema enorme e il collo di bottiglia diventa anche il collegamento, ciò che fa da ponte tutte le migliaia di componenti). Analogamente al calcolo distribuito, per procedere di pari passo, le unità di elaborazione (GPU in questo caso) devono poter comunicare fra loro, dato che lo sviluppo è in parallelo e non si tratta di dire "ognuno svolge il proprio compito"; ovviamente questo comporta dei tempi morti, risorse spese per la comunicazione, ogni collegamento fra i componenti. Google ha quindi pensato ad una soluzione alternativa! Anziché avere un unico sistema di enormi dimensioni, procedere per suddivisioni isolate, compiti separati su Data Center di dimensioni notevolmente inferiori, può ridurre di molto le necessità di comunicazione fra i componenti e quindi le risorse "sprecate" in questo modo. Ora siamo ancora in fase rudimentale, le prestazioni ottenute con questo risultato non sono ancora al pari delle soluzioni tradizionali, ma in futuro sarà una scelta molto interessante, forse anche inevitabile visto il continuo sviluppo, che prima o poi incontrerà sicuramente un limite tecnico.
In futuro sarà assolutamente indispensabile trovare nuove strade più efficienti per proseguire lo sviluppo, ormai le richieste del mercato mettonno sempre più a dura prova le possibilità tecniche, fra costi computazionali, risorse, tempo. Come si diceva in L'Intelligenza Artificiale e i problemi di sostenibilità ambientale, la crescita sostenibile dovrà necessariamente trovare soluzioni efficienti lato hardware e software: quindi ad esempio l'uso delle LPU, hardware specifico per l'IA più efficiente delle GPU (vedi Groq AI), ottimizzazioni software (modelli con meno parametri ma meglio calibrati, quindi ottimi risultati con uso di risorse inferiore) o proprio una diversa gestione strategica su larga scala, come appunto questa novità DiLoCo di Google DeepMind.