Google DeepMind, laboratorio di ricerca di Google, che orienta la propria attività al progresso delle tecnologie di Intelligenza Artificiale, ha pubblicato lo scorso 25 giugno una ricerca che introduce un nuovo modello di addestramento IA, denominato Joint Example Selection (JEST). Il nuovo modello si configura come un significativo passo in avanti nell’efficienza dell’addestramento dell’IA, offrendo una velocità di addestramento superiore e riducendo drasticamente il consumo energetico.

Negli ultimi tempi, l’attenzione sociale, politica, culturale e scientifica è rivolta in modo preoccupato ai processi di addestramento delle tecnologie IA ad alta intensità energetica che pongono un significativo impatto sull’ambiente, come abbiamo analizzato in un nostro recente articolo.

JEST si rivela più veloce perché, estrapola interi blocchi di dati, maggiormente rilevanti, da insiemi di blocchi di dati più grandi, migliorando l’apprendimento rispetto ai modelli di addestramento tradizionali che si concentravano sui singoli punti dati. Questo approccio sfrutta le relazioni tra i dati, rendendo l’addestramento più efficace.

Il nuovo modello seleziona i gruppi di dati in base a quanto sono “apprendibili”, e al contempo valuta anche quanto il modello sta imparando. Inoltre, selezionando e dando priorità ai dati, JEST può ridurre significativamente il numero di iterazioni richieste, con un notevole risparmio di tempo ed energia.

JEST utilizza modelli preaddestrati per guidare la selezione dei dati verso insiemi di dati più piccoli e ben curati. D’altronde, gli stessi ricercatori di DeepMind affermano nel loro articolo che la formazione su set di dati ben curati ha portato a prestazioni elevate con una quantità di dati significativamente inferiore.

Nell’ambito di questa ricerca è emersa una nuova promettente variante, Flexi-JEST che combina due tecniche principali per migliorare l’efficienza:

  • Addestramento Multi-Risoluzione (immagini): Utilizza diverse risoluzioni per addestrare il modello. Ad esempio, può iniziare l’addestramento su immagini a bassa risoluzione e poi passare a immagini ad alta risoluzione. Questo aiuta a ridurre il carico di lavoro iniziale e permette di risparmiare risorse computazionali senza perdere troppo in termini di prestazioni.
  • Selezione Congiunta degli Esempi: Come il modello JEST originale, Flexi-JEST seleziona congiuntamente i gruppi di dati più rilevanti da insiemi di dati più grandi. Questo significa che sceglie i dati che contribuiranno di più all’apprendimento del modello, migliorando così l’efficienza dell’addestramento.