Di quali informazioni avrebbe bisogno un modello di intelligenza artificiale per comprendere a fondo il nostro pianeta? Questa è la domanda a cui i ricercatori di IBM, ESA, KP Labs, Jülich Supercomputing Center (JSC) e l'Agenzia Spaziale Tedesca (DLR) si sono proposti di rispondere quest'anno nell'ambito di un'iniziativa guidata dall'ESA per migliorare l'accesso ai modelli di base all'interno della comunità di osservazione della Terra.

Ecco perché in questi giorni IBM ed ESA hanno rilasciato TerraMind, un nuovo modello di osservazione della Terra che il gruppo ha reso open source su HuggingFace. È stato pre-addestrato su TerraMesh, il più grande insieme di dati geospaziali disponibile, creato dai ricercatori nell'ambito del progetto TerraMind.

Leader nelle prestazioni dei modelli geospaziali

TerraMind si avvale di un'esclusiva architettura encoder-decoder simmetrica basata su transformer, progettata per funzionare con input a livello di pixel, token e sequenze e per apprendere correlazioni tra le diverse modalità. Nonostante l'addestramento su 500 miliardi di token, TerraMind è un modello piccolo e leggero, che utilizza una potenza di calcolo 10 volte inferiore rispetto ai modelli standard per ciascuna modalità. Ciò significa che gli utenti possono implementarlo su larga scala a un costo inferiore, riducendo il consumo energetico complessivo in fase di inferenza.

"Per me, ciò che distingue TerraMind è la sua capacità di andare oltre la semplice elaborazione delle osservazioni terrestri con algoritmi di computer vision. Possedendo, invece una comprensione intuitiva dei dati geospaziali e del nostro pianeta", ha affermato Juan Bernabé-Moreno, direttore di IBM Research UK e Irlanda e responsabile dell'Accelerated Discovery di IBM per clima e sostenibilità. "Attualmente, TerraMind è il modello di base di intelligenza artificiale più performante per l'osservazione della Terra secondo consolidati benchmark della comunità". In una valutazione dell'ESA, TerraMind è stato confrontato con 12 modelli fondazionali per l'osservazione della Terra su PANGAEA, un benchmark standard della comunità, per misurare le prestazioni del modello in casi d’uso reali, come la classificazione della copertura del suolo, il rilevamento dei cambiamenti, il monitoraggio ambientale e l'analisi multisensore e multitemporale. Il benchmark ha mostrato che TerraMind ha superato gli altri modelli in queste attività dell'8% e oltre.

TerraMind combina le informazioni provenienti da diverse modalità di addestramento dei dati per aumentare l'accuratezza dei suoi risultati", ha affermato Simonetta Cheli, direttrice dei programmi di osservazione della Terra dell'ESA e responsabile di ESRIN. "La capacità di acquisire intuitivamente informazioni contestuali e generare scenari inediti è un passaggio fondamentale per valorizzare i dati ESA. Rispetto ai modelli concorrenti, può offrire una comprensione più approfondita della Terra sia ai ricercatori che alle aziende".

In pratica, per prevedere il rischio di scarsità d'acqua, i ricercatori devono considerare molti fattori diversi come l'utilizzo del suolo, il clima, la vegetazione, le attività agricole e la posizione. Prima di TerraMind, tutti questi dati erano archiviati in luoghi separati. Riunire queste informazioni consente agli utenti di prevedere il potenziale rischio di scarsità d'acqua sulla base di un quadro più ampio e accurato delle condizioni sulla Terra.

Nove milioni di punti dati, nove diverse modalità

Durante la creazione del dataset, i ricercatori hanno incluso dati provenienti da tutti i biomi, i tipi di uso/copertura del suolo e le regioni, consentendo al modello di essere ugualmente utilizzato per qualsiasi applicazione in tutto il mondo, con bias limitati.

Il set di dati include 9 milioni di campioni di dati distribuiti a livello globale e allineati spaziotemporalmente, suddivisi in nove modalità di dati principali, tra cui le osservazioni effettuate da sensori satellitari, la geomorfologia della superficie terrestre, le caratteristiche superficiali importanti per la vita sulla Terra (vegetazione e uso del suolo) e le basi per descrivere posizioni e caratteristiche (latitudine, longitudine e semplici descrizioni testuali).

Self-tuning per creare dati artificiali

Da un punto di vista tecnico, TerraMind è rivoluzionario anche oltre il dominio dell'osservazione della Terra. È il primo modello di intelligenza artificiale generativa multimodale "any-to-any" per l'osservazione della Terra. Ciò significa che può autogenerare dati di addestramento aggiuntivi da altre modalità, una tecnica che i ricercatori IBM hanno denominato per l'ottimizzazione "Thinking-in-Modalities" (TiM) tuning. Il TiM è un nuovo approccio per i modelli di visione artificiale, simile alla catena di pensiero nei modelli linguistici. L'evidenza empirica dimostra che l'ottimizzazione il TiM tuning può migliorare le prestazioni del modello oltre il normale fine tuning.

"Il TiM tuning aumenta l'efficienza dei dati generando autonomamente i dati di training aggiuntivi rilevanti per il problema da affrontare, ad esempio, indicando al modello di "considerare" la copertura del suolo durante la mappatura dei corpi idrici. Questa innovazione può sbloccare una precisione senza precedenti quando si specializza TerraMind per casi d'uso particolari” ha affermato Johannes Jakubik, scienziato di IBM Research di Zurigo.

Costruito su solide fondamenta

L'applicazione di tecniche di intelligenza artificiale e apprendimento automatico ai dati relativi alla Terra, inclusi satelliti e modelli di utilizzo del suolo, non è una novità. Gli attuali modelli geospaziali fondazionali come quelli sviluppati da IBM e NASA, consentono agli scienziati di interpretare questi dati, aiutandoli ad affrontare al meglio i diversi casi d'uso nell'agricoltura di precisione, nella gestione dei disastri naturali, nel monitoraggio ambientale (attraverso acqua, calore e siccità), nella pianificazione urbana e regionale, nel monitoraggio delle infrastrutture critiche, nel monitoraggio forestale e della biodiversità e altro ancora.

Tuttavia, i modelli esistenti attualmente elaborano dati provenienti da fonti che talvolta non riescono a catturare la abbondanza delle condizioni del nostro pianeta. Mentre orbitano intorno al globo, fornendo dati time-lapse sugli eventi naturali, i satelliti rivisitano la stessa posizione ogni cinque giorni. Questo fornisce dati sufficienti per prevedere ed esaminare le tendenze in fase di analisi degli eventi climatici a lungo termine. Tuttavia, ciò può rendere difficile monitorare eventi climatici a breve termine come incendi o alluvioni, in queste situazioni i ricercatori hanno bisogno dei dati più recenti per fare previsioni o valutare i rischi utilizzando modelli di intelligenza artificiale.

Per risolvere questa sfida, i ricercatori IBM hanno unito le loro conoscenze tecniche nella preparazione dei dati e nella costruzione di modelli fondazionali con i preziosi dati di osservazione della Terra dell'ESA e la loro competenza nella valutazione dei modelli per sviluppare un nuovo modello fondazionale multimodale di AI per l'osservazione della Terra che è stato addestrato utilizzando l'infrastruttura e le competenze del Centro di supercalcolo di Jülich. Altri partner hanno contribuito all'intero processo di sviluppo del modello conducendo esperimenti di scalabilità e preparando applicazioni di downscaling.

Un impegno continuo

TerraMind fa parte dell'impegno di IBM nell’utilizzo della tecnologia di intelligenza artificiale per esplorare il nostro pianeta. Attualmente, governi, aziende e istituzioni pubbliche utilizzano i modelli Prithvi di IBM-NASA e i modelli geospaziali specializzati di IBM Granite per esaminare i cambiamenti negli schemi ricorrenti di catastrofi, nella biodiversità e nell'uso del suolo, nonché per rilevare e prevedere fenomeni meteorologici estremi. Esperti della NASA sono stati coinvolti anche nella validazione di TerraMind, nell'ambito dell'iniziativa Open Science. Tutti i modelli geospaziali sono disponibili su Hugging Face e su IBM Geospatial Studio.

Versioni ottimizzate di TerraMind per la risposta alle catastrofi e ulteriori casi d'uso ad alto impatto saranno aggiunte al repository IBM Granite Geospatial il mese prossimo, per consentire a comunità e aziende di utilizzare la potenza di questa nuova generazione di analisi relative all’osservazione della Terra. "Grazie alla scienza, alla tecnologia e alla collaborazione internazionale nell'osservazione della Terra, stiamo liberando il pieno potenziale dei dati spaziali per proteggere il nostro pianeta", ha affermato Nicolas Longepe, Earth Observation Data Scientist presso l'ESA. "Questo progetto è un esempio perfetto di come la comunità scientifica, le grandi aziende tecnologiche e gli esperti abbiano collaborato per utilizzare questa tecnologia a vantaggio delle scienze della Terra. La magia si verifica quando esperti di dati di osservazione della Terra, esperti di machine learning, data scientist e ingegneri HPC collaborano tra loro".