Progetti innovativi

LUCIA, è stata sviluppata nella sede di Padova dell’Istituto di Scienze e Tecnologie della Cognizione (ISTC) del Consiglio Nazionale delle Ricerche (CNR) che ha la sua sede principale a Roma. Nell’ISTC, dove convergono oltre all'ex Istituto di psicologia, il vecchio Istituto di fonetica e dialettologia di Padova e il Laboratorio di ontologie applicate con sede principale a Trento, vengono svolte attività di ricerca, valorizzazione e trasferimento tecnologico e formazione nei seguenti settori scientifici e relativamente a queste tematiche: • processi cognitivi, comunicativi e linguistici;
• teoria, analisi e tecnologia del parlato e della variabilità linguistica;
• sviluppo cognitivo, apprendimento e socializzazione nei bambini e nei primati;
• intelligenza artificiale, vita artificiale, società artificiali;
• tecnologie della conoscenza, reti neurali, robotica autonoma;
• cognizione sociale;
• tecnologie della decisione e cooperazione;
• qualità di ambiente, salute e società.

La comunicazione dell'informazione avviene attraverso il canale uditivo e visivo ed infatti, i messaggi verbali, le intonazioni e la mimica del volto possono rendere più familiare l'uso del computer e permettere una migliore fruizione del messaggio. Sulla base di questa considerazione è stata sviluppata LUCIA, una vera e propria faccia parlante che sul monitor articola le labbra secondo l'alfabeto ed esprime emozioni, come tristezza, rabbia, sorpresa, gioia. Caschetto bruno e occhi chiari, è il frutto dell'applicazione delle tecnologie più innovative nel campo della comunicazione uomo-macchina: per realizzarla si sono riuniti esperti di linguistica, fonetica, grafica e intelligenza artificiale. LUCIA è basata su uno specifico modello di coarticolazione (Cohen & Massaro, 1993) appositamente sviluppato per rendere più fluidi e naturali i movimenti delle labbra.



LUCIA è basata sullo standard MPEG-4 e parla in italiano mediante la versione italiana di FESTIVAL (Cosi et alii, 2001). Il modello è visualizzato in tempo reale sullo schermo e sincronizzato con il corrispondente segnale vocale fornito dal sistema di sintesi da testo scritto. Come graficamente illustrato in Figura 1, LUCIA è costruita mediante un reticolo di circa 26000 poligoni ed il modello è diviso in due parti principali: la pelle e gli articolatori interni (occhi, lingua, denti).

Questa suddivisione è particolarmente utile per l’animazione, poiché soltanto la pelle è direttamente influenzata dall’azione dei pseudo-muscoli mimici facciali e costituisce quindi un elemento unitario, mentre le altri componenti anatomiche risultano essere indipendenti fra loro e si muovono in modo più rigido seguendo esclusivamente delle traslazioni e/o rotazioni (per esempio gli occhi ruotano su se stessi attorno al loro punto centrale). Utilizzando questa strategia i poligoni sono distribuiti in modo tale da rendere l’effetto visivo molto naturale evitando di visualizzare possibili discontinuità nel modello 3D soprattutto in fase di animazione. LUCIA è in pratica un sistema di "interfaccia uomo-macchina audiovisiva", in grado di produrre messaggi uditivo-visivi, che potrà consentire anche ai soggetti colpiti da disabilità di usufruire nel modo più naturale possibile ad esempio del servizio di formazione a distanza (e-learning).

LUCIA è il prodotto di complessi programmi di sintesi-da-testo vocale e visiva, ed è in grado di trasmettere all'utente oltre che informazioni linguistiche anche informazioni emotive vocali e visive (espressioni facciali, gestualità, visual prosody, cioè, p.es., movimenti delle sopracciglia o della testa correlati alle caratteristiche intonative degli enunciati verbali), ricreando quindi le condizioni più simili a quelle dell'interazione faccia-a-faccia (Figura 2).



LUCIA è il frutto di competenze interdisciplinari nel campo della multi-modalità della comunicazione, delle tecnologie vocali, della computer graphics e dell'audiologia.

LUCIA è proposta in funzione dell'indiscusso servizio che porterebbe ai soggetti disabili che, attraverso la sinergia acustico-visiva relativa sia all'informazione fonologica (attraverso la lettura labiale) sia alla fusione tra informazione linguistica ed emotiva, potrebbero decodificare e codificare in modo più completo i messaggi scambiati ad esempio con docenti e tutor. Ma quali sono le possibili applicazioni di una faccia parlante? Sono davvero tante: dalla didattica alle telecomunicazioni. LUCIA può avere infatti numerose applicazioni nell'ambito dell’insegnamento dell'italiano o di lingue straniere, della lettura animata di libri, di lezioni animate, ecc. Gli agenti virtuali con faccia parlante rappresentano dunque la soluzione più adatta nell'interazione uomo-computer, che diventa più naturale rispetto agli attuali sistemi unimodali di sintesi e di riconoscimento automatico della parola dell'utente. Per tale caratteristica il loro utilizzo potrebbe anche essere esteso: dalla lettura dei notiziari ai servizi commerciali, agli annunci di vendita. Ma forse è l'e-learning il settore nel quale LUCIA potrebbe rendere meglio. Basti pensare ai sistemi d'insegnamento e apprendimento interattivi che diventano così più vivaci e accattivanti; senza escludere il settore della logopedia, della fonetica per disabili e della riabilitazione dei non udenti.


Bibliografia
Cohen M., Massaro D., “Modeling Coarticulation in Synthetic Visual Speech”, in Magnenat-Thalmann N., Thalmann D. (Editors), Models and Techniques in Computer Animation, Springer Verlag, Tokyo, 1993, pp. 139- 156.

Cosi P., Tesser F., Gretter R., Avesani C., “Festival Speaks Italian!”, Proceedings Eurospeech 2001, Aalborg, Denmark, September 3-7, 2001, pp. 509-512.

Cosi P., Fusaro A., Tisato G., “LUCIA a New Italian Talking-Head Based on a Modified Cohen-Massaro’s Labial Coarticulation Model”, Proceedings of Eurospeech 2003, Geneva, Switzerland, September 1–4, 2003, Vol. III, pp. 2269-2272.

Cosi P., Drioli C., “LUCIA a new emotive/expressive Italian talking head”, in Izdebski K. Editor, Emotions in the Human Voice, Volume III, Chapter 9, Plural Publishing, Inc., San Diego California, USA, 2008, 153-176.