Eye Driven Human-Machine Interfaces For People With Disabilities

Abstract

La presente tesi di dottorato è finalizzata alla progettazione e allo sviluppo di sistemi di ausilio e riabilitazione per portatori di disabilità motorie gravi. La linea di ricerca intende studiare supporti alla soluzione del problema dell'handicap attraverso lo sviluppo di un adeguato insieme di interfacce uomo-macchina basate gestite attraverso lo sguardo. La attività di ricerca svolta propone una soluzione che risulta innovativa rispetto allo stato dell'arte, presentando un puntatore oculare a basso costo ma con un alto rendimento sotto il profilo della usabilità, sia in termini di accuratezza e stabilità della misura sia per la capacità di soddisfare le reali esigenze funzionali dell'utente. Le ipotesi sulle quali la presente tesi è basata affermano: 1. "E' possibile stimare la direzione dello sguardo con un'accuratezza sufficiente a gestire applicazioni nell'ambito della disabilità senza l'uso di hardware specifico o ad alto costo". 2. "E' possibile aumentare la robustezza della stima dello sguardo usando un approccio bio-inspirato basato su reti neurali artificiali". 3. E' possibile usare lo sguardo come canale di comunicazioni per fini riabilitativi e non solo assistivi". Da un punto di vista generale l'innovazione consiste nel trasferire la complessità dalla parte hardware alla parte software, al fine di dar vita ad un dispositivo che utilizzi hardware facilmente reperibile nel mercato, come una tradizionale webcam. Nessuna tipologia di puntatore oculare in commercio propone un sistema unicamente software e di facile installazione su un tradizionale computer. Un altro elemento di innovazione è rappresentato da un sistema biologicamente ispirato, finalizzato al rendere la misura più robusta rispetto al movimento della testa, che rimane uno dei principali problemi per l'analisi dello sguardo. Il sistema di puntamento oculare sviluppato è strutturato in tre blocchi algoritmici principali finalizzati alla stima dello sguardo: i) fase di inizializzazione, in cui il sistema, attraverso l'analisi delle immagini acquisite da webcam, riconosce la presenza di un soggetto e si aggancia ad esso, individuando le caratteristiche fisionomiche fondamentali per la stima dello sguardo, come iridi e angoli degli occhi; ii) inseguimento delle caratteristiche facciali, chiamato in ambito internazionale tracking, che si occupa di individuare le suddette caratteristiche in ogni frame del flusso video. Particolari sforzi sono stati dedicati all'incremento virtuale della risoluzione delle immagini. iii) la stima della direzione dello sguardo, parte finale della sequenza algoritmica e cuore del presente lavoro, che riguarda la determinazione di funzioni matematiche non deterministiche per il calcolo delle coordinate del punto osservato sullo schermo del monitor a partire dalle informazioni geometriche sulla fisionomia risultanti dai passi precedenti. Nell'implementazione di queste fasi, il lavoro ha consistito sia nell'utilizzo di tecniche affermate nell'ambito della Visione Artificiale, sia nella progettazione di nuovi metodi di processamento di immagine e di computo neurale. La tesi propone inoltre alcune soluzioni per dimostrare la fattibilità dell'utilizzo del puntatore sviluppato nella gestione di applicazioni in ambito assistivo e riabilitativo. Per quanto riguarda l'ambito assistivo sono stati progettati e realizzati due software, il primo per la scrittura di testi (chiamato eye-typing) ed il secondo per il controllo delle apparecchiature della casa (domotica). L'attenzione è stata rivolta soprattutto all'aspetto grafico e alla struttura logica perché risultassero intuitive, rilassanti ed efficaci. In campo più propriamente riabilitativo, un primo ambito affrontato è quello della riabilitazione neuromotoria post ictus. E' stato proposto il concetto di una piattaforma multimodale basata sull'uso dello sguardo come stimatore dell'intenzionalità, combinato con modulo bio-inspirato per il controllo del movimento del braccio con stimolazione elettrica funzionale (FES) per esercizi di reaching. Il sistema di analisi dello sguardo, predicendo la volontarietà, fornisce indicazioni utili alla macchina che supporta l'arto accompagnandolo verso la direzione desiderata. L'approccio risulta naturale, intuitivo e minimamente invasivo. Un altro campo riabilitativo esplorato riguarda la paralisi cerebrale. In tale contesto lo sguardo è considerato come indicatore quantitativo del grado di capacità di interazione con il mondo esterno. Il protocollo proposto prevede l'utilizzo di filmati di varia tipologia e l'analisi della reazione del bambino durante la loro visione, con il fine di identificare parametri di attenzione, concentrazione, controllo motorio. Il progetto è tutt'ora in corso attraverso una collaborazione con il gruppo di bioingegneria del CSIC (Consejo Superior de Investigaciones Cientificas) di Madrid, Spagna. I test sperimentali condotti durante i tre anni di lavoro hanno verificato la validità del sistema e dei metodi proposti. In particolare, i risultati ottenuti sul sistema di misura dello sguardo hanno mostrato una ottima accuratezza globale rispetto ai sistemi similari presenti in letteratura. Ulteriori test hanno dimostrato l'efficacia del sistema nell'individuare automaticamente l'utente senza alcun intervento di un operatore esterno. La tecnica, basata sull'analisi del battito di palpebra, si è rivelata essere efficace in termini di accuratezza e costo computazionale, rendendo possibile un funzionamento in tempo reale. Inoltre, tale metodo permette di re-inizializzare automaticamente il sistema in caso di errore nell0inseguimento delle caratteristiche facciali. Il metodo proposto supera la maggior parte dei problemi prodotti dal movimento della testa. Due reti neurali sono state progettate perché apprendessero a calcolare la direzione dello sguardo per posizioni diverse della testa. Lo scopo degli esperimenti è stato quello di testare il sistema per movimenti naturali della testa, che possono avvenire mantenendo una postura confortevole di fronte allo schermo. I risultati confermano la robustezza del sistema, e le funzioni neurali hanno dimostrato essere più performanti delle tradizionali funzioni quadratiche usate in letteratura. Per dimostrare la fattibilità del sistema per applicazioni per disabilità, i due tipi di interfacce (eye-typing e domotica) sono state progettate, realizzate e testate su soggetti di differenti fasce d'età, che hanno confermato la buona usabilità delle interfacce, in termini di efficacia e soddisfazione. Gli esperimenti preliminari sulla piattaforma per neuro riabilitazione post-ictus hanno dimostrato una buona capacità del sistema di riconoscere e classificare la direzione dello sguardo diretta su uno di 4 oggetti collocati sopra un piano. I movimenti simulati, guidati da uno stimolatore neurale, hanno provato una buona perfomance in termini di accuratezza della posizione raggiunta, sottolineando l'adeguatezza dell'approccio in un contesto reale. Le principali future direzioni di investigazione sono focalizzate sul miglioramento dell'accuratezza dell'analisi di immagine e sull'integrazione con sistemi di movimento della testa in campo tridimensionale. L'approccio bio-inspirato sembra inoltre essere un ottimo strumento computazionale per la realizzazione di sistemi adattivi che apprendano a conoscere il comportamento dello sguardo del soggetto e a incrementare quindi le performance durante l'utilizzo. E' questa la principale direzione che questa tesi vuole indicare per i lavori futuri che vorranno proseguire la linea di ricerca fin qui sviluppata.