Web based face recognition for visual internet of things

Abstract

Penelope non e certa dell’identita dello sconosciuto, lo osserva, a volte le sembra di riconoscerlo, a volte e tratta in inganno dall’aspetto trasandato dello straniero i cui tratti sembrano lontani dall’Ulisse partito da Itaca venti anni prima. La difficolta di Penelope e la medesima che tutti hanno quotidianamente nella relazione con gli altri. Quando le persone si incontrano l’attivita principale che il cervello umano svolge e quella di associare il volto ad una identita nota. Questo esercizio, normalmente semplice, puo risultare molto complesso nel momento in cui i tratti somatici non sono nitidi all’occhio umano, quando il processo di associazione del volto e ostacolato da difficolta di memoria oppure quando il cervello e ingannato da similarita tra lineamenti di soggetti diversi. Questa funzione, comune per gli uomini, e molto complessa per i sistemi automatici. Negli ultimi 40 anni sono stati effettuati numerosi studi e sviluppati diversi algoritmi per il riconoscimento dei volti ma l’efficienza dell’uomo nell’associare un volto ad una identita nella varieta delle situazioni della vita quotidiana e ancora lontana. Gli studi sono stati orientati sia a sviluppare tecniche per il riconoscimento automatico di elementi biometrici come l’ovale del viso, la bocca o gli occhi sia per l’associazione di immagini di persone con identita note. Mentre le tecniche per il riconoscimento automatico di elementi biometrici ha avuto un buon successo, come dimostra la diffusa applicazione nei prodotti di consumo come le fotocamere, le soluzioni per l’associazione delle identita sono efficaci solo in condizioni nelle quali il processo di acquisizione delle immagini e ben controllato. Attualmente lo studio degli algoritmi per il riconoscimento automatico dei volti e di interesse per lo sviluppo di strumenti software in grado di modificare i processi di produzione multimediali che sono fondamentalmente basati sulla capacita di un operatore umano di interpretare una sequenza di immagini. L’applicazione di strumenti automatici per il riconoscimento di volti nelle sequenze multimediali e una modalita operativa che non e ancora completamente consolidata e che non ha trovato applicazione nell’industria settoriale nella quale tuttora si utilizza la capacita umana come strumento di decisione. Il principale lavoro svolto nel corso del triennio dottorale, il cui percorso e illustrato in questa tesi, è stato quello di studiare un sistema di riconoscimento automatico di volti che consenta l’identificazione di un individuo e la relativa annotazione del contenuto multimediale utilizzando il Web come archivio di immagini. Nell’ambito di questo lavoro di ricerca il Web e stato utilizzato per la realizzazione di un nuovo database di immagini per apprendimento (gallery) dei classificatori con l’obiettivo di proporre elementi innovativi per l’Internet of Things (IoT), nella sua evoluzione identificata come “Visual Internet of Things” (VIoT). Il primo capitolo illustra lo stato dell’arte delle tecnologie per la rilevazione e il riconoscimento delle identita dei volti presenti nelle immagini partendo dall’analisi della letteratura scientifica piu recente, presentando i maggiori archivi di immagini disponibili per la ricerca scientifica ed infine introducendo il concetto di Visual Internet of Things. Il secondo capitolo descrive gli elementi fondamentali dei processi di riconoscimento facendo riferimento alle tecnologie di pattern recognition che sono alla base degli algoritmi finalizzati al riconoscimento dei volti. Vengono presentati i principali algoritmi sviluppati finora e i principali approcci adottati. Il terzo capitolo descrive il lavoro di preparazione effettuato sulle sequenze video, i principali problemi affrontati nell’estrazione dei quadri rilevanti ai fini dell’identificazione dei soggetti e i principali risultati ottenuti. Tutte le sequenze video sono state acquisite mediante sistemi di registrazione commerciali da trasmissioni TV e successivamente sono state elaborate al fine di poter ottenere delle sequenze di quadri alle quali applicare algoritmi per la rilevazione dei volti. Si è proceduto ad effettuare registrazioni sia da trasmissioni in HD a 1920x1080i che in SD a 720x576i per poter effettuare a una serie di confronti prestazionali. Il quarto capitolo descrive le varie fasi seguite nel processo di riconoscimento partendo dalle prime prove effettuate con un insieme ridotto di volti fino alla descrizione di prove effettuate con piu algoritmi su un campione esteso di quadri sia in HD che in SD. Nel capitolo e descritto anche il processo seguito per la realizzazione dell’archivio di immagini campione scaricate dal Web. Vengono presentati I principali risultati ottenuti pubblicati in occasione di alcune conferenze scientifiche. Nel quinto capitolo, dedicato alle conclusioni, viene presentata una sintesi dei principali risultati, sono messi in luce i maggiori problemi per lo sviluppo di tali soluzioni tecnologiche e sono indicati alcuni temi di approfondimento. Infine viene presentata una breve panoramica sui servizi di prossima generazione in corso di sviluppo e di applicazione da parte di alcune aziende.

Penelope is not confident of her feeling about the identity of the unknown, she observes him, sometimes she seems recognizing him, sometimes she is misled by the scruffy-looking foreign aspect whose features seem far from the Ulysses who departed from Ithaca twenty years before. The difficulty of Penelope is the same in that all have a daily relationship with others. When people meet, the main activity that the human brain performs is to associate the face to a known identity. This exercise, usually simple, can be very complicated when the facial features are not clear to the human eye, when the process of association of the face is hampered by poor memory or when the brain is fooled by the similarity between features of different subjects. This feature, common to humans, is very difficult for automatic systems. In the last 40 years there have been numerous studies and developed several algorithms for face recognition but the efficiency of men to associate a face to an identity in the variety of situations in everyday life is still far away. The studies were directed both to develop techniques for automatic recognition of biometrics as the oval of the face, mouth or eyes and to associate an image of a person with a known identity. While the techniques for automatic recognition of biometrics has been quite successful, as evidenced by the widespread application in consumer products such as cameras, solutions for the association of identity are effective only in conditions in which the process of image acquisition is well controlled. Currently, the study of the algorithms for the automatic recognition of faces is of interest for security applications or for the development of software tools able to modify the multimedia production processes that are fundamentally based on the capability of a human operator to understand a sequence of images. The application of automated tools for the recognition of faces in multimedia sequences is an operative mode that is not yet fully established and that has not been applied in the industry sector in which still is in use the human capability as decision tool. The main work carried out during the three-year doctoral, whose path is shown in this thesis, was to study a system of automatic recognition of faces enabling the identification of an individual and the pertaining annotation of multimedia content using the Web as image database. In the context of this research work, the Web was used for the creation of a new database of images for the learning procedures (gallery) of the classifiers with the aim to propose innovative elements for the Internet of Things (IoT), in its evolution identified as "Visual Internet of Things" (VIoT). Chapter one describes the state of the art for the detection and recognition technologies of the identity of faces in images. It begins with an analysis of the most recent scientific literature, presenting the main archives of images available for scientific research and finally introducing the concept of VIoT. The second chapter describes the basic elements of the recognition process by referring to the pattern recognition technologies that are the basis of algorithms aimed at identification of objects and subsequently the faces. We present the main algorithms developed and the applied approaches. The third chapter describes the preparation work carried out on video sequences, the main problems faced in extracting the relevant frameworks for identifying the parties and the main results obtained. All video sequences have been acquired through standard registration systems from commercial TV broadcasts and subsequently have been elaborated in order to obtain sequences of pictures on which apply algorithms for the detection and identification of faces. We proceeded to record contents both from HD broadcasts at 1920x1080i and from SD at 720x576i in order to carry out a set of comparisons of performance. The fourth chapter describes the various steps followed in the recognition process starting from the first tests carried out with a reduced set of faces to the description of the tests carried out with more algorithms on a larger sample of pictures in both HD and SD. The chapter also describes the process followed for the creation of the archive of sample images downloaded from the Web. We present the main results published in some scientific conferences. The fifth chapter, dedicated to conclusions, contains a summary of the main results and includes a review of the major issues for the development of such technological solutions proposing some topics for dditional studies. Finally there is a short overview of the next-generation services in progress of development and implementation by some companies.