Occhi e Orecchi intelligenti per l’automobile del futuro

All’Università Politecnica delle Marche si sperimentano gli accorgimenti per segnalare in automatico al guidatore di un veicolo l’arrivo di mezzi di soccorso. E come in tutte le applicazioni, lo studio può essere una base per sviluppi futuri.

Uno degli obiettivi del progetto “smart multimedia MOnitoring systems for advanced HMI technologies in living environments”, soprannominato MOHMI, è la prototipazione di un sistema hardware e software per supportare il guidatore nella percezione del mondo esterno.

MOHMI è parte del progetto MIRACLE, Marche Innovation and Research for Connected and sustainable Living Environments.

Il sistema si basa su tecniche di “Machine Listening”, ovvero tecniche di Intelligenza Artificiale in grado di catturare tramite apposite “orecchie” un evento sonoro particolare, come l’arrivo di un mezzo di soccorso a sirena spiegata. Oltre alle orecchie artificiali, il sistema ha anche un suo “occhio elettronico” in grado di controllare, all’insorgere del suono di sirena, se il guidatore si è accorto o meno della situazione di emergenza e se così non fosse, l’auto avvisa il conducente con un segnale dedicato che deve fare attenzione all’arrivo del mezzo di soccorso.

Tutto questo va in un’ottica di maggiore sicurezza ma anche nella direzione, ancora futuristica, di un’auto a guida autonoma sempre più attenta.

Per raggiungere questo obiettivo, i ricercatori hanno messo a punto una autovettura con vari microfoni, a fare da “orecchie”, e l’hanno condotta nel traffico per acquisire dati in scenari reali. I microfoni sono protetti dalle intemperie e dalle forti correnti d’aria che alle velocità normali di un’automobile rischierebbero di far catturare ai microfoni solamente sibili e fruscii. Il posizionamento permette di catturare i suoni in arrivo dal retro dell’auto, che è una delle direzioni a cui siamo meno attenti.

In questa prima fase sono stati registrati e raccolti suoni utili, come quelli delle sirene, e tanti rumori di traffico. Questi non saranno certo piacevoli da ascoltare, ma gli algoritmi di Intelligenza Artificiale utilizzati né “hanno bisogno”, per imparare, grazie all’uomo, a discriminare cos’è utile e cosa no.

La raccolta di suoni è anche necessaria per stabilire la direzione di provenienza del veicolo. Infatti, attraverso una serie di microfoni posizionati intorno all’auto è possibile stabilire la direzione di arrivo del veicolo e aiutare l’autista a capire subito in che direzione guardare per osservare il passaggio del mezzo di soccorso. Allo stato attuale i ricercatori stanno mettendo a punto delle tecniche che, sfruttando le informazioni provenienti da più microfoni, siano in grado di indicare rapidamente all’autista qual è la direzione di arrivo. L’obiettivo è far sì che classificazione e stima della direzione d’arrivo siano più precise possibile, ovvero che la loro probabilità di successo sia del 99% o superiore anche in condizioni difficili, ad esempio con rumore elevato.

Un altro lavoro importante che i ricercatori hanno svolto fin qui è quello di analisi del comportamento del guidatore all’arrivo del mezzo di soccorso mediante sistemi di visione artificiale. Per questo hanno fatto uso della camera semianecoica del gruppo A3lab presso l’Università Politecnica delle Marche per i loro esperimenti. Una camera semianecoica è un ambiente chiuso dove il suono viene assorbito dalle pareti, rimuovendo il loro effetto e permettendo di simulare altri ambienti. La camera in dotazione all’università è molto grande ed è stata progettata per ospitare un’automobile. Per questo è stato possibile far entrare l’auto e generare il suono di una sirena in arrivo, monitorando le reazioni di parecchi soggetti tramite una telecamera.

Le reazioni dei soggetti sono molto limitate, in genere l’occhio si sposta verso lo specchietto retrovisore, senza altri movimenti evidenti. Tuttavia, attraverso apposite telecamere è possibile valutare la direzione dello sguardo al fine di comprendere se l’utente ha posto attenzione all’arrivo del mezzo di soccorso. Tale elaborazione è resa possibile mediante tecniche di Intelligenza Artificiale che consentono anche di valutare il grado di attenzione del guidatore che oggi “subisce” molte distrazioni dal mondo circostante.

In particolare, si stanno sperimentando anche dei sensori fortemente innovativi. Tali sensori prendono il nome di camere ad eventi anche conosciute come Dynamic Vision System. Questa tecnologia garantisce un elevato range dinamico, aspetto di fondamentale importanza negli scenari automotive dove le scene sono spesso dominate da zone con diverse condizioni di luminosità. Mediante tali camere è possibile rilevare ad esempio situazioni come l’apertura e chiusura degli occhi/bocca con una elevata affidabilità anche in condizioni critiche dovute a variazioni repentine della luminosità della scena. Il sistema che si sta sviluppando consente di valutare l’apertura/chiusura degli occhi, il movimento della testa ed anche l’apertura/chiusura della bocca. Ciò viene effettuato mediante delle reti neurali addestrate per tale scopo; il processamento dei dati provenienti dal sistema di visione avviene in tempo reale grazie ad acceleratori hardware dedicati.

Unitamente alla camera ed eventi si stanno sperimentando dei sistemi di visione di tipo stereo utilizzando due videocamere per calcolare la profondità e consentire ai dispositivi di vedere, comprendere, interagire e apprendere dal loro ambiente. Attraverso una serie di algoritmi è possibile processare il flusso dati per stimare la direzione dello sguardo del guidatore. Ciò è necessario per valutare il grado di attenzione del guidatore a seguito di un evento inaspettato come l’avvicinarsi di un mezzo di soccorso. Si vuole infatti valutare se il guidatore verifica negli specchietti retrovisori l’arrivo del veicolo di emergenza ed in caso il sistema può avvisare il conducente attraverso un messaggio acustico al fine di attuare le dovute precauzioni per agevolare il passaggio.

Al momento i ricercatori stanno studiando l’insieme di tutti questi algoritmi e sistemi complessi per poterli integrare in un prototipo che ha lo scopo di validare il lavoro. Dovranno essere messi alla prova gli algoritmi e ottimizzati per fornire il massimo livello di sicurezza. Poi sarà necessario un importante lavoro di integrazione di hardware e software per poter funzionare all’interno di una automobile, che sarà utilizzata durante tutto il progetto.