TECNOLOGIA: UN PERFETTO ALGORITMO RIESCE A SCHIVARE GLI INPUT DEGLI AVERSARI

 

Il metodo si basa su tecniche di gioco per aiutare i veicoli autonomi a navigare nel mondo reale, dove i segnali possono essere imperfetti.

In un mondo perfetto, quello che vedi è quello che ottieni. Se così fosse, il lavoro dei sistemi di intelligenza artificiale sarebbe piacevolmente semplice.

Prendi i sistemi di prevenzione delle collisioni nelle auto a guida autonoma. Se ci si può fidare completamente dell'input visivo delle telecamere di bordo, un sistema di intelligenza artificiale potrebbe mappare direttamente quell'input a un'azione appropriata - sterza a destra, sterza a sinistra o continua dritto - per evitare di colpire un pedone che le sue telecamere vedono sulla strada.

Ma cosa succede se c'è un problema tecnico nelle fotocamere che sposta leggermente un'immagine di alcuni pixel? Se l'auto si fida ciecamente dei cosiddetti 'input del contraddittorio', potrebbe intraprendere un'azione non necessaria e potenzialmente pericolosa.

Un nuovo algoritmo di apprendimento profondo sviluppato dai ricercatori del MIT è progettato per aiutare le macchine a navigare nel mondo reale e imperfetto, creando un sano 'scetticismo' delle misurazioni e degli input che ricevono.

Il team ha combinato un algoritmo di apprendimento per rinforzo con una rete neurale profonda, entrambi utilizzati separatamente per addestrare i computer a giocare a videogiochi come Go e scacchi, per costruire un approccio che chiamano CARRL, per Certified Adversarial Robustness for Deep Reinforcement Learning.

I ricercatori hanno testato l'approccio in diversi scenari, tra cui un test di prevenzione delle collisioni simulato e il videogioco Pong, e hanno scoperto che CARRL ha funzionato meglio - evitando collisioni e vincendo più partite Pong - rispetto alle tecniche di apprendimento automatico standard, anche a fronte di incertezze , input del contraddittorio.

'Spesso pensi che un avversario sia qualcuno che sta hackerando il tuo computer, ma potrebbe anche essere solo che i tuoi sensori non sono eccezionali, o le tue misurazioni non sono perfette, come spesso accade', dice Michael Everett, un postdoc al MIT's Dipartimento di Aeronautica e Astronautica (AeroAstro). “Il nostro approccio aiuta a tenere conto di quell'imperfezione e a prendere una decisione sicura. In qualsiasi dominio critico per la sicurezza, questo è un approccio importante a cui pensare '.

Everett è l'autore principale di uno studio che delinea il nuovo approccio, che appare in Transactions on Neural Networks and Learning Systems dell'IEEE. Lo studio ha avuto origine dalla tesi di laurea del dottorando del MIT Björn Lütjens ed è stato consigliato dal professore del MIT AeroAstro Jonathan How.

Possibili realtà

Per rendere i sistemi di intelligenza artificiale robusti contro gli input avversari, i ricercatori hanno provato a implementare difese per l'apprendimento supervisionato. Tradizionalmente, una rete neurale viene addestrata per associare etichette o azioni specifiche a determinati input. Ad esempio, una rete neurale alimentata da migliaia di immagini etichettate come gatti, insieme a immagini etichettate come case e hot dog, dovrebbe etichettare correttamente una nuova immagine come gatto.

In robusti sistemi di intelligenza artificiale, le stesse tecniche di apprendimento supervisionato potrebbero essere testate con molte versioni leggermente alterate dell'immagine. Se la rete si ferma sulla stessa etichetta - gatto - per ogni immagine, ci sono buone probabilità che, alterata o meno, l'immagine sia effettivamente di un gatto, e la rete è robusta a qualsiasi influenza avversaria.

Ma eseguire ogni possibile alterazione dell'immagine è computazionalmente esaustivo e difficile da applicare con successo a compiti sensibili al tempo come evitare le collisioni. Inoltre, i metodi esistenti non identificano nemmeno quale etichetta utilizzare o quale azione intraprendere, se la rete è meno robusta ed etichetta alcune immagini di gatti alterate come una casa o un hot dog.

'Per poter utilizzare le reti neurali in scenari critici per la sicurezza, abbiamo dovuto scoprire come prendere decisioni in tempo reale basate su ipotesi del caso peggiore su queste possibili realtà', afferma Lütjens.

La migliore ricompensa

Il team ha invece cercato di basarsi sull'apprendimento per rinforzo, un'altra forma di apprendimento automatico che non richiede l'associazione di input etichettati con output, ma mira piuttosto a rafforzare determinate azioni in risposta a determinati input, in base a una ricompensa risultante. Questo approccio viene in genere utilizzato per addestrare i computer a giocare e vincere partite come gli scacchi e il Go.

L'apprendimento per rinforzo è stato applicato principalmente a situazioni in cui si presume che gli input siano veri. Everett ei suoi colleghi affermano di essere i primi a conferire 'robustezza certificabile' a input incerti e contraddittori nell'apprendimento per rinforzo.

Il loro approccio, CARRL, utilizza un algoritmo di apprendimento per rinforzo profondo esistente per addestrare una rete Q profonda, o DQN, una rete neurale con più livelli che alla fine associa un input a un valore Q o livello di ricompensa.

L'approccio prende un input, come un'immagine con un singolo punto, e considera un'influenza antagonista, o una regione attorno al punto dove potrebbe essere effettivamente. Ogni possibile posizione del punto all'interno di questa regione viene alimentata attraverso un DQN per trovare un'azione associata che si traduca nella ricompensa nel caso peggiore più ottimale, sulla base di una tecnica sviluppata dal recente dottorando del MIT Tsui-Wei 'Lily' Weng PhD ' 20.

Un mondo avversario

Nei test con il videogioco Pong, in cui due giocatori azionano i paddle su entrambi i lati di uno schermo per passare una palla avanti e indietro, i ricercatori hanno introdotto un 'avversario' che ha tirato la palla leggermente più in basso di quanto non fosse in realtà. Hanno scoperto che CARRL ha vinto più partite rispetto alle tecniche standard, poiché l'influenza dell'avversario è cresciuta.

'Se sappiamo che una misurazione non dovrebbe essere attendibile esattamente e la palla potrebbe essere ovunque all'interno di una certa regione, il nostro approccio dice al computer che dovrebbe mettere la pagaia al centro di quella regione, per essere sicuri di colpire il Palla anche nella peggiore delle deviazioni ', dice Everett.

Il metodo è stato altrettanto robusto nei test di prevenzione delle collisioni, in cui il team ha simulato un agente blu e uno arancione che tentavano di cambiare posizione senza entrare in collisione. Mentre la squadra ha turbato l'osservazione dell'agente arancione sulla posizione dell'agente blu, CARRL ha guidato l'agente arancione attorno all'altro agente, prendendo una cuccetta più ampia man mano che l'avversario diventava più forte e la posizione dell'agente blu diventava più incerta.

Arrivò un punto in cui CARRL divenne troppo prudente, inducendo l'agente arancione a presumere che l'altro agente potesse essere ovunque nelle sue vicinanze e in risposta evitò completamente la sua destinazione. Questo estremo conservatorismo è utile, afferma Everett, perché i ricercatori possono quindi usarlo come limite per regolare la robustezza dell'algoritmo. Ad esempio, l'algoritmo potrebbe considerare una deviazione minore, o regione di incertezza, che consentirebbe comunque a un agente di ottenere una ricompensa elevata e raggiungere la sua destinazione.

Oltre a superare i sensori imperfetti, Everett afferma che CARRL potrebbe essere un inizio per aiutare i robot a gestire in modo sicuro le interazioni imprevedibili nel mondo reale.

'Le persone possono essere contraddittorie, come mettersi di fronte a un robot per bloccarne i sensori, o interagire con essi, non necessariamente con le migliori intenzioni', afferma Everett. “Come può un robot pensare a tutte le cose che le persone potrebbero provare a fare e cercare di evitarle? Da che tipo di modelli contraddittori vogliamo difenderci? È qualcosa che stiamo pensando a come fare '.

Scritto da Jennifer Chu

Articolo originale: Technology

- Eyes Bio