Overview dei lavori prodotti da IBM Research nel 2018 e temi di ricerca in ambito Artificial Intelligence per il nuovo anno (Parte 3)
Eccoci al terzo appuntamento che esplora il materiale proposto dal team AI di IBM Research che esplora i lavori prodotti nel 2018 e offre spunti sui principali temi nell’agenda di ricerca per il prossimo anno.
Per coloro interessati alle puntate precedenti,
la parte 1 è proposta quo: https://pieroleo.com/2018/12/20/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-per-il-nuovo-anno-parte-1/
e la parte 2 è proposta qui: https://pieroleo.com/2018/12/21/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-in-ambito-artificial-intelligence-per-il-nuovo-anno-parte-2/
e la parte 3 è proposta qui: https://pieroleo.com/2018/12/23/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-in-ambito-artificial-intelligence-per-il-nuovo-anno-parte-3/
Ricordo anche il link dove è raccolto il materiale inclusi dei booklet scaricabili con gli articoli: https://www.research.ibm.com/artificial-intelligence/publications/2018/
Sono tre i principali assi attorno ai quali è stata organizzata la rassegna dei lavori (evidentemente si parla di AI ma il Machine Learning è l’argomento di punta possiamo dire), eccoli:
-
Nuovi metodi e approcci
-
Efficientamento degli algoritmi (o scalability come dicono gli americani)
-
Affidabilità dei risultati e dei metodi stessi di Intelligenza Artificiale
Qui di seguito descrivo il terzo degli stream di ricerca tra quelli appena citati: l’Affidabilità dell’AI.
- Dati senza pregiudizi.
Una delle sfide più interessanti che la comunità scientifica che lavora sui metodi di Machine Learning sta affrontando è quella di garantire, con ulteriori metodi, non solo l’accuratezza predittiva dei modelli ma, nello stesso tempo, che questa sia equa e imparziale e cosa più importante “trasparente”. In sostanza, si vogliono dei metodi che a fronte di ogni decisione suggerita possano anche fornire i razionali che la sostengono e che possa essere tracciato l’intero percorso di ragionamento. Per chi costruisce e chi utilizza software il fatto che questo possa contenere dei “bug” è ben noto. Ci siamo abituati all’imperfezione, un po’ in tutti i domini in verità possiamo dire, mettendo in atto tante strategie che migliorano la qualità di ciò che si produce. Nel caso dei metodi di Machine Learning i bug possono annidarsi in molti rivoli anche più subdoli rispetto ai sistemi software tradizionali. Un posto dove cercare i bug è nei dati stessi usati nell’apprendimento. Sappiamo il ben noto detto: se spazzatura entra nel sistema spazzatura ne esce. Nel caso dei dati di training di un modello di Machine Learning qui non solo dobbiamo aver cura che i dati di input siamo puliti e privi di errori ma anche che offrono uno spaccato vero della realtà che si vuole apprendere che in caso contrario porterebbe a generare modelli predittivi sbilanciati e pregiudizievoli rispetto, ad esempio, a segmenti di popolazione non adeguatamente rappresentati. Vari gruppi di ricerca stanno mettendo appunto sistemi che limitano la comparsa di questi problemi. Un lavoro da citare in questo contesto è quello di Flavio du Pin Calmon ed altri Data Pre-Processing for Discrimination Prevention: Information-Theoretic Optimization and Analysis (https://ieeexplore.ieee.org/document/8438994). Questo team ha definito dei nuovi metodi per analizzare un data set di apprendimento e individuare possibili bias che possano, ad esempio, discriminare certi gruppi e sotto gruppi di individui rappresentati nei dati. Il metodo trasforma il data set di input in un data set più robusto e sperimentalmente il team ha validato l’efficacia dell’approccio su vari data set pubblici dimostrando la riduzione dei bias senza una significativa riduzione della precisione del sistema.
- Affrontare l’effetto “scatola nera”.
I metodi di Machine Learning basati su reti neurali molto profonde, vale a dire organizzare in numerosi strati, hanno dimostrato la loro efficacia predittiva in molti contesti e domini. Negli ultimi anni, all’aumentare della capacità predittiva è corrisposta una riduzione della capacità di interpretare i risultati prodotti dalla rete e comprenderne, sostanzialmente, il suo funzionamento durante la fase inferenziale e il perché si giunge a certe conclusioni o risultati. Questo viene anche chiamato effetto “scatola nera”: sappiamo ciò che entra ed esce, nulla o quasi di come avviene la trasformazione. Il risultato è anche accurato in base ai test che facciamo ma non si riesce a dare una spiegazione semplice sul perché è stato ottenuto proprio quel risultato! La questione non è affatto banale da risolvere e rappresenta una vera e propria barriera nella fiducia degli utenti nei confronti dei sistemi di intelligenza artificiale e rende difficile ragionare sulle potenziali modalità di insuccesso. Questo tema sta attraendo l’interesse di molti gruppi di ricerca e vari metodi sono allo studio per cercare di scrutare il contenuto della “scatola nera”. Il gruppo di IBM Research AI ha avviato varie linee di ricerca in tal senso come ad esempio un metodo chiamato ProfWeight proposto da Dhurandhar ed altri in Improving Simple Models with Confidence Profiles (https://arxiv.org/pdf/1807.07506.pdf) ProfWeight analizza una rete molto profonda e che consiste di numerosi strati ed è in grado di derivarne un modello semplificato in grado di raggiungere prestazioni simili a quella originale. Evidentemente grazie alla ridotta complessità, questi modelli semplificati possono fornire informazioni su come funzionava la rete originale e perché ha preso una decisione anziché un’altra. Il metodo è stato validato su alcuni data set di significativo come il CIFAR-10 in ambito computer vision e un dataset prodotto da una corporation per l’analisi di dati durante la produzione di chip. In entrambi i casi il modello ProfWeight è stato in grado di produrre decisioni più spiegabili, pur mantenendo un alto livello di precisione.
- Anticipazione di attacchi malevoli a modelli di Deep Learing
Uno degli elementi meno noti riguardanti l’affidabilità dei modelli di reti neurali riguarda la loro capacità di resistere ad attacchi che possano in modo malevolo compromettere i dati di training o di test per influenzare le decisioni dell’algoritmo. Ad esempio, un hacker può alterare in modo impercettibile un’immagine in modo da ingannare un modello di deep learning e indurlo a classificarla nella categoria desiderata dall’hacker. Non ci credete? Basta dare un’occhiata a questo scenario di attacco agli ATM per il versamento di assegni bancari e vi divertirete: http://foolthebank.mybluemix.net/ In questo caso, basta scrivere i numeri degli assegni da versare in un certo modo tipo per far in modo che la macchina li interpreti in un altro, tipo scrivo un 2 e la macchina capisce 8. Nuovi attacchi di questo tipo vengono sviluppati in un’ampia gamma di attività, dal riconoscimento vocale all’elaborazione del linguaggio naturale. Vari team di IBM Research studiano vari metodi di contrasto a queste situazioni. Da citare in questo ambito è certamente il lavoro di Tsui-Wei Weng ed altri in Evaluating the Robustness of Neural Networks: An Extreme Value Theory Approach (https://arxiv.org/abs/1801.10578). Questo team ha realizzato una misura, chiamata CLEVER, per verificare il livello di robustezza di una rete neurale per resistere a potenziali attacchi. CLEVER stima la “forza” di attacco minima richiesta affinché un attacco riesca a ingannare un dato modello di rete neurale, facilitando la discussione sulla sicurezza dei modelli di AI e fornendo indicazioni per individuare e difendersi dagli attacchi nei sistemi implementati.
Per coloro interessati alle puntate precedenti,
la parte 1 è proposta quo: https://pieroleo.com/2018/12/20/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-per-il-nuovo-anno-parte-1/
e la parte 2 è proposta qui: https://pieroleo.com/2018/12/21/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-in-ambito-artificial-intelligence-per-il-nuovo-anno-parte-2/
e la parte 3 è proposta qui: https://pieroleo.com/2018/12/23/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-in-ambito-artificial-intelligence-per-il-nuovo-anno-parte-3/
pieroleo 
Leave a Reply