Con questo post continuo ad esplorare il materiale proposto dal team AI di IBM Research che sintetizza i lavori prodotti nel 2018 e offre spunti sui principali temi nell’agenda di ricerca per il prossimo anno. La parte 1 è proposta qu: https://pieroleo.com/2018/12/20/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-per-il-nuovo-anno-parte-1/
Ricordo anche il link dove è raccolto il materiale inclusi dei booklet scaricabili con gli articoli: https://www.research.ibm.com/artificial-intelligence/publications/2018/
Sono tre i principali assi attorno ai quali è stata organizzata la rassegna dei lavori (evidentemente si parla di AI ma il Machine Learning è l’argomento di punta possiamo dire), eccoli:
-
Nuovi metodi e approcci
-
Efficientamento degli algoritmi (o scalability come dicono gli americani)
-
Affidabilità dei risultati e dei metodi stessi di Intelligenza Artificiale
Efficientamento degli algoritmi
Stessa accuratezza predittiva tenendo gli sforzi di calcolo al minimo.
I modelli di Machine Learning basati su deep neural network si sono rilevati estremamente potenti ma, allo stesso tempo richiedono considerevoli risorse computazionali durante la fase di training. I calcoli numerici in virgola mobile, anche semplici, che vengono effettuati per calcolare pesi e gradienti lungo la rete sono tipicamente effettuati ad una precisione basata su numeri a 32 bit. Negli ultimi anni sono stati proposti dei nuovi metodi che usano precisione a 16 bit garantendo la stessa accuratezza predittiva e più recentemente da un team di IBM Research sono stati proposti metodi che riducono ulteriormente la quantità di bit necessari alla rappresentazione di numeri decimali ad una precisione a 8 bit, si veda Wang N. ead altri con Training Deep Neural Networks with 8-bit Floating Point Numbers (https://papers.nips.cc/paper/7994-training-deep-neural-networks-with-8-bit-floating-point-numbers.pdf). Anche in questo caso è stato dimostrato che questi nuovi metodi non fanno decadere la precisione predittiva verificandoli su i principali dataset di AI tra cui quelli di immagini, speech recognition e analisi del testo. Il risultato pratico è che con le nuove tecniche basate su precisione a 8 bit si ottiene un miglioramento dei tempi della fase di training di 2-4 volte già sui sistemi attuali. E’ ragionevole aspettarsi che i calcoli con precisione ridotta diventeranno uno standard di settore ampiamente adottato nei prossimi anni.
Un nuovo approccio per aumentare l’efficienza inferenziale di una rete nurale.
L’aumento dell’accuratezza predittiva di un modello di Machine Learning basato su deep neural network in questi anni è stato ottenuto lavorando su due principali fronti: a) utilizzo di una quantità sempre più grande di dati; b) utilizzo di un numero molto ampio di feature che poi si spalmano su un numero di layer sempre più grande. I calcoli si propagano in sostanza lungo una rete di enormi dimensioni e che richiede tempi computazionali sempre più ampi. In Wu, Z. ed altri. BlockDrop: Dynamic Inference Paths in Residual Networks (https://arxiv.org/pdf/1711.08393.pdf) hanno proposto un nuovo metodo che prevede una navigazione, vale a dire una propagazione, del calcolo lungo la rete molto più efficiente. In sostanza, questo modello sceglie dinamicamente i layer su cui propagare il calcolo, e non su tutti, rendendo più rapido il calcolo stesso il processo inferenziale preservando la capacità predittiva. Il team di ricercatori ha validato l’approccio nel contesto di riconoscimento di immagini ottenendo un miglioramento delle prestazioni del 20% con punte del 36%.
Auto AI, generazione automatica di modelli di machine learning basati su deep neural network.
L’uso dei sistemi di Artificial Intelligence per generare altri sistemi di Artificial Intelligence è certamente un’area intrigante. In un precedente post ho proprio sottolineato come i metodi di “Auto AI” stanno sempre più attraendo l’interesse da parte dell’industria (https://pieroleo.com/2018/10/17/the-process-to-build-ai-with-ai-is-staring-to-growth-at-industrial-level/). Perché’ è importante l’Auto AI? Il disegno di una rete neurale efficace e che risolva efficientemente un determinato problema industriale richiede expertise specializzata, il famoso Data Scientist. Quest’ultimo è materia pregiata, tirato dalla giacchetta da sempre più mani, in sostanza c’è ne pochi per coprire le necessità che il mercato presente e futuro richiederà. Evidentemente chi potrebbe sentire maggiormente questa mancanza sono le organizzazioni piccole (PMI) o anche start up che trovano difficoltà nel reperire questo tipo di skill con esperienze significative sul mercato. Ma anche disponendo dei giusti skill il disegno di un’architettura di una rete neurale è un’attività time consuming, pertanto la possibilità di strumenti che possano accelerare la loro produzione è evidentemente ben vista. I lavori di IBM Research in questo campo sono diversi, certamente è da citare quello di R. Istrate ed altri TAPAS: Train-less Accuracy Predictor for Architecture Search che hanno messo appunto un metodo in grado di analizzare una topologia di rete e predire il suo grado di accuratezza predittiva (https://arxiv.org/abs/1806.00250). Dai lavori di TAPAS ed altri è stato derivato il sistema NeuNets di Auto AI di IBM adesso inglobato nella piattaforma di Machine Learning IBM AI Open Scale. Per chi vuole approfondire ed usare il sistema stesso questo blog di C. Malossi fornisce un inquadramento tecnico e teorico molto utile: https://www.ibm.com/blogs/research/2018/12/neunets/).
la parte 1 è proposta quo: https://pieroleo.com/2018/12/20/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-per-il-nuovo-anno-parte-1/
e la parte 2 è proposta qui: https://pieroleo.com/2018/12/21/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-in-ambito-artificial-intelligence-per-il-nuovo-anno-parte-2/
e la parte 3 è proposta qui: https://pieroleo.com/2018/12/23/overview-dei-lavori-prodotti-da-ibm-research-nel-2018-e-temi-di-ricerca-in-ambito-artificial-intelligence-per-il-nuovo-anno-parte-3/
pieroleo 
Leave a Reply