Photo of Les machines apprennent de nouvelles façons d’apprendre

Les machines apprennent de nouvelles façons d’apprendre

par Juanita Bawagan Nouvelles Apprentissage automatique, apprentissage biologique 13.09.2017

Des machines intelligentes ont appris à lire et à écrire, à reconnaître des images, et à prédire des mutations dangereuses. Mais comment une machine apprend-elle à apprendre?

L’art « d’apprendre à apprendre » (ou méta-apprentissage) est maintenant largement reconnu comme une pierre angulaire de la recherche sur l’intelligence artificielle. Traditionnellement, les informaticiens ont eux-mêmes créé les algorithmes d’apprentissage. Au cours des dernières années, l’idée d’utiliser des données pour apprendre les algorithmes d’apprentissage a pris de l’élan – et des ressources informatiques et des ensembles de données d’envergure ont rendu la chose possible.

En 2016, Nando de Freitas, Boursier principal au sein du programme Apprentissage automatique, apprentissage biologique de l’ICRA, a démontré une approche novatrice au concept d’apprendre à apprendre. De concert avec ses collègues, il a démontré comment un algorithme d’apprentissage peut faire office de réseau neuronal qui, en retour, entraîne un autre réseau neuronal.

Maintenant, de Freitas a misé sur ces recherches avec deux nouveaux articles sur le concept d’apprendre à apprendre présentés à l’International Conference on Machine Learning (ICML). Ces articles démontrent la capacité des algorithmes appris à dépasser les algorithmes conçus par les informaticiens, à transférer des données entre tâches et à produire de meilleurs choix.

Dans le premier article ICML, les chercheurs démontrent que ces algorithmes appris peuvent résoudre des tâches différentes et plus complexes. Il s’agit d’un développement important, car les algorithmes d’apprentissage appris antérieurs étaient incapables de faire une généralisation vers de nouveaux problèmes et avaient besoin de trop de mémoire et de puissance de calcul pour s’attaquer à de plus gros problèmes.

De Freitas apparente les algorithmes d’apprentissage et les algorithmes qu’ils produisent à l’évolution et à des créatures, comme l’être humain.

« Encore plus important, dans certains cas ils sont plus rapides et plus efficaces que des algorithmes conçus et améliorés par des gens au fil de décennies », explique de Freitas (DeepMind). Ces recherches ont été menées en collaboration avec ses collègues de Google Brain, y compris Olga Wichrowska et Jascha Sohl-Dickstein, qu’il a rencontrés lors d’une réunion de l’ICRA.

De Freitas apparente les algorithmes d’apprentissage et les algorithmes qu’ils produisent à l’évolution et à des créatures, comme l’être humain.

« L’évolution est un processus d’apprentissage lent qui a mené à l’émergence d’animaux aptes à apprendre à un rythme rapide pendant leur vie. Les bébés naissent avec des structures cérébrales qui encodent des connaissances de base, y compris les algorithmes nécessaires pour apprendre l’anglais, la manipulation, le tennis et le nom du petit frère de Peppa Pig, pourvu qu’ils grandissent dans des environnements adéquats », dit-il.

Les spécialistes de l’IA cherchent à reproduire le processus par lequel nos algorithmes d’apprentissage intériorisés se sont améliorés au fil de l’évolution – mais plus rapidement. La descente de gradient est l’une des techniques qu’utilisent les chercheurs. La descente de gradient est une forme d’apprentissage par optimisation où on suit la pente d’une fonction d’erreur afin de minimiser le nombre d’erreurs le plus rapidement possible.

« On peut établir une analogie entre les algorithmes d’apprentissage et une chaîne de montagnes. Dans un lieu donné, l’altitude au-dessus du niveau de la mer indique la qualité d’une solution; plus basse est l’altitude, moins les réseaux neuronaux commettent d’erreurs de prédiction. » Dans ce cas-ci, la solution est paramétrée par deux coordonnées : la latitude et la longitude. Conséquemment, l’algorithme d’apprentissage est une recette pour trouver l’endroit où l’altitude au-dessus du niveau de la mer est la plus basse. La recette prescrit comment changer la latitude et la longitude.

« Pour résumer, l’évolution est une recette où quelqu’un cherche le meilleur endroit en essayant de nombreux endroits au hasard. Par opposition, ce que l’on fait avec la recette de la descente de gradient s’apparente davantage au ski. Il faut donc commencer à un endroit aléatoire et chercher la pente au plus fort gradient, la double diamant noir. Ensuite, il faut aller dans cette direction le plus vite possible pour trouver la solution avec l’altitude la plus basse ou le moins d’erreurs », dit-il.

Un article publié par de Freitas en 2016 sur le concept d’apprendre à apprendre a utilisé la descente de gradient pour l’apprentissage et le méta-apprentissage. Dans un deuxième article dans ICML, ses collègues et lui ont entraîné le méta-apprenant avec la descente de gradient, mais le nouveau méta-apprenant apprend des algorithmes aptes à apprendre en l’absence de gradients. La descente de gradient est efficace et a mené à la concrétisation de la reconnaissance d’images et de la parole. Toutefois, la capacité d’apprendre sans gradients se révèle importante dans des situations où il n’y a pas de modèles mathématiques, comme lorsqu’on demande aux gens quelles sont leurs préférences.

« Nous espérons qu’en laissant parler les données, nous apprendrons de puissants algorithmes d’apprentissage auxquels nous n’avions pas pensé avec notre intuition humaine »

« Dans certains cas, comme d’essayer différents choix de conception de produits, il n’y a pas de modèles mathématiques. Il faut alors espérer pouvoir essayer à répétition différents choix de conception et voir combien d’utilisateurs les aiment. Les chercheurs espèrent qu’après quelques essais, il y ait formation d’un modèle de souvenirs des préférences et des réactions des utilisateurs, et que les concepteurs s’amélioreront dans la conception de produits pour répondre aux besoins des utilisateurs. Il peut s’agir de n’importe quels produits, y compris de nouveaux traitements médicaux pour traiter la maladie », dit de Freitas.

Apprendre comment mieux apprendre est une question de recherche fondamentale qui transcende les domaines. Cela fait près d’un siècle que les psychologues étudient le concept d’apprendre à apprendre. En IA, les premières méthodes de méta-apprentissage remontent aux années 1990 avec d’importants travaux fondamentaux réalisés par les codirecteurs du programme Apprentissage automatique, apprentissage biologique, Yann LeCun et Yoshua Bengio, et le Boursier principal Max Welling. Dans ses recherches, de Freitas s’est inspiré des discussions qu’il a eues avec eux. Actuellement, de Freitas explore diverses questions, notamment : échelle, généralisation, application à des agents de l’apprentissage par renforcement, et utilisation de cette approche pour faire avancer la neuroscience computationnelle.

« Nous espérons qu’en laissant parler les données, nous apprendrons de puissants algorithmes d’apprentissage auxquels nous n’avions pas pensé avec notre intuition humaine », dit-il.

Les articles « Learning to Learn without Gradient Descent by Gradient Descent » et « Learned Optimizers that Scale and Generalize » ont été présentés à l’International Conference on Machine Learning à Sydney, du 8 au 11 août. De Freitas était l’un de douze boursiers de l’ICRA à faire une présentation à l’ICML 2017.

Related Idées

Annonce | Nouvelles

Ateliers de recherche de l’ICRA – appel de propositions

Pendant plus de trente ans, les programmes de recherche mondiaux de l’ICRA ont mis en lien un grand nombre des...

Nouvelles | Cerveau, esprit et conscience

D’après de nouvelles recherches, le cerveau apprend pendant le sommeil

Des scientifiques à l’École Normale Supérieure de Paris ont démontré que le cerveau peut apprendre et créer de nouveaux souvenirs...

Nouvelles | Apprentissage automatique, apprentissage biologique

Les machines apprennent de nouvelles façons d’apprendre

Des machines intelligentes ont appris à lire et à écrire, à reconnaître des images, et à prédire des mutations dangereuses....

Nouvelles | Développement du cerveau et de l’enfant | Apprentissage automatique, apprentissage biologique

L’oubli peut vous rendre plus intelligent

Pour la plupart des gens, avoir une bonne mémoire veut dire être capable de se souvenir clairement de plus d’informations...