|
|
|
|
Depuis le milieu des années 90, les réseaux neuronaux multi-couches ont été détrônés par les Machines à Vecteurs Supports (SVM), dont l'apprentissage repose sur l'optimisation d'une fonction quadratique.
Depuis 2006, Yoshua Bengio et Geoffrey Hinton ont proposé un nouveau type de réseaux neuronaux, les réseaux profonds, se fondant sur le fait que le codage de fonctions complexes requiert une architecture profonde pour passer à l'échelle.
La difficulté des architectures neuronales profondes est de définir un problème d'optimisation mal posé, et d'aboutir à de multiples optima locaux de mauvaise qualité. Ce verrou a été levé dans le cadre des réseaux profonds, entrainés couche par couche par apprentissage non-supervisé : chaque couche se fixe uniquement pour but d'apprendre à coder la couche précédente.
Le but du post-doc est d'étudier l'influence des critères de codage dans les performances des réseaux profonds. Le stage de post-doc est proposé pour deux périodes de 12 mois ; un investissement de deux ans se justifie pour assimiler le cadre formel et obtenir des résulats théoriques.
Le travail proposé se situe dans le cadre du contrat ANR ASAP, visant notamment la compréhension fine des propriétés de représentation d'un réseau profond dans le cadre de la vision ou de la parole.
En lien avec les trois autres membres de l'équipe concernés par ASAP, et avec les équipes partenaires, le post-doc sera chargé de la réalisation, de la validation et de l'analyse de réseaux profonds fondés sur l'empilement d'auto-associateurs.
Un objectif concerne l'évaluation de la qualité d'une couche neuronale d'un point de vue non supervisé, en s'inspirant des notions de base de la théorie de l'information. Une telle évaluation devra permettre de régler de manière itérative les hyper-paramètres du réseau (nombre et taille des couches).
Profil:
This document was translated from LATEX by HEVEA.
