|
|
|
|
Depuis le milieu des années 90, les réseaux neuronaux multi-couches ont été détrônés par les Machines à Vecteurs Supports (SVM) ; d'une part l'apprentissage de SVM procède en optimisant une fonction quadratique, donc sympathique, et d'autre part les résultats empiriques sont très bons.
Depuis 2006, Yoshua Bengio et Geoffrey Hinton ont proposé un nouveau type de réseaux neuronaux, les réseaux profonds, en s'appuyant sur le fait que les réseaux multi-couches permettent un codage compact de fonctions de décision complexes. Si les architectures profondes ont été dédaignées jusqu'à présent, c'est qu'elles sont trop difficiles à apprendre (multiples optima locaux de mauvaise qualité). La nouveauté des réseaux profonds est de reposer sur un apprentissage facile mais itéré : La première couche cachée se fixe simplement pour but de recoder les entrées ; la seconde couche, de recoder la premiere couche ; après avoir entrainé plusieurs couches cachées, et seulement alors, on apprend la sortie désirée. Cette approche est séduisante, se réfère à Piaget (les compétences avancées sont apprises à partir des compétences simples) et les résultats empiriques obtenus sont impressionnants.
Certains résultats récents (Andrew Ng, Yoshua Bengio) suggèrent qu'il est intéressant de fournir les exemples au réseau dans un certain ordre pédagogique (par exemple, mettre les exemples simples avant les compliqués), pour obtenir de bonnes propriétés de codage. Il s'agit ici de définir un “curriculum” du réseau (dans quel ordre apprendre les éléments de représentation).
Le stage portera sur l'étude des critères sur lesquels fonder un curriculum : comment définir plus simple/plus complexe du point de vue du réseau ?
Ce stage peut être abordé soit sous un angle théorique soit sous un angle algorithmique.
Sous l'angle théorique, le stage s'intéressera aux propriétés d'un réseau profond du point de vue du codage de l'information. Dans cette perspective, un exemple simple pour un codage est tel que son image est loin de l'image des autres exemples, même si les exemples ont été bruités.
Sous l'angle expérimental, le stage étudiera le comportement d'un réseau profond lorsque l'ordre des exemples d'apprentissage obéit à des critères de simplicité donnés.
Les algorithmes de base sont disponibles. Pour ce stage, un goût certain pour la théorie de l'apprentissage et la programmation est nécessaire. Possibilité d'indemnité de stage.
Pointeurs:
This document was translated from LATEX by HEVEA.
