Français Anglais
Accueil Annuaire Plan du site
Accueil > Production scientifique > Thèses et habilitations
Production scientifique
Doctorat de

Doctorat
Equipe : Apprentissage et Optimisation

Meta-Learning en tant que Processus de décision Markovien

Début le 01/10/2016
Direction : GUYON, Isabelle

Ecole doctorale : ED STIC 580
Etablissement d'inscription : Université Paris-Sud

Lieu de déroulement : LRI- Amphithéâtre du Bâtiment 660

Soutenue le 19/12/2019 devant le jury composé de :
M. Nicolas Thiéry, Professeur, LRI, Université Paris-Sud, France | Président
Mme Cécile Capponi, Maîtresse de Conférences HDR, Université d'Aix-Marseille, France | Rapporteur
M. Daniel Silver, Professeur, Acadia University, Canada | Rapporteur
M. Hugo Jair Escalante, Professeur, Instituto Nacional de Astrofisica, Optica y Electronica, Mexique | Examinateur
M. Joaquin Vanschoren, Professeur, Eindhoven University of Technology, Pays-Bas | Examinateur

Activités de recherche :

Résumé :
L'apprentissage automatique (ML) a connu d'énormes succès ces dernières années et repose sur un nombre toujours croissant d'applications réelles. Cependant, la conception d'algorithmes prometteurs pour un problème spécifique nécessite toujours un effort humain considérable. L'apprentissage automatique (AutoML) a pour objectif de sortir l'homme de la boucle. AutoML est généralement traité comme un problème de sélection d'algorithme / hyper-paramètre. Les approches existantes incluent l'optimisation Bayésienne, les algorithmes évolutionnistes et l'apprentissage par renforcement. Parmi eux, auto-sklearn, qui intègre des techniques de meta-learning à l'initialisation de la recherche, occupe toujours une place de choix dans les challenges AutoML. Cette observation a orienté mes recherches vers le domaine du meta-learning. Cette orientation m'a amené à développer un nouveau cadre basé sur les processus de décision Markovien (MDP) et l'apprentissage par renforcement (RL).
Après une introduction générale, mon travail de thèse commence par une analyse approfondie des résultats du Challenge AutoML. Cette analyse a orienté mon travail vers le meta-learning, menant tout d'abord à proposer une formulation d'AutoML en tant que problème de recommandation, puis à formuler une nouvelle conceptualisation du problème en tant que MDP. Dans le cadre du MDP, le problème consiste à remplir de manière aussi rapide et efficace que possible une matrice S de meta-learning, dans laquelle les lignes correspondent aux tâches et les colonnes aux algorithmes. Un élément de matrix S(i,j) est la performance de l'algorithme j appliqué à la tâche i. La recherche efficace des meilleures valeurs dans S nous permet d'identifier rapidement les algorithmes les mieux adaptés à des tâches données. Après avoir examiné le cadre classique d'optimisation des hyper-paramètres, nous introduisons une première approche de meta-learning, ActivMetaL, qui combine des techniques d'apprentissage actif et de filtrage collaboratif pour prédire les valeurs manquantes dans S. Nos dernières recherches appliquent RL au problème du MDP défini pour apprendre une politique efficace d'exploration de S. Nous appelons cette approche REVEAL et proposons une analogie avec une série de jeux pour permettre de visualiser les stratégies des agents pour révéler progressivement les informations.
Les principaux résultats de mon projet de thèse sont :
- Sélection HP / modèle : j'ai exploré la méthode Freeze-Thaw et optimisé l'algorithme pour entrer dans le challenge AutoML 2015-2016, obtenant la 3ème place du tour final.
- ActivMetaL : j'ai conçu un nouvel algorithme pour le meta-learning actif et l'ai comparé à d'autres méthodes de base sur des données réelles et artificielles. Cette étude a démontré qu'ActivMetaL est généralement capable de découvrir le meilleur algorithme plus rapidement que les méthodes de base.
- REVEAL : j'ai développé une nouvelle conceptualisation du meta-learning en tant que processus de décision Markovien et je l'ai intégrée dans le cadre plus général des jeux REVEAL. Avec un stagiaire en master, j'ai développé des agents qui apprennent (avec l'apprentissage par renforcement) à prédire le meilleur algorithme à essayer.
Le travail présenté dans ma thèse est de nature empirique. Plusieurs méta-données du monde réel ont été utilisées dans cette recherche. Des méta-données artificielles et semi-artificielles sont également utilisées dans mon travail. Les résultats indiquent que RL est une approche viable de ce problème, bien qu'il reste encore beaucoup à faire pour optimiser les algorithmes et les faire passer à l'échelle aux problèmes de meta-learning plus vastes.