\documentclass[11pt]{article}  %twoside
%\usepackage{epsf,epsfig}
\usepackage{graphics}
\usepackage{isolatin1}
\usepackage[utf8]{inputenc}

\pagestyle{empty}
\setlength{\unitlength}{2mm}
\sloppy
\def\RR{{\rm I\hspace{-0.50ex}R}}
\def\EE{{\rm I\hspace{-0.50ex}E}}
\def\TITRE{Apprentissage robuste aux distributions: Approche adversariale} 
\def\ENTET{
\noindent\underline{\sc Supervisor}: Mich\`ele Sebag, sebag@lri.fr\\
\underline{\sc Lab}: LRI $-$ CNRS $-$ INRIA $-$ Paris-Sud, U. Paris-Saclay\\
%\underline{\sc Mail}: sebag@lri.fr\\
%\underline{\sc URL}: {\tt http://www.lri.fr/\string~sebag/Stages/Stage\_MAA.pdf}
}
\textwidth 17cm
\hoffset -2.5cm
\voffset -3cm
\textheight 26cm
\begin{document}
\begin{center}
{\Large Stage de Master 2019}\\~\\
{\Large\bf \TITRE}\\~\\
\end{center}
\ENTET~\\
\noindent\underline{\sc Résumé} :\\
Le contexte est celui de l'apprentissage supervisé. Etant donné une base d'entrainement iid selon la distribution $P(x,y)$, on apprend classiquement un modèle $h(x)$ qui minimise la perte ${\cal L}(h(x),y)$ en espérance selon $P(x,y)$. Mais dans plusieurs contextes (apprentissage causal, adaptation de domaine, apprentissage dans des domaines critiques), on souhaite des garanties plus fortes sur la perte du modèle appris. 

Le but du stage est de proposer une formalisation de l'apprentissage robuste, et une solution algorithmique efficace.   \\

\noindent{\bf Objectifs du stage}\\
Idéalement, l'apprentissage aimerait obtenir des modèles de perte minimale en norme infinie:
\[ 
\mbox{Trouver $\hat h$ = arg min$_h$ max}_{x}~ {\cal L }(h(x),y) = ||{\cal L }(h(x),y)||_\infty
\]
La formulation ci-dessus n'est pas effective en raison du bruit des données (la présence de données bruitées peut conduire à une erreur $L_\infty$ arbitrairement grande). 

\noindent{\bf Approche proposée}\\
Cette approche s'inspire des mécanismes adversariaux proposés par Goodfellow et al. [2], et Ganin et al [1]. Formellement, l'approache fait intervenir deux agents. Le premier (agent échantillonnant, AE) agit sur la distribution des données d'entrainement; le second (agent apprenant, AA) apprend un modèle sur les données d'entrainement, dont la qualité est évaluée sur les données de validation (disjointes des données d'entrainement). Le mécanisme proposé pour obtenir et minimiser une approximation de la perte $L_\infty$ correspond à un problème max min: chercher le maximum (pris sur les AE) du minimum (pris sur les AA) de la perte en validation du modele. 

Tel quel, ce mécanisme donne trop d'avantage à l'AE (e.g. il suffirait de retirer toutes les données d'une région de l'espace pour obtenir une perte très mauvaise). On rajoute donc une contrainte supplémentaire, imposant que l'agent échantillonnant ne puisse pas trop s'éloigner de la distribution marginale $P(x)$ des données d'apprentissage. Si $Q(x)$ est la distribution imposée par AE, le critère devient:

\[ \mbox{Trouver } max_{Q} ~min_{R} ~\EE_Q [{\cal L}(y_x^*, \EE_{R(y|x)}[y] )] \mbox {~s.t.~} KL(P||Q) < C \] 

NB: on pourra procéder en considérant que l'échantillonneur définit en fait une pondération (importance sampling) sur les données.


Ce stage demande de très bonnes capacités mathématiques et informatiques (programmation NN en partant de librairies existantes). 

\subsection*{Références}
[1] Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, François Laviolette, Mario Marchand, Victor S. Lempitsky: Domain-Adversarial Training of Neural Networks. (to appear, JMLR 2017).\\

\noindent[2] Ian J. Goodfellow: NIPS 2016 Tutorial: Generative Adversarial Networks. \\

\end{document}
