Semi-supervised Learning of Mixture Models and Bayesian Networks
Cozman&al.
Apprentissage semi-supervisé de modèles de mélange et de réseaux bayésiens

Résumé

Ce papier s'intéresse à l'effet de l'ajout de données non étiquetées pour l'apprentissage de modèles de mélange. Il est montré par une analyse mathématque que l'ajout de données non étiquetées peut éventuelemment augmenter l'erreur de classification du modèle apppris. On montre que cette dégradation provient de l'erreur de biais.

Introduction

?	trop grand optimisme de certains quant à l'apport de données non étiquetées
?	certaines expériences montrent que l'ajout de données non étiquetées peut être néfaste
?	positions diverses

Section 2

Les auteurs posent ici les notations et hypothèses d'un problème d'apprentissage semi-supervisé d'un classificateur bayésien. On rappelle notamment la distinction entre la variance (erreur d'estimation) et le biais (erreur d'approximation).

Section 3

Etat de l'art sur l'utilisation de données non étiquetées :
?	il n'est pas forcément vrai que l'ajout de données non étiquetées améliore la performance du classificateur.
?	il existe résultats théoriques positifs sur l'utilisation de données non étiquetées : les exemples non étiquetés sont utilisés pour estimer les régions de décision, les exemples étiquetés pour déterminer les étiquettes de chaque région. Ce résultat est obtenu en faisant l'hypothèse que le modèle est correct

Section 4

Analyse mathématique aboutissant aux résultats :
1)	les données (étiquetées ou non) aboutissent toujours à réduire la variance d'un apprentissage semi-supervisé
2)	quand le modèle est correct, les deux réduisent l'erreur de classification en réduisant la variance (car en ce cas l'erreur de biais est nulle)
3)	quand le modèle est incorrect, l'augmentation des données non étiquetées peut conduire à une erreur de classification plus grande (due au biais)

Illustration sur un exemple simple.
En question : rigueur de l'analyse mathématique faite ici, limitation au comportement asymptotique.

Section 5 

Retour sur quelques systèmes d'apprentissage semi-supervisé de réseaux bayésiens.
On montre que les résultats contradictoires obtenus (ex : [Baluja98] obtenant des résultats positifs aussi bien que négatifs lors de l'ajout de données non étiquetées) peuvent s'expliquer par l'analyse précédente.

Section 6 (Conclusion)

Contribution de cet article : dégradation des performances avec ajout de donnés non étiquetées provient du biais seul.
Bémols : 	- cadre limité (bayésien, modèle génératif..+autres hypthèses)
		- résultat très général
Suite : trouver conditions nécessaires et suffisantes pour la dégradation, prcésier l'effet du biais, que faire s'il existe un biais, autres cadres d'apprentissage.

Mon avis

Cet article a le mérite de tenter une explication un minimum théorique aux résultats divergents. Néanmoins, le résultat est très général et il faudrait se pencher au moins dans un cadre d'apprentissage défini sur ce que peuvent être les erreurs de modèle. Quel rôle joue le rapport entre quantité de données étiquetées et complexité du modèle ? Quelles sont les conséquences pour l'annotation de corpus en TALN ?