Cours ISI-11  :  Direction de recherche

"Apprentissage Artificiel et fouille de données"

Dernière mise à jour :  22-Jan-2012

Objectifs du cours :

•  Ce cours vient en complément du cours ISI-03 qui est une introduction aux problèmes et méthodes de l'apprentissage artificiel et de la fouille de données.

•  Il a pour objectif d'approfondir des sujets qui sont à la fois liées à des questions de recherche actuelles et à des domaines d'application actuels ou émergents
•  Etude de méthodes d'apprentissage récentes : SVM et boosting
•  Apprentissage collaboratif
•  Apprentissage en-ligne à partir de flux de données (suivi d'évolution des goûts des clients, adpatation à des environnements changeants, ...)
•  Apprentissage à partir de séquences (prédiction de consommation électrique, prévision de pannes, détection d'intrusion sur un réseau, ...)
•  Apprentissage à partir de données décrites en grandes dimensions (Bio-informatique, recherche d'information sur le web, ...)
•  Analyse de données à partir de données symboliques et numériques

•  Méthode : .
  •  le cours alternera cours magistraux et travaux pratiques
  •  des mini-projets seront à mener à bien par les étudiants en binômes

•  Les débouchés naturels incluent :
  •  Les services d'analyse de données et de prise de décision des entreprises (grandes et PME)
  •  Les départements de recherche et développement des entreprises (Telecom, banques, assurances, secteur bio-médical, ...)
  •  Les laboratoires de recherche publics et privés

Organisation du cours :

• Contrôle :
•  Un mini-projet (Majeure et Mineure)   (Détails à venir)
•  Un rapport de lecture sur des articles (Majeure)
  
  
• Documents :
  • Les transparents du cours accessibles et actualisés sur cette page
  • Le livre (pour ceux qui sont intéressés) "Apprentissage artificiel. Concepts et algorithmes" (2ème édition) (A. Cornuéjols & L. Miclet. Eyrolles, 2010)

Programme prévisionnel :

Propositions de stages :

•  Apprentissage artificiel (Responsable : A. Cornuéjols) :
  
  
  

  Développement de méthodes de fouille de données pour l’analyse de textes.	AgroParisTech, 75005 Paris.
  Extraction automatique de documents cibles en utilisant des techniques d'apprentissage artificiel	AgroParisTech, 75005 Paris.
  Classification précoce de séries temporelles appliquée au ciblage des foyers participant à la pointe de consommation.	Centre de Recherche EDF R&D, 92140 Clamart.
  Evolution of scientic domains: a longitudinal analysis.	ERIC Lab (University of Lyon)
  Segmentation et caractérisation de tâches pigmentaires sur des images multi-spectrales de zone de peau : aide au dépistage de carcinomes de la peau.	Laboratoire GREYC UMR CNRS 6072, Caen
  Extraction de règles de conception de cartes d'un corpus de la cartographie.	Laboratoire COGIT de l'IGN à Saint-Mandé, près de Paris.
  Modèles de données auto-adaptatifs et apprenants pour le webmining.	Françin, 10 min de Chambéry en Savoie.
  Détection de concept drift.	Lannion, Bretagne.

  
  

•  Fouille de données (Responsable : Y. Lechevallier) :
  •  A venir

•  Autres :
  •  

Thèmes d'étude bibliographique (à titre indicatif) :

1. Fonctions noyau pour données structurées
   •  Measuring similarity with kernels. Chapter 1 in Predicting Structured Data
     Edited by Gökhan H. Bakir, Thomas Hofmann, Bernhard Schölkopf, Alexander J. Smola, Ben Taskar and S. V. N. Vishwanathan
     MIT Press, 2007
2. Traitement des données non équilibrées
3. Apprentissage distribué
   •  Cheng, Xu and Xu, Ji and Liu Jiangchuan (2010) Hierarchical distributed data classification in wireless sensor networks. Computer Communications.
   • Blum, A., Mitchell, T. (1998) Combining labeled and unlabeled data with co-training. In COLT: Proceedings of the Workshop on Computational Learning Theory, Morgan Kaufmann, 1998, p. 92-110.
   •  Chawla N., Karakoulas G. (2005) Learning From Labeled And Unlabeled Data: An Empirical Study accross Techniques and Domains. In Journal of Artificial Intelligence 23, (2005), pp.331-366.
4. Apprentissage actif
   •  Xing C., Du J. (2008) Active learning with direct query construction. In Proc. of the Int. Conference on Knowledge Discovery in Databases (KDD-98).
   •  Abe Naokiand, Mamitsuka Hiroshi (1998) Query Learning Strategies Using Boosting and Bagging. In Proc. of the Fifteenth International Conference on Machine Learning (ICML-98)
5. Apprentissage à partir de flux de données
   •  Xing, Zhengzheng and Pei, Jian and Keogh, Eamonn (2010) A brief survey on sequence classification. SIGKDD Explorations, vol.12 N° 1.
   •  Scholz Martin and Klinkenberg Ralf (2007) Boosting classifiers for drifting concepts. Intelligent Data Analysis journal, vol.11, No.1, March 2007.
   •  H. Wang, W. Fan, P. S. Yu, and J. Han, “Mining Concept-Drifting Data Streams using Ensemble Classifiers”, Proc. 2003 ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining (KDD'03), Washington, D.C., Aug. 2003, pp.226-235.
6. Règle d’association
   • Edmond H. Wu, Michael K. Ng, Andy M. Yi, and Tony F. Chan “A Clustering Model for Mining Evolving Web User Patterns in Data Stream Environment” (Clustering_evolutif.pdf)
   • Qiankun Zhao, Sourav S. Bhowmick ”Association Rule Mining: A Survey” (Regle-association.pdf).
7. Classification non supervisée
   • Tian Zhang Raghu Ramakrishnan Miron Livny ” BIRCH: An Efficient Data Clustering Method for Very Large” (Clustering_birch.pdf)
   • T. Hastie, R. Tibshirani, G. Walther “Estimating the number of data cluster via le Gap statistic” (gap.pdf)
8. Arbres de décision
   • D. Fournier and B. Cremilleux "Using Impurity and Depth for Decision Trees Pruning" (eis00.pdf)
   • D. Fournier and B. Cremilleux " A Quality Index for Decision Tree Pruning" (kbs_fourcrem.pdf).
9. Apprentissage par méthodes d'ensemble
   • E. Bauer and R. Kohavi "An Empirical Comparison of Voting Classification Algorithms: Bagging, Boosting, and Variants”

Sujets de Mini-Projets (à titre indicatif) :

• Expériences sur les données du répertoire de données de UCI avec une boîte à outils (par exemple Weka)
  Il est demandé de sélectionner quelques bases de données appropriées dans le répertoire UCI et de tester différents systèmes d'apprentissage en examinant comment se comporte les performances (taux d'erreur, matrice de confusion, ...). On testera particulièrement les réseaux de neurones, les SVM (SMO) et les arbres de décision (J48). On testera dans un deuxième temps l'effet du boosting sur ces systèmes et sur ces bases de données. On cherchera à déterminer quels sont les systèmes et les bases de données qui conduisent, avec boosting, à une amélioration ou à déterioration des performances. Il est demandé un rapport d'une dizaine de pages décrivant les expériences réalisées, les résultats obtenus et les leçons à tirer.
  

• Traitement d'une base de données de visages (Base de données ORL, Olivetti Research Lab; 400 visages) (voir les données à http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html)
  Il est demandé de tester un ou plusieurs systèmes d'apprentissage sur cette base de données. Vous devrez sélectionner la classe à prédire (par exemple : yeux ouverts ou non, souriant ou non, ...) et étudier comment parvenir au mieux à prédire correctement la classe d'une image.
  Les étudiants rendront un petit rapport d'une dizaine de pages, expliquant le problème étudié, la démarche suivie, les choix effectués (méthode, paramètres, évaluation), les résultats obtenus et les perspectives envisagées.
  

• Mise en place d'un mini-laboratoire sur le boosting
  On développera une application en java ou en Python (ou éventuellement dans un autre langage) démontrant le fonctionnement du boosting sur des données décrites en 2D. L'utilisateur entrera les coordonnées d'exemples en 2D avec leur étiquette ('+' ou '-'). Les classifieurs faibles seront des perceptrons à une couche (séparateurs linéaires). Le logiciel devra permettre de montrer le séparateur choisi à chaque étape, les poids des exemples d'apprentissage et le contour de l'hypothèse composite à chaque étape aussi.
  

• Sujets proposés par Yves Le Chevallier (en .zip)
  Le contacter pour davantage de détails

Sources bibliographiques et url :

Video de conférences :

•  Conférence EGC (26-30 janvier 2009)

Ouvrages :

•  Cornuéjols A. & Miclet L. : Apprentissage artificiel : Concept et algorithmes. Eyrolles, 2ème édition, 2010.
    (L'ouvrage de référence)

•  Mitchell T. : Machine Learning. McGraw Hill, 1997.
    (Un bon livre d'introduction)

•  Cherkassky V. & Mulier F. : Learning from data. Concepts, theory and methods. Wiley Interscience, 1998.
    (Livre moins classique dans son organisation mais très intéressant)

•  Haykin S. : Neural netwoks. A comprehensive foundation. Prentice Hall, 1999.
   (Une somme incroyable)
  

•  Duda, Hart & Stork : Pattern classification (2nd éd.). Wiley-Interscience, 2001.
   (Orienté sur la reconnaissance de formes. Des graphiques exemplaires. Une référence)
  

•  Hastie, Tibshirani & Friedman : The elements of statistical learning. Data mining, inference and prediction. Springer, 2001.
   (Un peu difficile, mais très informatif. Une typographie exemplaire. Un livre technique en couleurs !)

•  Cristianini N. & Shawe-Taylor J. : Support Vectors Machines and other kernel-based learning methods. Cambridge University Press, 2000.

•  Bishop C. : Neural networks for pattern recognition. Clarendon Press, 1995.
   (Un bon livre d'introduction. Orienté vers les réseaux de neurones, mais discute des problèmes importants en apprentissage artificiel)
  

•  Webb A. : Statistical pattern recognition. Arnold, 1999.
   (Un livre d'introduction simple et de bon aloi. Injustement trop peu mentionné)
  

•  http://www.support-vector.net
    (Un point d'entrée sur les machines à vecteurs de support)

•  http://www.ai.univie.ac.at/oefai/ml/ml-resources.html
    (Un site recensant de très nombreuses ressources en Apprentissage Artificiel)