Page de Guillaume Charpiat

Équipe TAU - INRIA Saclay

Chargé de Recherche

in english ?

Depuis 2015 je fais partie de l'équipe TAO/TAU (apprentissage et optimisation), de l'INRIA Saclay. J'ai effectué ma thèse en traitement d'images, au sein de l'équipe Odyssée, sous la direction d'Olivier Faugeras et de Renaud Keriven. J'ai également passé un an en post-doctorat au Max Planck Institute for Biological Cybernetics, dans l'équipe de Bernhard Schölkopf (apprentissage statistique). En 2008 j'ai rejoint l'équipe Pulsar/Stars (interprétation de vidéos) de l'INRIA Sophia-Antipolis.

J'ai une page dédiée à l'illustration de mon travail en images et en vidéos, jetez-y un coup d'oeil!

• L'apprentissage profond en pratique (au master MVA en 2019, avec Édouard Oyallon)
• Introduction aux réseaux de neurones (en 2018 dans la spécialité M2R Multimedia Networking du master E3A Telecom/Centrale/Paris-Sud)
• Cours d'introduction à l'apprentissage II (théorie de l'information + apprentissage par renforcement) donné à Centrale de 2015 à 2018 (niveau Master 2)

• Poste d'ingénieur (CDD) pour la maintenance d'un cluster de cartes GPUs et de sa plateforme logicielle de deep learning

• Séminaires de l'équipe TAU et du GT Deep Net ainsi que leurs enregistrements vidéos
• Séminaire hebdomadaire de vision [ViST] des équipes Asclepios/Ayin/Morpheme/NeuroMathComp/Stars
• Groupe de travail sur les formes [SWING].

• Actuels
  • Apprentissage, intelligence artificielle
    • Concilier apprentissage statistique et modèles « logiques » (ex: apprendre la grammaire, repérer une opération de groupe algébrique)
    • Théorie des réseaux de neurones: apprentissage de la structure (architecture globale et structuration interne du réseau)
    • Comment potentiellement tout apprendre, sans imposer de structure prédéfinie ?
    • Evolutivité, créativité
  • Vision
    • Segmentation d'images et de vidéos
    • Formes (contours d'objets):
      • Structure de l'espace des formes
      • Métriques (distance entre formes, coût des déformations), mise en correspondance de formes
      • Apprentissage depuis/à-valeurs-dans l'espace des formes
  • Optimisation
    • Graph cuts
    • Stratégies d'exploration
• Post-doc
  • Apprentissage de correspondances entre images de modalités différentes
    • Colorisation automatique d'images (rapport texture-couleur)
    • Prédiction d'images de tomographie d'après des scans IRM
  • Outils utilisés: méthodes à noyaux, graph-cuts
• Thèse
  • But: segmentation d'images avec a priori sur la forme
  • Méthode: moyenne et statistiques d'images, de courbes (et de surfaces de façon générale)
  • Outils: recalage non rigide, gradient de forme (choix du produit scalaire lors des descentes de gradient)
  • Energies, métriques considérées: distance de Hausdorff, géodésiques, corrélation croisée locale.

• Thèse Statistiques de formes pour la segmentation d'images avec a priori, École doctorale de l'école polytechnique, décembre 2006. [bibtex]
  

• Chapitre Machine Learning Methods for Automatic Image Colorization, avec Ilja Bezrukov, Yasemin Altun, Matthias Hofmann et Bernhard Schölkopf, dans le livre Computational Photography: Methods and Applications, R. Lukac Editor, CRC Press, à paraître bientôt. [bibtex][new results]
  
• Chapitre Kernel methods in medical imaging, avec Matthias Hofmann et Bernhard Schölkopf, dans le livre Biomedical Image Analysis: Methodologies and Applications, N. Paragios, J. Duncan & N. Ayache Editors, chez Springer, 2008. [bibtex]
  
• Chapitre Approximations of Shape Metrics and Application to Shape Warping and Empirical Shape Statistics, avec Olivier Faugeras, Renaud Keriven et Pierre Maurel, dans le livre Statistics and Analysis of Shapes, H. Krim & A. Yezzi Editors, chez Birkhäuser. [bibtex]
  

• High-Resolution Aerial Image Labeling With Convolutional Neural Networks, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, dans Transactions on Geoscience and Remote Sensing, TGRS 2017. [copie locale] [bibtex]
  
• (Learning Iterative Processes with) Recurrent Neural Networks to Correct Satellite Image Classification Maps, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, dans Transactions on Geoscience and Remote Sensing, TGRS 2016. [copie locale] [bibtex]
  
• Finsler Steepest Descent with Applications to Piecewise-regular Curve Evolution, avec Giacomo Nardi, Gabriel Peyré et François-Xavier Vialard, dans Interfaces and Free Boundaries, IFB 2016. [copie locale] [bibtex]
  
• Convolutional Neural Networks for Large-Scale Remote Sensing Image Classification, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, dans Transactions on Geoscience and Remote Sensing, TGRS 2016. [copie locale] [bibtex]
  
• Spatio-Temporal Video Segmentation with Shape Growth or Shrinkage Constraint, avec Yuliya Tarabalka, Ludovic Brucker et Björn H. Menze, dans Transactions on Image Processing, TIP 2014. [copie locale] [bibtex]
  
• Multiple Birth and Cut Algorithm for Multiple Object Detection, avec Ahmed Gamal Eldin, Xavier Descombes et Josiane Zerubia, dans le Journal of Multimedia Processing and Technologies, JMPT 2011. [bibtex]
  
• MRI-Based Attenuation Correction for PET/MRI: A Novel Approach Combining Pattern Recognition and Atlas Registration, avec Matthias Hofmann, Florian Steinke, Verena Scheel, Jason Farquhar, Philip Aschoff, Michael Brady, Bernhard Schölkopf et Bernd J. Pichler, dans la revue Journal of Nuclear Medicine, Volume 49, Numéro 11, Novembre 2008, JNM 2008. [bibtex]
  
• Generalized Gradients: Priors on Minimization Flows, avec Pierre Maurel, Jean-Philippe Pons, Renaud Keriven et Olivier Faugeras, dans la revue International Journal of Computer Vision, Volume 73, Numéro 3, Juillet 2007, IJCV 2007. [bibtex]
  
• Approximations of Shape Metrics and Application to Shape Warping and Empirical Shape Statistics, avec Olivier Faugeras et Renaud Keriven, dans la revue Foundations of Computational Mathematics, FoCM 2004. [bibtex]
  

• Variational, geometric, and statistical methods for modeling brain anatomy and function, avec Olivier Faugeras, Geoffray Adde, Christophe Chefd'Hotel, Maureen Clerc, Thomas Deneux, Rachid Deriche, Gerardo Hermosillo, Renaud Keriven, Pierre Kornprobst, Jan Kybic, Christophe Lenglet, Lucero Lopez-Perez, Théo Papadopoulo, Jean-Philippe Pons, Florent Ségonne, Bertrand Thirion, David Tschumperlé, Thierry Viéville et Nicolas Wotawa, dans la revue Neuroimage, 23S1:S46-S55, 2004. Note: Special issue: Mathematics in Brain Imaging - Edited by P.M. Thompson, M.I. Miller, T. Ratnanather, R.A. Poldrack and T.E. Nichols. [bibtex]
  

• Training recurrent networks online without backtracking, avec Yann Ollivier et Corentin Tallec, invité pour présentation (poster) au Deep Learning Symposium, NIPS 2015. [bibtex]
  

• Deep Learning for Hurricane Track Forecasting from Aligned Spatio-temporal Climate Datasets avec Sophie Giffard-Roisin, Mo Yang, Balázs Kégl et Claire Monteleoni, Modeling and decision-making in the spatiotemporal domain workhop at NIPS 2018. [copie locale] [bibtex]
  
• Aligning and Updating Cadaster Maps with Aerial Images by Multi-Task, Multi-Resolution Deep Learning avec Nicolas Girard et Yuliya Tarabalka, Asian Conference on Computer Vision ACCV 2018. [code source] [copie locale] [bibtex]
  
• Multimodal image alignment through a multiscale chain of neural networks with application to remote sensing avec Armand Zampieri, Nicolas Girard et Yuliya Tarabalka, European Conference on Computer Vision ECCV 2018. [copie locale] [bibtex]
  
• The 2018 Climate Informatics Hackathon: Hurricane Intensity Forecast avec Sophie Giffard-Roisin, David Gagne, Alexandre Boucaud, Balázs Kégl, Mo Yang et Claire Monteleoni, Climate Informatics CI 2018. [copie locale] [bibtex] [challenge et code associé]
  
• Fused Deep Learning for Hurricane Track Forecast from Reanalysis Data avec Sophie Giffard-Roisin, Mo Yang, Balázs Kégl et Claire Monteleoni, Climate Informatics CI 2018. [copie locale] [bibtex]
  
• Optimizing deep video representation to match brain activity avec Hugo Richard, Ana Luisa Pinho et Bertrand Thirion, Conference on Cognitive Computational Neuroscience CCN 2018. [copie locale] [bibtex]
  
• Polygonization of remote sensing classification maps by mesh approximation avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Conference on Image Processing ICIP 2017. [copie locale] [bibtex]
  
• High-resolution image classification with convolutional networks, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Geoscience and Remote Sensing Symposium IGARSS 2017. [bibtex]
  
• Can semantic labeling methods generalize to any city? The Inria aerial image labeling benchmark, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Geoscience and Remote Sensing Symposium IGARSS 2017. [copie locale] [benchmark] [bibtex]
  
• Fully Convolutional Neural Networks For Remote Sensing Image Classification, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Geoscience and Remote Sensing Symposium IGARSS 2016. [bibtex]
  
• A Nonparametric Model for Brain Tumor Segmentation and Volumetry in Longitudinal MR Sequences, avec Esther Alberts, Yuliya Tarabalka, Thomas Huber, Marc-André Weber, Jan Bauer, Claus Zimmer et Björn H. Menze, Brain Lesions workshop, lors de la International Conference on Medical Image Computing and Computer Assisted Intervention MICCAI BrainLes 2015. [bibtex]
  
• Optimizing Partition Trees for Multi-object Segmentation with Shape Prior, avec Emmanuel Maggiori et Yuliya Tarabalka, British Machine Vision Conference BMVC 2015. [bibtex]
  
• Improved partition trees for multi-class segmentation of remote sensing images, avec Emmanuel Maggiori et Yuliya Tarabalka, International Geoscience and Remote Sensing Symposium IGARSS 2015. [bibtex]
  
• Multiple Object Tracking by Efficient Graph Partitioning, avec Ratnesh Kumar et Monique Thonnat, Asian Conference on Computer Vision ACCV 2014. [bibtex]
  
• Hierarchical Representation of Videos with Spatio-Temporal Fibers, avec Ratnesh Kumar et Monique Thonnat, Winter Conference on Applications of Computer Vision WACV 2014. [copie locale] [bibtex]
  
• Enforcing Monotonous Shape Growth or Shrinkage in Video Segmentation, avec Yuliya Tarabalka, Ludovic Brucker et Björn H. Menze, British Machine Vision Conference BMVC 2013. [bibtex][C++ code]
  
• An Efficient Optimizer for Simple Point Process Models, avec Ahmed Gamal Eldin, Xavier Descombes et Josiane Zerubia, SPIE Computational Imaging XI, 2013. [bibtex]
  
• A Graph-Cut-based Method for Spatio-Temporal Segmentation of Fire from Satellite Observations, avec Yuliya Tarabalka, International Geoscience and Remote Sensing Symposium IGARSS 2013. [bibtex]
  
• Learning to Match Appearances by Correlations in a Covariance Metric Space, avec Slawomir Bak, Etienne Corvée, François Brémond et Monique Thonnat, European Conference on Computer Vision ECCV 2012. [bibtex]
  
• A Cognitive Vision System for Nuclear Fusion Device Monitoring, avec Vincent Martin, Victor Moncada, Jean-Marcel Travere, Thierry Loarer, François Bremond et Monique Thonnat, International Conference on Computer Vision Systems ICVS 2011. [bibtex]
  
• A Fast Multiple Birth and Cut Algorithm using Belief Propagation, avec Ahmed Gamal Eldin, Xavier Descombes et Josiane Zerubia, International Conference on Image Processing ICIP 2011. [bibtex]
  
• Exhaustive Family of Energies Minimizable Exactly by a Graph Cut, Computer Vision and Pattern Recognition CVPR 2011. [bibtex][C++ code]
  
• Converting Level Set Gradients to Shape Gradients, avec Siqi Chen et Richard J. Radke, European Conference on Computer Vision ECCV 2010. [bibtex][movies]
  
• Learning Shape Metrics based on Deformations and Transport, Second Workshop on Non-Rigid Shape Analysis and Deformable Image Alignment NORDIA 2009, workshop d'ICCV 2009. [bibtex][suppl.mat.][poster]
  
• Automatic Image Colorization via Multimodal Predictions, avec Matthias Hofmann et Bernhard Schölkopf, European Conference on Computer Vision ECCV 2008. [bibtex][Linux.exec.code]
  
• MR-Based PET Attenuation Correction: Method and Validation, avec Matthias Hofmann, Florian Steinke, Verena Scheel, Mike Brady, Bernhard Schölkopf et Bernd Pichler, IEEE Nuclear Science Symposium and Medical Imaging Conference NSS-MIC 2007. [bibtex]
  
• Shape Statistics for Image Segmentation with prior, avec Renaud Keriven et Olivier Faugeras, Conference on Computer Vision and Pattern Recognition CVPR 2007. [bibtex]
  
• Designing Spatially Coherent Minimizing Flows for Variational Problems Based on Active Contours, avec Jean-Philippe Pons, Renaud Keriven et Olivier Faugeras, International Conference on Computer Vision ICCV 2005. [bibtex]
  
• Image Statistics based on Diffeomorphic Matching, avec Olivier Faugeras et Renaud Keriven, International Conference on Computer Vision ICCV 2005 [bibtex]. Version plus complète ici (avec une expérience de reconnaissance d'expressions de visages en prime, en collaboration avec Jean-Yves Audibert).
  
• Shape Metrics, Warping and Statistics, avec Olivier Faugeras et Renaud Keriven, Proceedings of the International Conference on Image Processing, ICIP 2003. IEEE Signal Processing Society. [bibtex]
  

• Distance-Based Shape Statistics, avec Pierre Maurel, Renaud Keriven et Olivier Faugeras, IEEE International Conference on Acoustics, Speech, and Signal Processing, Special Session: Statistical Inferences on Nonlinear Manifolds with Applications in Signal and Image Processing (Cet article est essentiellement un résumé de quelques précédents avec en plus un mot sur le laplacien de graphe appliqué aux formes). ICASSP 2006. [bibtex]
  

• Poster au Designing Tomorrow's Category-Level 3D Object Recognition Systems: An International Workshop (septembre 2003)

• Rapport de recherche ENPC sur la segmentation d'images avec a priori sur la forme. Article accepté à CVPR 2007.
• Rapport de recherche sur une généralisation des gradients à des produits scalaires divers et sur une extension de la notion de gradients afin de poser des a priori sur les champs de déformation (début 2006).
• Rapport de recherche ENPC Images Statistics based on Diffeomorphic Matching (février 2005)
• Rapport de recherche INRIA Approximations of shape metrics and application to shape warping and empirical shape statistics (mai 2003)

• Les transparents de ma soutenance de thèse (décembre 2006).
• Présentation orale à ICASSP 2006 sur les statistiques de formes (métriques, gradient de forme, laplacien de graphe).
• Poster présenté à ICCV 2005
• Exposé (en français) (zippé avec les animations) (ou en pdf sans les animations) donné à Dauphine lors de la journée Optimisation de formes et analyse d'images (juin 2005)
• Exposé (in english) donné à Minnéapolis: sur les statistiques d'images, sur les statistiques de courbes planes (novembre 2004)
• Poster au Designing Tomorrow's Category-Level 3D Object Recognition Systems: An International Workshop (septembre 2003)

• Diverses animations (segmentation avec ou sans a priori de forme, évolution obtenue par descente de gradient rigidifiée ou non par changement de produit scalaire, premières déformations caractéristiques associées à une base de visages) présentées lors de ma soutenance de thèse.
• Visages: tous les modes propres associés à une base de données de visages (variations d'intensité et déformations couplées)
• J'ai une page dédiée à l'illustration de mon travail en images et en vidéos, jetez-y un coup d'oeil!

• Doctorants
  • Julien Girard (preuve formelle de réseaux de neurones), en co-direction avec Zakaria Chihani et Marc Schoenauer [2018-]
  • Loris Felardos (réseaux de neurones pour la simulation de la dynamique moléculaire), en co-direction avec Jérôme Hénin et Bruno Raffin [2018-]
  • Théophile Sanchez (flexibilité des réseaux de neurones et application en génétique des populations), en co-direction avec Flora Jay et Marc Schoenauer [2017-]
  • Pierre Wolinski (apprentissage de la structure des réseaux de neurones), en co-direction avec Yann Ollivier [2016-]
  • Emmanuel Maggiori (segmentation d'images satellitaires avec a priori de forme), en co-direction avec Yuliya Tarabalka et Pierre Alliez [2015-2017]
  • Ratnesh Kumar (segmentation de vidéos sous forme de fibres pour la reconnaissance d'activités), en co-direction avec Monique Thonnat [2011-2014]
  
  
• Étudiants de Master 2
  • Andrew Khalel (pan-sharpening à l'aide de réseaux de neurones (fusion d'images de résolutions et de modalités différentes)), en co-direction avec Yuliya Tarabalka [2018]
  • Mo Yang (météo: prédiction de la trajectoire des cyclones), en co-direction avec Claire Monteleoni et Sophie Giffard-Roisin [2018]
  • Hugo Richard (analyse et génération de vidéos avec des réseaux de neurones, avec application en imagerie cérébrale), en co-direction avec Bertand Thirion [2017-2018]
  • Armand Zampieri (recalage d'images satellitaires avec le cadastre), en co-direction avec Yuliya Tarabalka [2017]
  • Théophile Sanchez (génétique des populations), en co-direction avec Flora Jay [2017]
  • Priyanka Mandikal (recalage d'images médicales 3D), en collaboration avec Therapixel [2017]
  • Emmanuel Maggiori (a priori de forme pour la segmentation d'image à l'aide d'arbres binaires de partition), en co-direction avec Yuliya Tarabalka [2014]
  • Kandan Ramakrishnan (suivi de poussières autour d'un plasma dans un réacteur de fusion nucléaire), en co-direction avec Vincent Martin [2011]
  • Ezequiel Cura (stratégies pour la construction automatique de modèles) [2010]
  • Anja Schnaars (segmentation basée sur la texture) [2010]
  
  
• Étudiants de Master 1
  • Raphaël Guegan (réseaux de neurones pour l'estimation de la dynamique des foules), en co-direction avec Emanuel Aldea [2017]
  • Sorana Capalnean (classification de gestes à partir d'une caméra mesurant la profondeur) [2012]
  • Bertrand Simon (dynamique d'un mouvement articulé et reconnaissance de gestes) [2012]
  
  
• Étudiants de L3 ou assimilés
  • Martin Toth (explication de décision prise par un réseau de neurones), en collaboration avec Hossein Khonsari [parcours Centrale 2017-2019]
  • Etienne Desbois (classification de lésions cutanées), en collaboration avec Hossein Khonsari [2016]
  
  
• Ingénieurs
  • Raphaël Jaiswal (catégorisation de scénarios de conduite), en collaboration avec Renault [2017-2018]
  • Etienne Brame (classification multi-classe d'une grande base de données d'images), en collaboration avec Armadillo dans le cadre du projet Adamme [2017-2018]