Page de Guillaume Charpiat

Équipe TAU - INRIA Saclay

Chargé de Recherche

in english ?

Depuis 2015 je fais partie de l'équipe TAO/TAU (apprentissage et optimisation), de l'INRIA Saclay.

Bio: J'ai effectué ma thèse en vision par ordinateur, au sein de l'équipe Odyssée, sous la direction d'Olivier Faugeras et de Renaud Keriven. J'ai également passé un an en post-doctorat au Max Planck Institute for Biological Cybernetics, dans l'équipe de Bernhard Schölkopf (apprentissage statistique). En 2008 j'ai rejoint l'équipe Pulsar/Stars (interprétation de vidéos) de l'INRIA Sophia-Antipolis, puis l'équipe TAO/TAU (apprentissage et optimisation) de l'INRIA Saclay en 2015.


Enseignement Séminaires CV et mots-clés Publications Encadrement

• L'apprentissage profond en pratique (au master MVA de l'ENS Paris-Saclay + CentraleSupelec)
  • version 2021
  • versions antérieures: 2020, 2019
• Modèles graphiques: inférence, optimisation et apprentissage discrets (master MVA + CentraleSupelec, 2020+2021); présentation
• Introduction aux réseaux de neurones (en 2018 dans la spécialité M2R Multimedia Networking du master E3A Telecom/Centrale/Paris-Sud)
• Théorie de l'information + Apprentissage par renforcement (donné à Centrale de 2015 à 2018; niveau Master 2)

• Capturing Molecular Conformations with Graph Neural Networks
• Deep Learning for Fluid Mechanics

• Séminaires de l'équipe TAU et du GT Deep Net ainsi que leurs enregistrements vidéos
• Séminaire hebdomadaire de vision [ViST] des équipes Asclepios/Ayin/Morpheme/NeuroMathComp/Stars
• Groupe de travail sur les formes [SWING].

• Actuels
  • Cf les sujets de mes doctorants
  • Théorie de l'apprentissage par réseaux de neurones: auto-adaptation de l'architecture, garanties (dans certains cas), apprentissage d'EDP et de simulations numériques
  • Applications principales: imagerie satellitaire, génétique des populations, conformation des protéines... mais aussi: prédiction météo, imagerie cérébrale, etc.
• Apprentissage, « intelligence artificielle »
  • Concilier apprentissage statistique et modèles « logiques » (ex: apprendre la grammaire, repérer une opération de groupe algébrique)
  • Comment potentiellement tout apprendre, sans imposer de structure prédéfinie ?
• Vision
  • Segmentation d'images et de vidéos
  • Formes (contours d'objets):
    • Structure de l'espace des formes
    • Métriques (distance entre formes, coût des déformations), mise en correspondance de formes
    • Apprentissage depuis/à-valeurs-dans l'espace des formes
• Optimisation
  • Graph cuts
  • Stratégies d'exploration
• Post-doc
  • Apprentissage de correspondances entre images de modalités différentes
    • Colorisation automatique d'images (rapport texture-couleur)
    • Prédiction d'images de tomographie d'après des scans IRM
  • Outils utilisés: méthodes à noyaux, graph-cuts
• Thèse
  • But: segmentation d'images avec a priori sur la forme
  • Méthode: moyenne et statistiques d'images, de courbes (et de surfaces de façon générale)
  • Outils: recalage non rigide, gradient de forme (choix du produit scalaire lors des descentes de gradient)
  • Energies, métriques considérées: distance de Hausdorff, géodésiques, corrélation croisée locale.

• Thèse Statistiques de formes pour la segmentation d'images avec a priori, École doctorale de l'école polytechnique, décembre 2006. [bibtex]
  

• Chapitre Machine Learning Methods for Automatic Image Colorization, avec Ilja Bezrukov, Yasemin Altun, Matthias Hofmann et Bernhard Schölkopf, dans le livre Computational Photography: Methods and Applications, R. Lukac Editor, CRC Press, à paraître bientôt. [bibtex][new results]
  
• Chapitre Kernel methods in medical imaging, avec Matthias Hofmann et Bernhard Schölkopf, dans le livre Biomedical Image Analysis: Methodologies and Applications, N. Paragios, J. Duncan & N. Ayache Editors, chez Springer, 2008. [bibtex]
  
• Chapitre Approximations of Shape Metrics and Application to Shape Warping and Empirical Shape Statistics, avec Olivier Faugeras, Renaud Keriven et Pierre Maurel, dans le livre Statistics and Analysis of Shapes, H. Krim & A. Yezzi Editors, chez Birkhäuser. [bibtex]
  

• Deep learning for population size history inference: design, comparison and combination with approximate Bayesian computation, avec Théophile Sanchez, Jean Cury et Flora Jay, dans Molecular Ecology Resources, MER 2020. [bibtex]
  
• Tropical cyclone track forecasting using fused deep learning from aligned reanalysis data, avec Sophie Giffard-Roisin, Mo Yang, Christina Kumler Bonfanti, Balázs Kégl et Claire Monteleoni, dans Frontiers in Big Data, FBD 2020. [bibtex]
  
• High-Resolution Aerial Image Labeling With Convolutional Neural Networks, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, dans Transactions on Geoscience and Remote Sensing, TGRS 2017. [copie locale] [bibtex]
  
• (Learning Iterative Processes with) Recurrent Neural Networks to Correct Satellite Image Classification Maps, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, dans Transactions on Geoscience and Remote Sensing, TGRS 2016. [copie locale] [bibtex]
  
• Finsler Steepest Descent with Applications to Piecewise-regular Curve Evolution, avec Giacomo Nardi, Gabriel Peyré et François-Xavier Vialard, dans Interfaces and Free Boundaries, IFB 2016. [copie locale] [bibtex]
  
• Convolutional Neural Networks for Large-Scale Remote Sensing Image Classification, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, dans Transactions on Geoscience and Remote Sensing, TGRS 2016. [copie locale] [bibtex]
  
• Spatio-Temporal Video Segmentation with Shape Growth or Shrinkage Constraint, avec Yuliya Tarabalka, Ludovic Brucker et Björn H. Menze, dans Transactions on Image Processing, TIP 2014. [copie locale] [bibtex]
  
• Multiple Birth and Cut Algorithm for Multiple Object Detection, avec Ahmed Gamal Eldin, Xavier Descombes et Josiane Zerubia, dans le Journal of Multimedia Processing and Technologies, JMPT 2011. [bibtex]
  
• MRI-Based Attenuation Correction for PET/MRI: A Novel Approach Combining Pattern Recognition and Atlas Registration, avec Matthias Hofmann, Florian Steinke, Verena Scheel, Jason Farquhar, Philip Aschoff, Michael Brady, Bernhard Schölkopf et Bernd J. Pichler, dans la revue Journal of Nuclear Medicine, Volume 49, Numéro 11, Novembre 2008, JNM 2008. [bibtex]
  
• Generalized Gradients: Priors on Minimization Flows, avec Pierre Maurel, Jean-Philippe Pons, Renaud Keriven et Olivier Faugeras, dans la revue International Journal of Computer Vision, Volume 73, Numéro 3, Juillet 2007, IJCV 2007. [bibtex]
  
• Approximations of Shape Metrics and Application to Shape Warping and Empirical Shape Statistics, avec Olivier Faugeras et Renaud Keriven, dans la revue Foundations of Computational Mathematics, FoCM 2004. [bibtex]
  

• Variational, geometric, and statistical methods for modeling brain anatomy and function, avec Olivier Faugeras, Geoffray Adde, Christophe Chefd'Hotel, Maureen Clerc, Thomas Deneux, Rachid Deriche, Gerardo Hermosillo, Renaud Keriven, Pierre Kornprobst, Jan Kybic, Christophe Lenglet, Lucero Lopez-Perez, Théo Papadopoulo, Jean-Philippe Pons, Florent Ségonne, Bertrand Thirion, David Tschumperlé, Thierry Viéville et Nicolas Wotawa, dans la revue Neuroimage, 23S1:S46-S55, 2004. Note: Special issue: Mathematics in Brain Imaging - Edited by P.M. Thompson, M.I. Miller, T. Ratnanather, R.A. Poldrack and T.E. Nichols. [bibtex]
  

• Interpreting a Penalty as the Influence of a Bayesian Prior, avec Pierre Wolinski et Yann Ollivier, 2020. [bibtex]
  
• Asymmetrical Scaling Layers for Stable Network Pruning, avec Pierre Wolinski et Yann Ollivier, 2020.
  
• Training recurrent networks online without backtracking, avec Yann Ollivier et Corentin Tallec, invité pour présentation (poster) au Deep Learning Symposium, NIPS 2015. [bibtex]
  

• CAMUS: A Framework to Build Formal Specifications for Deep Perception Systems Using Simulators, avec Julien Girard-Satabin, Zakaria Chihani et Marc Schoenauer, Twenty-fourth European Conference on Artificial Intelligence ECAI 2020. [bibtex][code]
  
• Input similarity from the neural network perspective, avec Nicolas Girard, Loris Felardos et Yuliya Tarabalka, Thirty-third Conference on Neural Information Processing Systems NeurIPS 2019. [code][suppl.mat.][original version][bibtex]
  
• Noisy Supervision for Correcting Misaligned Cadaster Maps without Perfect Ground-Truth Data, avec Nicolas Girard et Yuliya Tarabalka, International Geoscience and Remote Sensing Symposium IGARSS 2019. [copie locale] [bibtex]
  
• Deep Learning for Hurricane Track Forecasting from Aligned Spatio-temporal Climate Datasets avec Sophie Giffard-Roisin, Mo Yang, Balázs Kégl et Claire Monteleoni, Modeling and decision-making in the spatiotemporal domain workhop at NIPS 2018. [copie locale] [bibtex]
  
• Aligning and Updating Cadaster Maps with Aerial Images by Multi-Task, Multi-Resolution Deep Learning avec Nicolas Girard et Yuliya Tarabalka, Asian Conference on Computer Vision ACCV 2018. [code source] [copie locale] [bibtex]
  
• Multimodal image alignment through a multiscale chain of neural networks with application to remote sensing avec Armand Zampieri, Nicolas Girard et Yuliya Tarabalka, European Conference on Computer Vision ECCV 2018. [copie locale] [bibtex]
  
• The 2018 Climate Informatics Hackathon: Hurricane Intensity Forecast avec Sophie Giffard-Roisin, David Gagne, Alexandre Boucaud, Balázs Kégl, Mo Yang et Claire Monteleoni, Climate Informatics CI 2018. [copie locale] [bibtex] [challenge et code associé]
  
• Fused Deep Learning for Hurricane Track Forecast from Reanalysis Data avec Sophie Giffard-Roisin, Mo Yang, Balázs Kégl et Claire Monteleoni, Climate Informatics CI 2018. [copie locale] [bibtex]
  
• Optimizing deep video representation to match brain activity avec Hugo Richard, Ana Luisa Pinho et Bertrand Thirion, Conference on Cognitive Computational Neuroscience CCN 2018. [copie locale] [bibtex]
  
• Polygonization of remote sensing classification maps by mesh approximation avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Conference on Image Processing ICIP 2017. [copie locale] [bibtex]
  
• High-resolution image classification with convolutional networks, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Geoscience and Remote Sensing Symposium IGARSS 2017. [bibtex]
  
• Can semantic labeling methods generalize to any city? The Inria aerial image labeling benchmark, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Geoscience and Remote Sensing Symposium IGARSS 2017. [copie locale] [benchmark] [bibtex]
  
• Fully Convolutional Neural Networks For Remote Sensing Image Classification, avec Emmanuel Maggiori, Yuliya Tarabalka et Pierre Alliez, International Geoscience and Remote Sensing Symposium IGARSS 2016. [bibtex]
  
• A Nonparametric Model for Brain Tumor Segmentation and Volumetry in Longitudinal MR Sequences, avec Esther Alberts, Yuliya Tarabalka, Thomas Huber, Marc-André Weber, Jan Bauer, Claus Zimmer et Björn H. Menze, Brain Lesions workshop, lors de la International Conference on Medical Image Computing and Computer Assisted Intervention MICCAI BrainLes 2015. [bibtex]
  
• Optimizing Partition Trees for Multi-object Segmentation with Shape Prior, avec Emmanuel Maggiori et Yuliya Tarabalka, British Machine Vision Conference BMVC 2015. [bibtex][supp.mat.]
  
• Improved partition trees for multi-class segmentation of remote sensing images, avec Emmanuel Maggiori et Yuliya Tarabalka, International Geoscience and Remote Sensing Symposium IGARSS 2015. [bibtex]
  
• Multiple Object Tracking by Efficient Graph Partitioning, avec Ratnesh Kumar et Monique Thonnat, Asian Conference on Computer Vision ACCV 2014. [bibtex]
  
• Hierarchical Representation of Videos with Spatio-Temporal Fibers, avec Ratnesh Kumar et Monique Thonnat, Winter Conference on Applications of Computer Vision WACV 2014. [copie locale] [bibtex]
  
• Enforcing Monotonous Shape Growth or Shrinkage in Video Segmentation, avec Yuliya Tarabalka, Ludovic Brucker et Björn H. Menze, British Machine Vision Conference BMVC 2013. [bibtex][C++ code]
  
• An Efficient Optimizer for Simple Point Process Models, avec Ahmed Gamal Eldin, Xavier Descombes et Josiane Zerubia, SPIE Computational Imaging XI, 2013. [bibtex]
  
• A Graph-Cut-based Method for Spatio-Temporal Segmentation of Fire from Satellite Observations, avec Yuliya Tarabalka, International Geoscience and Remote Sensing Symposium IGARSS 2013. [bibtex]
  
• Learning to Match Appearances by Correlations in a Covariance Metric Space, avec Slawomir Bak, Etienne Corvée, François Brémond et Monique Thonnat, European Conference on Computer Vision ECCV 2012. [bibtex]
  
• A Cognitive Vision System for Nuclear Fusion Device Monitoring, avec Vincent Martin, Victor Moncada, Jean-Marcel Travere, Thierry Loarer, François Bremond et Monique Thonnat, International Conference on Computer Vision Systems ICVS 2011. [bibtex]
  
• A Fast Multiple Birth and Cut Algorithm using Belief Propagation, avec Ahmed Gamal Eldin, Xavier Descombes et Josiane Zerubia, International Conference on Image Processing ICIP 2011. [bibtex]
  
• Exhaustive Family of Energies Minimizable Exactly by a Graph Cut, Computer Vision and Pattern Recognition CVPR 2011. [bibtex][C++ code]
  
• Converting Level Set Gradients to Shape Gradients, avec Siqi Chen et Richard J. Radke, European Conference on Computer Vision ECCV 2010. [bibtex][movies]
  
• Learning Shape Metrics based on Deformations and Transport, Second Workshop on Non-Rigid Shape Analysis and Deformable Image Alignment NORDIA 2009, workshop d'ICCV 2009. [bibtex][suppl.mat., en particulier convergence study of Dynamic Time Warping with discretization][poster]
  
• Automatic Image Colorization via Multimodal Predictions, avec Matthias Hofmann et Bernhard Schölkopf, European Conference on Computer Vision ECCV 2008. [bibtex][Linux.exec.code]
  
• MR-Based PET Attenuation Correction: Method and Validation, avec Matthias Hofmann, Florian Steinke, Verena Scheel, Mike Brady, Bernhard Schölkopf et Bernd Pichler, IEEE Nuclear Science Symposium and Medical Imaging Conference NSS-MIC 2007. [bibtex]
  
• Shape Statistics for Image Segmentation with prior, avec Renaud Keriven et Olivier Faugeras, Conference on Computer Vision and Pattern Recognition CVPR 2007. [bibtex]
  
• Designing Spatially Coherent Minimizing Flows for Variational Problems Based on Active Contours, avec Jean-Philippe Pons, Renaud Keriven et Olivier Faugeras, International Conference on Computer Vision ICCV 2005. [bibtex]
  
• Image Statistics based on Diffeomorphic Matching, avec Olivier Faugeras et Renaud Keriven, International Conference on Computer Vision ICCV 2005 [bibtex]. Version plus complète ici (avec une expérience de reconnaissance d'expressions de visages en prime, en collaboration avec Jean-Yves Audibert).
  
• Shape Metrics, Warping and Statistics, avec Olivier Faugeras et Renaud Keriven, Proceedings of the International Conference on Image Processing, ICIP 2003. IEEE Signal Processing Society. [bibtex]
  

• Distance-Based Shape Statistics, avec Pierre Maurel, Renaud Keriven et Olivier Faugeras, IEEE International Conference on Acoustics, Speech, and Signal Processing, Special Session: Statistical Inferences on Nonlinear Manifolds with Applications in Signal and Image Processing (Cet article est essentiellement un résumé de quelques précédents avec en plus un mot sur le laplacien de graphe appliqué aux formes). ICASSP 2006. [bibtex]
  

• Poster au Designing Tomorrow's Category-Level 3D Object Recognition Systems: An International Workshop (septembre 2003)

• Les transparents de ma soutenance de thèse (décembre 2006).
• Présentation orale à ICASSP 2006 sur les statistiques de formes (métriques, gradient de forme, laplacien de graphe).
• Poster présenté à ICCV 2005
• Exposé (en français) (zippé avec les animations) (ou en pdf sans les animations) donné à Dauphine lors de la journée Optimisation de formes et analyse d'images (juin 2005)
• Exposé (in english) donné à Minnéapolis: sur les statistiques d'images, sur les statistiques de courbes planes (novembre 2004)
• Poster au Designing Tomorrow's Category-Level 3D Object Recognition Systems: An International Workshop (septembre 2003)

• Diverses animations (segmentation avec ou sans a priori de forme, évolution obtenue par descente de gradient rigidifiée ou non par changement de produit scalaire, premières déformations caractéristiques associées à une base de visages) présentées lors de ma soutenance de thèse.
• Visages: tous les modes propres associés à une base de données de visages (variations d'intensité et déformations couplées)
• J'ai une page dédiée à l'illustration de mon travail en images et en vidéos, jetez-y un coup d'oeil!

• Doctorants
  • Julien Girard (preuve formelle de réseaux de neurones), en co-direction avec Zakaria Chihani et Marc Schoenauer [2018-]
  • Loris Felardos (réseaux de neurones pour la simulation de la dynamique moléculaire), en co-direction avec Jérôme Hénin et Bruno Raffin [2018-]
  • Nicolas Girard (vectorisation d'images satellitaires à l'aide de réseaux de neurones), en co-encadrement avec Yuliya Tarabalka et Pierre Alliez [2017-]
  • Théophile Sanchez (flexibilité des réseaux de neurones et application en génétique des populations), en co-direction avec Flora Jay et Marc Schoenauer [2017-]
  • Pierre Wolinski (apprentissage de la structure des réseaux de neurones), en co-direction avec Yann Ollivier [2016-]
  • Emmanuel Maggiori (segmentation d'images satellitaires avec a priori de forme), en co-direction avec Yuliya Tarabalka et Pierre Alliez [2015-2017]
  • Ratnesh Kumar (segmentation de vidéos sous forme de fibres pour la reconnaissance d'activités), en co-direction avec Monique Thonnat [2011-2014]
  
  
• Étudiants de Master 2
  • Louis Dumont (réseaux de neurones sur graphes pour générer les conformations moléculaires), en co-direction avec Loris Felardos et Jérôme Hénin [2020]
  • Pierre Jobic (réseaux de neurones invariants par permutation pour la génétique des populations), en co-direction avec Théophile Sanchez et Flora Jay [2020]
  • Andrew Khalel (pan-sharpening à l'aide de réseaux de neurones (fusion d'images de résolutions et de modalités différentes)), en co-direction avec Yuliya Tarabalka [2018]
  • Mo Yang (météo: prédiction de la trajectoire des cyclones), en co-direction avec Claire Monteleoni et Sophie Giffard-Roisin [2018]
  • Hugo Richard (analyse et génération de vidéos avec des réseaux de neurones, avec application en imagerie cérébrale), en co-direction avec Bertand Thirion [2017-2018]
  • Armand Zampieri (recalage d'images satellitaires avec le cadastre), en co-direction avec Yuliya Tarabalka [2017]
  • Théophile Sanchez (génétique des populations), en co-direction avec Flora Jay [2017]
  • Priyanka Mandikal (recalage d'images médicales 3D), en collaboration avec Therapixel [2017]
  • Emmanuel Maggiori (a priori de forme pour la segmentation d'image à l'aide d'arbres binaires de partition), en co-direction avec Yuliya Tarabalka [2014]
  • Kandan Ramakrishnan (suivi de poussières autour d'un plasma dans un réacteur de fusion nucléaire), en co-direction avec Vincent Martin [2011]
  • Ezequiel Cura (stratégies pour la construction automatique de modèles) [2010]
  • Anja Schnaars (segmentation basée sur la texture) [2010]
  
  
• Étudiants de Master 1, L3 ou assimilés
  • Martin Toth (explication de décision prise par un réseau de neurones), en collaboration avec Hossein Khonsari [parcours Centrale 2017-2019]
  • Louis Bethune (suivi de paramécies au microscope motorisé, par apprentissage par renforcement), en collaboration avec Romain Brette [2017]
  • Raphaël Guegan (réseaux de neurones pour l'estimation de la dynamique des foules), en co-direction avec Emanuel Aldea [2017]
  • Etienne Desbois (classification de lésions cutanées), en collaboration avec Hossein Khonsari [2016]
  • Sorana Capalnean (classification de gestes à partir d'une caméra mesurant la profondeur) [2012]
  • Bertrand Simon (dynamique d'un mouvement articulé et reconnaissance de gestes) [2012]
  
  
• Ingénieurs
  • Raphaël Jaiswal (catégorisation de scénarios de conduite), en collaboration avec Renault [2017-2018]
  • Etienne Brame (classification multi-classe d'une grande base de données d'images), en collaboration avec Armadillo dans le cadre du projet Adamme [2017-2018]

• Page illustrée présentant mon travail en images et vidéos
• Ancienne page (DEA, datant de 2002)
• Le psychédélisme inattendu de cos(r²)