Image, Vision, Apprentissage (IVA)

• Motivation et objectifs généraux du PA
• Cours proposés
  • Listing Répartition Règles Descriptif
• Partenaires et positionnement du PA
  • Enseignement Liens autres PA Lien IA-ViC
• Poursuite en 4A
  • Existant Statistiques IP Paris 4A et césures en écoles appliquées
• Domaines d'applications professionnels
• FAQ IVA
  
  
• Liens externes
  • Lien générique avec les autres PA
  • Channel slack DIX dédiée au programme

Motivation et objectifs généraux du PA

• L'image: ou plus généralement la manipulation et l'interaction avec de données visuelles, graphiques et géométriques.
  
  
• L'intelligence artificielle: avec un focus particulier sur les méthodes d'apprentissages.

La vision, le traitement d'image, ainsi que la modélisation et la synthèse de données visuelles 2D et 3D sont au coeur de nombreuses applications du monde actuel. De l'industrie du loisir et de la création (jeu vidéo, effets visuels, réalité virtuelle et augmentée, art numérique), en passant par la santé (imagerie médicale, biologique, simulation chirurgicale, moléculaire), aux applications analysant de larges quantités de données visuelles (bases d'images, de vidéos, caméras de surveillances, satellite, drones, etc), il est désormais impossible d'imaginer la communication et le raisonnement indépendamment des données géométriques et graphiques.

Les notions principales à la fois théoriques et pratiques accessibles par le biais des cours proposées dans ce parcours incluent: les bases de l'analyse et du traitement d'image ainsi que de la vision par ordinateur, l'analyse de données visuelles et génériques à partir de réseaux de neurones convolutifs (deep learning), les méthodes de rendus 3D, l'analyse avancée de formes 3D, l'animation de scènes virtuelles interactives, les méthodes classiques et récentes d'intelligence artificielle. L'ensemble de ces sujets ont pour objectif de vous donner les bases nécessaires pour traiter une large gamme de challenges scientifiques actuels incluant, de manière non exhaustive, le développement d'outils et de prise de décision basée sur la vision, l'interaction temps réel avec des données 3D, la fusion entre données virtuelles et réelles, l'amélioration de la modélisation ou de la simulation de formes et phénomènes 3D.

L'ensemble des cours proposés en IVA sont au choix. En fonction de vos intérêts propres et projet professionnel à plus long terme, vous pouvez choisir de plus ou moins vous focaliser sur les thèmes du graphique et de l'apprentissage, ou encore de panacher vos cours sur des domaines globalement variés et généralistes.
La plupart des cours sont intrinsèquement liés aux thématiques de l'analyse de données, de l'algorithmique efficace, et des mathématiques appliquées (géométrie 3D, optimisation numérique, probabilité). Les modules notés EA possèdent une large part d'application en TD et vous permettent d'acquérir de manière générale de l'expérience en programmation logicielle et calcul efficace. Enfin certains cours sont particulièrement ouverts au développement d'idées créatives et de mise en place de solutions personnelles lors de projets.

• Nous contacter: Slack DIX #x3a-track-iva, ou par mail.
  • Damien Rohmer: damien.rohmer@polytechnique.edu
  • Maks Ovsjanikov: maks@lix.polytechnique.fr
• Pensez également à regarder la FAQ IVA qui recense des questions classiques.

Cours proposés au PA IVA

Listing des cours

Période 1

Période 2

Repartition temporelle

Règles de choix

Règles communes à tous les PA informatique

• Vous devez vous inscrire et suivre 4 modules par période.
• Le projet P3A (ici INF515) peut être suivi en plus des 4 modules - ce choix est optionnel. Le projet ne remplace pas un cours.
• Suivre au moins un module projet (c-a-d l'indiquer comme EA) par période ou le projet.
  Rem. Une fois que vous avez sélectionné un cours comme EA, vous pouvez sélectionner les autres comme "simple cours" - les modules elligibles EA ne sont pas exclusifs les uns des autres.

Règles spécifiques au parcours IVA

• Il est possible, et même conseillé, de suivre les 4 modules d'images si cette thématique vous intéresse. INF573, INF574, INF584, INF585.
• Ces règles sont sur l'année et non la période (ex. il est possible de suivre 2 modules images en période 1 et aucun en période 2)
• Il est possible de demander (en le justifiant) à suivre d'autres modules hors de cette liste. Mais il faut respecter les règles précédentes.

Cours supplémentaires

• BIO583 - Sciences des données en imagerie biologique
• INF560 - Algorithmique parallèle et distribuée
• INF561 - Randomization in Computer Science: Games, Networks, Epidemic and Evolution
• MAP583 - Deep learning
• MAP585 - Théorie de l'apprentissage

Description des cours d'images spécifiques IVA

INF 573 - Image Analysis & Computer Vision

Ce cours a pour objectif d'introduire les approches fondamentales de la représentation, l'analyse, et le traitement d'images 2D.
Les thèmes abordés sont les notions d'optiques et de représentation d'espaces couleurs; d'échantillonnage et de filtrage d'images; d'extraction de charactéristiques sur images et vidéos; segmentation d'images; détection d'objets par deep learning; la mise en correspondance d'image ainsi que la vision stéréo et multivues.

Ce cours est conseillé à tout étudiant souhaitant découvrir l'analyse d'image pour tout type d'application, et est fondamental pour poursuivre en master dans le domaine de la vision.
Les parties pratiques se déroulent en C++, et utilisent OpenCV. Un projet est également inclus dans le déroulement du module.

INF 574 - Digital Representation and Analysis of Shapes

Ce cours se focalise sur les approches de représentations et de calculs sur des formes et surfaces 3D.
Le cours présente les différents modèles standards de représentation de surface: modèles paramétriques utilisés typiquement en CAO (Bézier, NURBS), les maillages et leurs subdivisions, et les ensembles de points (données de scanners laser).
Le cours introduit également les méthodes dites de "Geometry Processing", à savoir le calcul robuste de propriétés globales ou locales (distance, courbures, etc.) sur des représentations discrètes tels que des maillages ou des ensembles de points. Ainsi que la mise en correspondance et recalage entre formes 3D.

Ce cours est conseillé à tout étudiant souhaitant comprendre en détail les différentes manières de représenter une forme 3D, et souhaitant poursuivre dans le domaine des représentation 3D ou de la reconstruction par vision.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

INF 585 - Computer Animation

Ce cours a pour objectif de faire découvrir et implémenter les méthodes classiques d'animation de modèles virtuels 3D en temps-réel. Les approches vues dans ce cours s'orientent principalement vers les applications du cinéma d'animation, les effets visuels, et le jeu vidéo.
Les thèmes abordés sont le pipe-line de production dans le contexte professionnel de création au cinéma, les méthodes de déformations géométriques de l'espace, l'animation de personnage articulés, et les simulations temps-réelles d'objets solides et déformables tels que la gestion de collisions, l'animation de vêtements, et la simulation de fluides.

Ce cours est conseillé à tout étudiant souhaitant approfondir sa compréhension des méthodes d'animation et d'interactions avec les mondes 3D virtuels, ainsi que le lien entre la création artistique et la technique.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement. Pour profiter pleinement du cours et des TP il est recommandé d'avoir suivis INF443 préalablement.

INF 584 - Image Synthesis

L'objectif de ce cours est de présenter en détails les méthodes de rendus d'images photoréaliste, et expressif.
Les thèmes abordés concernent l'équation fondamental de transport de la lumière et sa mise en oeuvre par lancé de rayons, les d'effets d'illuminations (ombrage, illumination globales), et les structures accélératrices de calcul d'intersection. Dans un second temps, les méthodes temps-réelles seront également présentés: shaders avancés (ombrage, mutli-texturing, bump mapping, etc.); modélisation de BRDF; rendus expressifs.

Ce cours est conseillé à tout étudiant souhaitant approfondir sa compréhension technique de la création d'images à partir de scène 3D, ainsi que les méthodes utilisés dans les rendus graphiques des jeux vidéos.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

INF 584A - Real-time AI in Video Games: decisive & collaborative actions

Ce cours orienté application a pour objectif de vous présenter les méthodes d'intelligence artificielles temps-réelles présentes dans les jeux vidéos actuels avec un focus particulier sur la prise de décision et les actions collaboratives des agents.
Les thèmes abordés sont les arbres de décisions et de comportement, machines a états finis hierarchiques; prises des décisions basées règles et logique flous; IA distribuée; méthodes utilisés pour les PNJ. Le module sera largement orienté vers l'application réalisé en TD par l'utilisation d'API de jeux tels que celle de StarCraft. Un concours d'IA collaborative sera mis en oeuvre en fin de TD.

Ce cours est conseillé aux étudiants intéressés par une poursuite dans le domaine du jeu vidéo (capacité limitée à 24 étudiants).
Les sessions pratiques se déroulent principalement en C++, ou d'autres languages de scripts, et par l'utilisation de l'API StarCraft.

Partenaires et positionnement du programme

Equipes enseignantes et collaborateurs

Les enseignements en image et graphiques sont en lien avec les équipes de recherches et entreprises suivantes:

Les coordinateurs du programme IVA, et enseignants d'INF574 et INF585, sont chercheurs dans l'équipe Geometric and Visual Computing du LIX. Il s'agit d'une équipe de recherche en Informatique Graphique qui traite de problématiques d'analyse, de modélisation et d'animation de formes et phénomènes 3D.

Le cours INF584 est enseigné par le directeur de la recherche 3D & Immersive chez Adobe, et professeur à Telecom Paris.

Les cours d'apprentissages et d'optimisation du département informatique INF554, INF580, INF581, INF582 sont gérés par des membres de l'équipe DaSCiM (Data Science and Mining) du LIX. Il s'agit d'une équipe spécialisée en classification, analyse de texte, management et indexation de données, et prise de décisions par optimisation mathématique.

Les cours d'apprentissages MAP569, MAP666 du département de mathématiques appliquées sont gérés par des chercheurs du CMAP, membres de l'équipe SIMPAS (Statistique, Apprentissage, Simulation, Image).

Plus généralement, l'école possède des liens avec les structures suivantes qui peuvent vous êtes utiles pour vos projets et aspirations liés aux thèmes d'IVA.

Le X-F4B, FabLab de l'école polytechnique, est à votre disposition pour vous aider dans vos projets nécessitant du prototypage. Le FabLab dispose de nombreux types d'imprimantes 3D, mais également de quoi fraiser, découper, graver, coudre, etc. Différents logiciels de conception, et simulation, ainsi que du matériel de VR/AR est à disposition. Les responsables du FabLab pourront se synchroniser avec vous afin de vous apporter la formation nécessaire sur les machines et logiciels.

Une chaire d'enseignement et de recherche (ScienceXGames) est établie entre Ubisoft et Polytechnique sur le thème des "Sciences dans les Jeux Vidéo". Cette chaire permet d'avoir à l'école un Game Lab de manière permanente, dont les membres peuvent vous aider sur des projets ayant attrait aux jeu vidéo: Développeur jeux vidéo, Game Design, Artiste, Gestion de projet. Ubisoft, ainsi que le Game Lab, propose également régulièrement des sujets de projets P3A dans le contexte du jeu vidéo.
Le cours INF584A est réalisé en coordination avec le Game Lab, et par le biais d'intervenants de l'ENJMIN et d'Isart Digital, et des entreprises SpirOPS et Pixel Wizards.

Le C-19 est un cluster du jeu vidéo de la région Essonne avec lequel l'Ecole Polytechnique est associée. Ce cluster regroupe un ensemble de startups (pépinière d'entreprises) liées au secteur de la RV/AR, HPC, IA, jeu vidéo et jeu sérieux. Il dispose pour cela de locaux et de matériel de réalité virtuelle (CAVE, casques, etc.), ainsi que de serveurs de calculs pour du HPC et de l'apprentissage. Les ressources de ce cluster se situent à Evry, dans les locaux de l'ENSIIE, et peuvent vous aider de manière générale dans vos projets: projets, encadrement, matériel, etc.

Positionnement par rapport aux autres PA

• Algorithmics and efficiency - partage une partie des cours d'images. Ce dernier est davantage focalisé sur l'algorithmique (INF560, INF561), alors que le programme IVA proposera à la place des cours d'apprentissage.
  
  
• Data Science - partage une partie des cours d'apprentissage. Ce dernier intègre davantage les cours de bases de données (INF553, INF583), alors que le programme IVA propose à la place des cours d'images.

Relation avec le Master AI-ViC

Le MSc&T AI-ViC (Master of Science and Technology in Artificial Intelligence and advanced Visual Computing) est un master international sur 2 ans dont le diplome est délivré par l'école Polytechnique. Ce master est ouvert à vous ainsi qu'aux étudiants internationaux sélectionnés sur dossiers.

Les cours de la première année du Master s'appuient en totalité sur un sous-ensemble de cours proposés en P3A IVA. Dans ces cours, vous êtes en commun, sans distinction de programme ni d'évaluation. Le profil des étudiants inscrits en IVA et ceux de la 1ère année du master seront donc similaires, et mixtes entre image, graphique, et apprentissage.
Si vous êtes intéressés par les thèmes du master, vous avez le choix entre faire IVA en 3A, puis faire postuler en deuxième année du master pour votre 4A, ou vous inscrire dans le master dès la 3A (Voir FAQ sur les différences entre ces deux choix).

D'une manière générale, vous bénéficiez de l'intérêt des entreprises et instituts partenaires du Master (Google, IDEMIA, Enedis, Inria) dans les thèmes communs couverts par IVA.

Poursuite en 4A

• Les Masters et MSc&T sélectifs Français
  • MVA - Mathématiques, Vision, Apprentissage
  • AI-ViC - Artificial Intelligence and advanced Visual Computing
  • IGD - Interaction Graphique Design
  • Data-IA - Data and Artificial Intelligence
  • MPRI/AFP - Algorithmique et Fondements de la Programmation
  • IMA - IMV - Imagerie du Vivant
  • FIIL - Fondements de l'informatique et ingénierie du logiciel
  • ...
    
    
• Une dernière année en école d'ingénieur Française
  • Telecom Paris
  • Mines ParisTech
  • Ponts ParisTech
  • ENSIMAG
  • ENSIEE
  • ...
  
  
• Une formation de Master of Sciences dans une Université étrangère
  • ETH Zurich
  • Berkeley
  • Shangai Jiao Tong University
  • Columbia
  • EPFL
  • Stanford
  • ...

=> Voir les statistiques détaillées des choix d'étudiants IVA des années passées.

Masters IP Paris

• M2 IGD: Interaction, Graphic & Design
• M2 DataIA

4A et césures avec des écoles appliquées

• Master/4A de l'ENJMIN - pour une spécialisation en jeux vidéo (Game Design, Concepteur Graphique, Sonore, Programmeur, Ergonomie UX/UI, Chef de projet).
  
  
• Césure aux Gobelins - pour une découverte du secteur du cinéma d'animation, design graphique et motion design, ou jeux vidéos.
  
  
• Césure à l'ENS Louis Lumière - pour une découverte du secteur de la création cinématographique et photographie.
  
  

Domaines d'applications professionnels

Les applications et principes des cours du programme IVA, typiquement en image, graphique et apprentissage, peuvent vous permettre une introduction à différents domaines d'applications que vous pouvez envisager de poursuivre dans votre projet professionnel.

Voici un listing qui vous permet de vous donner des idées. Ce listing n'est évidemment pas exclusif au programme IVA, et n'est pas exhaustif non plus.

• Les applications de loisirs au sens large tels que
  • Le jeu vidéo
  • Le cinéma d'animation
  • Les effets visuels (VFX)
  • La réalité virtuelle et augmentée
  • Les applications multimédias
• L'immersion et l'interaction entre monde virtuel et réel
  • Les arts créatifs numériques art/science
  • La réalité virtuelle et augmentée
  • Les scanners 3D optiques, lasers, la motion capture
  • Les serious games, et simulateurs
• La création, design, et fabrication
  • Outils de design numérique
  • Fabrication 3D: additive, découpe laser
  • La CAO
• Les sciences naturelles
  • L'imagerie médicale, biologique, satellitaire, astronomique, radar, etc.
  • Les modélisation pour la santé.
  • La visualisation et la simulation en sciences physiques.
• La prise de décision avec des données visuelles
  • La robotique, les véhicules autonomes, les drones, etc.
  • Les applications des GAFA: bases de données d'images, de vidéos, de trajectoires, etc.
  • La reconnaissance d'objets, faciale, le tracking
  • La défense

FAQ IVA