Image, Vision, Apprentissage (IVA)

• Motivation et objectifs généraux du PA
• Cours proposés
  • Listing Répartition Règles Suggestions Descriptif
• Partenaires et positionnement du PA
  • Enseignement Liens autres PA Lien IA-ViC
• Poursuite en 4A
  • Existant Statistiques IP Paris 4A et césures en écoles appliquées
• Domaines d'applications professionnels
• FAQ IVA
  
  
• Lien générique avec les autres PA

Motivation et objectifs généraux du PA

• L'image: ou plus généralement la manipulation et l'interaction avec de données visuelles, graphiques et géométriques.
  
  
• L'intelligence artificielle: avec un focus particulier sur les méthodes d'apprentissages.

La vision, le traitement d'image, ainsi que la modélisation et la synthèse de données visuelles 2D et 3D sont au coeur de nombreuses applications du monde actuel. De l'industrie du loisir et de la création (jeu vidéo, effets visuels, réalité virtuelle et augmentée, art numérique), en passant par la santé (imagerie médicale, biologique, simulation chirurgicale, moléculaire), aux applications analysant de larges quantités de données visuelles (bases d'images, de vidéos, caméras de surveillances, satellite, drones, etc), il est désormais impossible d'imaginer la communication et le raisonnement indépendamment des données géométriques et graphiques.

Les notions principales à la fois théoriques et pratiques accessibles par le biais des cours proposées dans ce parcours incluent: l'analyse et du traitement d'image ainsi que de la vision par ordinateur, l'analyse de données visuelles et génériques à partir de réseaux de neurones convolutifs (deep learning), les méthodes de deep learnings et d'IA génératives sur image et textes, les méthodes de rendus 3D, l'analyse avancée de formes 3D, l'animation de scènes virtuelles interactives, les méthodes classiques et récentes d'intelligence artificielle. L'ensemble de ces sujets ont pour objectif de vous donner les bases nécessaires pour traiter une large gamme de challenges scientifiques actuels incluant, de manière non exhaustive, le développement d'outils et de prise de décision basée sur la vision, l'interaction temps réel avec des données 3D, la fusion entre données virtuelles et réelles, l'amélioration de la modélisation ou de la simulation de formes et phénomènes 3D, la compréhension et l'amélioration des méthodes de génération par IA.

L'ensemble des cours proposés en IVA sont au choix. En fonction de vos intérêts propres et projet professionnel à plus long terme, vous pouvez choisir de plus ou moins vous focaliser sur les thèmes du graphique et de l'apprentissage, ou encore de panacher vos cours sur des domaines globalement variés et généralistes/pluridisciplinaire.
La plupart des cours sont intrinsèquement liés aux thématiques de l'analyse de données, de l'algorithmique efficace, et des mathématiques appliquées (géométrie 3D, optimisation numérique, probabilité). Enfin certains cours sont particulièrement ouverts au développement d'idées créatives et/ou artistique par la mise en place de solutions personnelles lors de projets.

Cours proposés au PA IVA

Listing des cours

Période 1

Période 2

Repartition temporelle

Règles de choix

Règles communes à tous les PA informatique

• Vous devez vous inscrire et suivre 4 modules scientifiques par période.
• Le projet P3A (INF515 et INF515B) peut être suivi en plus des 4 modules - ce choix est optionnel. Le projet ne remplace par contre pas un cours scientifique.
• Suivre au moins un module projet (c-a-d l'indiquer comme EA) par période ou le projet.
  Rem. Une fois que vous avez sélectionné un cours comme EA, vous pouvez sélectionner les autres comme "simple cours" - les modules elligibles EA ne sont pas exclusifs les uns des autres.

Règles spécifiques au parcours IVA

• Il est possible, et même conseillé, de suivre les 4 modules d'images si cette thématique vous intéresse. INF573, INF574, INF584, INF585.
• Ces règles sont sur l'année et non la période (ex. il est possible de suivre 1 module apprentissage en période 1 et aucun en période 2)
• Il est possible de demander (en le justifiant) à suivre d'autres modules hors de cette liste. Mais il faut respecter les règles précédentes.

Suggestion de sous-programmes possibles en fonction de vos intérêts

Visual Computing generalist (defaut)

• P1: INF573, INF574, INF554, MAP553
• P2: INF585, INF584, INF581A, xxx

Data scientist avec background en CV:

• P1: INF573, INF554, INF552, xxx
• P2: INF581A, INF582, INF581, xxx

Jeux vidéo:

• P1: INF573, INF574, INF554, xxx
• P2: INF585, INF584, INF584A, xxx

Art & Science:

• P1: INF573, INF574, INF552, MAP553
• P2: INF585, INF584, xxx, xxx

Création 3D:

• P1: INF574, xxx, xxx, xxx
• P2: INF585, INF584, xxx, xxx

Analyse d'Image et Signal

• P1: INF573, MAP555, INF554, xxx
• P2: INF581A, xxx, xxx, xxx

Robotique:

• P1: INF575 (panache), INF554, xxx, xxx
• P2: INF585, xxx, xxx, xxx

Imagerie Biologique/Médicale:

• P1: INF573, INF554, xxx, xxx
• P2: BIO583 (panache, DS in biological imaging), INF581A, xxx, xxx

Environment et IA:

• P1: MEC557 (panache: ML for climate and energy), INF554, MAP553, xxx
• P2: INF569 (panache), xxx, xxx, xxx

Géométrie et math:

• INF556, INF574, INF550, xxx
• INF562, INF580, MAP562 (panache), xxx

Optimisation algorithmique et prise de décision:

• INF550, INF555, MAP557 (panache), xxx
• INF580, MAP556, INF569 (panache), xxx

Description des cours d'images spécifiques IVA

INF 573 - Image Analysis & Computer Vision

Ce cours a pour objectif d'introduire les approches fondamentales de la représentation, l'analyse, et le traitement d'images 2D.
Les thèmes abordés sont les notions d'optiques et de représentation d'espaces couleurs; d'échantillonnage et de filtrage d'images; d'extraction de charactéristiques sur images et vidéos; segmentation d'images; détection d'objets par deep learning; la mise en correspondance d'image ainsi que la vision stéréo et multivues.

Ce cours est conseillé à tout étudiant souhaitant découvrir l'analyse d'image pour tout type d'application, et est fondamental pour poursuivre en master dans le domaine de la vision.
Les parties pratiques se déroulent en Python et utilisent OpenCV. Un projet est également inclus dans le déroulement du module.

INF 574 - Digital Representation and Analysis of Shapes

Ce cours se focalise sur les approches de représentations et de calculs sur des formes et surfaces 3D.
Le cours présente les différents modèles standards de représentation de surface: modèles paramétriques utilisés typiquement en CAO (Bézier, NURBS), les maillages et leurs subdivisions, et les ensembles de points (données de scanners laser).
Le cours introduit également les méthodes dites de "Geometry Processing", à savoir le calcul robuste de propriétés globales ou locales (distance, courbures, etc.) sur des représentations discrètes tels que des maillages ou des ensembles de points. Ainsi que la mise en correspondance et recalage entre formes 3D.

Ce cours est conseillé à tout étudiant souhaitant comprendre en détail les différentes manières de représenter une forme 3D, et souhaitant poursuivre dans le domaine des représentations 3D ou de la reconstruction par vision.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

INF 585 - Computer Animation

Ce cours présente les modèles d'animation et de simulation de modèles virtuels 3D en temps-réel. Les thèmes abordés sont les méthodes de déformations géométriques interactives, l'animation de personnage, le pipe-line de production dans le contexte professionnel de création au cinéma, la simulation physique d'objets en collisions, la simulation de vêtements, et la simulation de fluides.
Les approches vues dans ce cours s'orientent principalement vers les applications du cinéma d'animation, les effets spéciaux (VFX), et le jeu vidéo.
Le cours est fortement orienté vers les applications pratiques et quasiment l'ensemble des algorithmes présentés en cours seront programmés en séances TP.

Ce cours est conseillé à tout étudiant souhaitant découvrir ou approfondir sa compréhension des méthodes d'animation, de simulation et d'interactions avec les mondes 3D virtuels, ainsi que le lien entre la création artistique et la technique.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement. Pour profiter pleinement du cours et des TP il est recommandé d'avoir suivis un cours d'informatique graphique préalablement (tel que INF443), même si cela n'est pas obligatoire.

INF 584 - Image Synthesis

L'objectif de ce cours est de présenter en détails les méthodes de rendus d'images photoréaliste, et expressif.
Les thèmes abordés concernent l'équation fondamental de transport de la lumière et sa mise en oeuvre par lancé de rayons, les d'effets d'illuminations (ombrage, illumination globales), et les structures accélératrices de calcul d'intersection. Dans un second temps, les méthodes temps-réelles seront également présentés: shaders avancés (ombrage, mutli-texturing, bump mapping, etc.); modélisation de BRDF; rendus expressifs.

Ce cours est conseillé à tout étudiant souhaitant approfondir sa compréhension technique de la création d'images à partir de scène 3D, ainsi que les méthodes utilisés dans les rendus graphiques des jeux vidéos.
Les sessions pratiques se déroulent en C++ et un projet est inclus dans le déroulement.

INF 584A - Real-time AI in Video Games: decisive & collaborative actions

Ce cours orienté application a pour objectif de vous présenter les méthodes d'intelligence artificielles temps-réelles présentes dans les jeux vidéos actuels avec un focus particulier sur la prise de décision et les actions collaboratives des agents.
Les thèmes abordés sont les arbres de décisions et de comportement, machines a états finis hierarchiques; prises des décisions basées règles et logique flous; IA distribuée; méthodes utilisés pour les PNJ. Le module sera largement orienté vers l'application réalisé en TD par l'utilisation d'API de jeux tels que celle de StarCraft. Un concours d'IA collaborative sera mis en oeuvre en fin de TD.

Ce cours est conseillé aux étudiants intéressés par une poursuite dans le domaine du jeu vidéo (capacité limitée à 24 étudiants).
Les sessions pratiques se déroulent principalement en C++, ou d'autres languages de scripts, et par l'utilisation de l'API StarCraft.

Partenaires et positionnement du programme

Equipes enseignantes et collaborateurs

Les enseignements en image et graphiques sont en lien avec les équipes de recherches et entreprises suivantes:

La coordination du programme IVA, et enseignants d'INF574, INF581A et INF585, sont chercheurs dans l'équipe Geometric and Visual Computing du LIX. Il s'agit d'une équipe de recherche en Informatique Graphique et Vision qui traite de problématiques d'analyse, de modélisation et d'animation de formes, vidéos, et phénomènes 3D.

Le cours INF584 est enseigné Tamy Boubekeur, directeur de la recherche 3D & Immersive chez Adobe, et professeur à Telecom Paris.

Le cours INF584A est enseigné par Axel Buendiga, l'un des créateur de l'entreprise SpirOps spécialisé en simulation de comportement d'humains par IA, et enseignant à l'école de jeux vidéos ENJMIN. Ainsi que par David Bilemdjian, directeur technique de l'entreprise de jeux vidéos Pixel Wizards.

Les cours d'apprentissages et d'optimisation du département informatique INF554, INF580, INF581, INF582 sont gérés par des membres de l'équipe DaSCiM (Data Science and Mining) du LIX. Il s'agit d'une équipe spécialisée en classification, analyse de texte, management et indexation de données, et prise de décisions par optimisation mathématique.

Les cours d'apprentissages MAP553, MAP666 du département de mathématiques appliquées sont gérés par des chercheurs du CMAP, membres de l'équipe SIMPAS (Statistique, Apprentissage, Simulation, Image).

Plus généralement, l'école possède des liens avec les structures suivantes qui peuvent vous êtes utiles pour vos projets et aspirations liés aux thèmes d'IVA.

Une chaire d'enseignement et de recherche (ScienceXGames) est établie entre Ubisoft et Polytechnique sur le thème des "Sciences dans les Jeux Vidéo". Cette chaire permet d'avoir à l'école un Game Lab de manière permanente, dont les membres peuvent vous aider sur des projets ayant attrait aux jeu vidéo: Développeur jeux vidéo, Game Design, Artiste, Gestion de projet. Ubisoft, ainsi que le Game Lab, propose également régulièrement des sujets de projets P3A dans le contexte du jeu vidéo.
Le cours INF584A est notamment réalisé en coordination avec le Game Lab.

Le X-F4B, FabLab de l'école polytechnique, est à votre disposition pour vous aider dans vos projets nécessitant du prototypage. Le FabLab dispose de nombreux types d'imprimantes 3D, mais également de quoi fraiser, découper, graver, coudre, etc. Différents logiciels de conception, et simulation, ainsi que du matériel de VR/AR est à disposition. Les responsables du FabLab pourront se synchroniser avec vous afin de vous apporter la formation nécessaire sur les machines et logiciels.

Positionnement par rapport aux autres PA

• Efficient Algorithms and Foundations of Programming Languages - partage une partie des cours d'images. Ce dernier est davantage focalisé sur l'algorithmique (INF560, INF561), alors que le programme IVA proposera à la place des cours d'apprentissage.
  
  
• Artificial Intelligence and Scalable Data Science - partage une partie des cours d'apprentissage. Ce dernier intègre davantage les cours de bases de données (INF553, INF583), alors que le programme IVA propose à la place des cours d'images.

Relation avec le Master AI-ViC

Le MSc&T AI-ViC (Master of Science and Technology in Artificial Intelligence and advanced Visual Computing) est un master international sur 2 ans dont le diplome est délivré par l'école Polytechnique. Ce master est ouvert à vous ainsi qu'aux étudiants internationaux sélectionnés sur dossiers.

Les cours de la première année du Master s'appuient en totalité sur un sous-ensemble de cours proposés en P3A IVA. Dans ces cours, vous êtes en commun, sans distinction de programme ni d'évaluation. Le profil des étudiants inscrits en IVA et ceux de la 1ère année du master seront donc similaires, et mixtes entre image, graphique, et apprentissage.
Si vous êtes intéressés par les thèmes du master, vous avez le choix entre faire IVA en 3A, puis faire postuler en deuxième année du master pour votre 4A, ou vous inscrire dans le master dès la 3A (Voir FAQ sur les différences entre ces deux choix).

D'une manière générale, vous bénéficiez de l'intérêt des entreprises et instituts partenaires du Master (Google, IDEMIA, Enedis, Inria) dans les thèmes communs couverts par IVA.

Poursuite en 4A

• Les Masters et MSc&T sélectifs Français
  • MVA - Mathématiques, Vision, Apprentissage (Paris Saclay)
  • AI-ViC - Artificial Intelligence and advanced Visual Computing (Polytechnique)
  • IGD - Interaction Graphique Design (IPP)
  • DataIA - Data and Artificial Intelligence (IPP)
  • MPRI/AFP - Algorithmique et Fondements de la Programmation (IPP et Paris Saclay)
  • IMA - IMV - Imagerie du Vivant (Sorbonne Université)
  • FIIL - Fondements de l'informatique et ingénierie du logiciel (Paris Saclay)
  • ...
    
    
• Une dernière année en école d'ingénieur Française
  • Telecom Paris
  • Mines ParisTech
  • Ponts ParisTech
  • ENSIMAG
  • ENSIEE
  • ...
  
  
• Une formation de Master of Sciences dans une Université étrangère
  • ETH Zurich
  • Berkeley
  • Shangai Jiao Tong University
  • Columbia
  • EPFL
  • Stanford
  • ...

=> Voir les statistiques détaillées des choix d'étudiants IVA des années passées.

Masters IP Paris

• M2 IGD: Interaction, Graphic & Design
• M2 DataIA

4A et césures avec des écoles appliquées

• Master/4A de l'ENJMIN - pour une spécialisation en jeux vidéo (Game Design, Concepteur Graphique, Sonore, Programmeur, Ergonomie UX/UI, Chef de projet).
  
  
• Césure aux Gobelins - pour une découverte du secteur du cinéma d'animation, design graphique et motion design, ou jeux vidéos.
  
  
• Césure à l'ENS Louis Lumière - pour une découverte du secteur de la création cinématographique et photographie.
  
  

Domaines d'applications professionnels

Les applications et principes des cours du programme IVA, typiquement en image, graphique et apprentissage, peuvent vous permettre une introduction à différents domaines d'applications que vous pouvez envisager de poursuivre dans votre projet professionnel.

Voici un listing qui vous permet de vous donner des idées. Ce listing n'est évidemment pas exclusif au programme IVA, et n'est pas exhaustif non plus.

Loisirs numériques et artistiques

• Le jeu vidéo
• Le cinéma d'animation
• Les effets spéciaux/visuels (VFX)
• Les applications multimédias
• Les arts créatifs numériques, Art/Science

L'immersion et l'interaction entre monde virtuel et réel

• Conception d'experience immersive, video mapping
• La réalité virtuelle et augmentée
• Les scanners 3D optiques, lasers, la motion capture
• Les serious games, Metaverse

La création digital, design, simulation, et fabrication

• Outils de design numérique
• Fabrication 3D: additive, découpe laser
• La Conception Assistée par Ordinateur (CAO - automobile, aéronotique, etc)

L'imagerie en sciences naturelles

• Imagerie médicale, biologique, satellitaire, astronomique, radar, etc.
• La visualisation et la simulation en sciences physiques.

La prise de décision avec des données visuelles

• La robotique, les véhicules autonomes, les drones, etc.
• Les applications des GAFA: images/vidéos, etc.
• La reconnaissance d'objets, faciale, le tracking
• La défense

FAQ IVA