Doctorant :
Islam BARCHOUCH
Encadrants :
E. Anquetil (eric.anquetil@irisa.fr), Prof. à l’INSA de Rennes, Responsable de l’équipe IntuiDoc.
N. Girard (nathalie.girard@irisa.fr), MC Univ. Rennes 1, équipe IntuiDoc.
Lieu : laboratoire IRISA, IntuiDoc, Rennes
Mots-clés : systèmes tutoriels intelligents, interprétation de documents manuscrits semi-structurés, tablettes orientées stylet, grammaires visuelles, croquis, Intelligence Artificielle, médecine, anatomie, pédagogie, apprentissage.
L’équipe de recherche IntuiDoc (http://www.irisa.fr/intuidoc/) de l’IRISA travaille sur l’analyse et la reconnaissance de tracés et de gestes manuscrits réalisés sur surfaces 2D : tablettes et écrans tactiles. IntuiDoc s’intéresse notamment à la conception de moteur de reconnaissance de formes et aux nouveaux usages autour de l’interaction gestuelle sur des surfaces tactiles. L’équipe s’intéresse aussi aux environnements d’éducation numériques en profitant de la démocratisation des tablettes stylet en classes, avec le pilotage de plusieurs travaux récents sur l’apprentissage de l’écriture manuscrite pour les classes de primaire et de maternelle [4], ou sur la production de schémas géométriques pour les classes de collège [3].
Cette thèse s’inscrit dans le cadre du nouveau projet ANR « SKETCH », financé par l’ANR pour 48 mois.
Cette thèse s’inscrit dans la continuation des travaux de l’équipe liant reconnaissance de formes et systèmes éducatifs en se focalisant sur les croquis d’anatomie pour les étudiants en formation médicale. Ce projet s’appuie sur des études récentes dans ce domaine qui ont démontré que l’introduction d’activités de dessin scientifique dans des cours d’anatomie [5, 6] permettait d’améliorer les performances d’apprentissage des étudiants.
L’objectif de cette thèse est de concevoir un système tutoriel intelligent [7] orienté stylet capable d’interpréter et de superviser la réalisation de croquis à la volée (i.e. au fil de l’élaboration manuscrite).
Le domaine des systèmes tutoriels intelligents est né du couplage de deux domaines : l’intelligence artificielle et l’e-éducation. L’objectif est de modéliser la connaissance experte qui permettra au système d’analyser finement les actions de l’utilisateur, qu’il soit enseignant dans le cadre d’un mode « auteur » (pour la création d’exercices nouveaux), ou étudiant, dans le cadre de la résolution d’exercices. L’analyse de ces actions porte à la fois sur l’analyse des tracés manuscrits semi-structurés, et sur l’analyse de la validité de l’action relativement aux contraintes du problème.
De cet objectif, nous pouvons dégager deux problématiques scientifiques, (i) l’interprétation de schémas manuscrits d’une part, et (ii) la modélisation de la connaissance experte via un système tutoriel intelligent d’autre part.
Interprétation de schémas manuscrits
La reconnaissance de formes fait partie du savoir-faire de l’équipe. Cependant, les croquis d’anatomie sont caractérisés par une plus grande liberté de composition : on parle d’interprétation de schémas manuscrits semi-structurés. Cela implique une tâche d’interprétation beaucoup plus complexe que celles déjà traitées ; le challenge scientifique est donc encore très ouvert.
Cette liberté de composition implique une variabilité des styles de productions. Le défi sera d’inférer de façon dynamique et semi-supervisée des règles de composition grammaticales à partir du croquis de référence de l’enseignant. Ces règles modélisent la structure du document et permettent d’analyser finement les tracés manuscrits de l’étudiant, relativement au schéma de référence. Nous nous baserons pour ce faire sur la grammaire visuelle GMC-PC [2]. Alors qu’habituellement la connaissance grammaticale est définie par des règles explicitées par un expert, il s’agira ici d’étendre le formalisme afin de pouvoir inférer dynamiquement de nouvelles règles à partir d’un schéma.
Cette connaissance grammaticale structurelle sera combinée avec des systèmes d’IA évolutifs de reconnaissance incrémentale [1] capables d’apprendre des formes manuscrites à partir de peu d’exemples, ce qui permettra de s’adapter à différents styles de composition.
Modélisation de la connaissance experte du tuteur
Il est primordial de pouvoir analyser sémantiquement les croquis de l’élève en vue de générer des feedbacks personnalisés et adaptatifs. Pour ce faire, il faudra modéliser la connaissance déclarative, relative au savoir du domaine. Elle peut être représentée sous différentes formes (règles expertes [10], graphes de connaissance [9], contraintes [8], etc.). Cette connaissance, qui devra être dynamique et évolutive, permettra au tuteur de générer des feedbacks de correction dynamiques. L’autre type de connaissance à modéliser sera la connaissance procédurale, relative au savoir-faire du domaine, par la définition d’un environnement de planification permettant de synthétiser des stratégies de résolution, en nous inspirant des travaux sur l’apprentissage de la géométrie [3]. C’est cette formalisation de la connaissance procédurale qui permettra de générer un guidage sur les prochaines étapes de réalisation du croquis.
À ces défis scientifiques viendront s’ajouter des études d’usages avec des enseignants et étudiants en médecine. Ces études seront pilotées par le laboratoire LP3C, partenaire du Projet ANR SKETCH (à travers une autre thèse en psychologie et usages) et auront pour objectif d’évaluer l’efficacité pédagogique du dispositif vis-à-vis de la nature et de la typologie des feedbacks et des guidages qui seront adressés en temps réel à l’étudiant pendant son activité.
Références :
- Almaksour, A. & Anquetil, E. (2011), “Improving premise structure in evolving Takagi-Sugeno neuro-fuzzy classifiers”, Evolving Systems, vol. 2, no. 1, 25–33.
- Macé, S. & Anquetil, E. (2009). Eager interpretation of on-line hand-drawn structured documents: The DALI methodology. Pattern Recognition, Volume 42, Issue 12, 3202-3214.
- Krichen, O., Anquetil, E. & Girard, N. (2020). IntuiGeo: Interactive tutor for online geometry problems resolution on pen-based tablets. European Conference on Artificial Intelligence (ECAI), Santiago de Compostela, Spain, 1842 – 1849.
- Simonnet, D., Anquetil, E. & Bouillon, M. (2017). Multi-Criteria Handwriting Quality Analysis with Online Fuzzy Models. Pattern Recognition, 69, 310-324.
- Alsaid, B., & Bertrand, M. (2016). Students’ memorization of anatomy, influence of drawing. Morphologie, 100(328), 2-6.
- Joewono, M., Karmaya, I. N. M., Wirata, G., Yuliana, Widianti, I. G. A., & Wardana, I. N. G. (2018). Drawing method can improve musculoskeletal anatomy comprehension in medical faculty student. Anatomy & Cell Biology, 51(1), 14-18.
- Nkambou, R., Mizoguchi, R. & Bourdeau, J. (2010). Advances in Intelligent Tutoring Systems, t. 308.
- Mitrovic, A. (2010). Modeling Domains and Students with Constraint-Based Modeling, in: Advances in Intelligent Tutoring Systems, sous ladir. de Roger Nkambou, Jacqueline Bourdeau et Riichiro Mizoguchi, Berlin, Heidelberg : Springer Berlin Heidelberg, 2010, 63-80.
- Yan, j., et al. (2018). A retrospective of knowledge graphs, in: Frontiers of Computer Science 12.1, 55-74.
- Aleven, V. (2010). Rule-Based Cognitive Modeling for Intelligent Tutoring systems, in: Advances in Intelligent Tutoring Systems, sous. sous ladir. de Roger Nkambou, Jacqueline Bourdeau et Riichiro Mizoguchi, Berlin, Heidelberg : Springer
