Utilisation clinique de la réalité augmentée pour la chirurgie

Scientific Context

Des progrès considérables en médecine ont permis à la chirurgie minimalement invasive de devenir une procédure bien établie pour la chirurgie hépatique considérant ses importants avantages pour les patients comme la diminution des risques d’infection et d’hémorragie et la réduction du temps de rétablissement. Cependant, le champ de vue endoscopique réduit et l’absence de perception tactile font de cette procédure un défi majeur qui nécessite des compétences chirurgicales de pointe. Les techniques de Réalité Augmentée (RA) ont le potentiel de fournir un enrichissement visuel de l’information par la fusion des images intra-opératoires et préopératoires (tumeurs et vaisseaux) afin de guider le chirurgien durant l’opération. Le développement d’un système de Réalité Augmentée complet pour la chirurgie implique la résolution d’un certain nombre de difficultés [Nicolau2011] : (i) mise en place de l’application et détermination de l’alignement initial entre les données per-opératoires et le modèle acquis en préopératoire (ii) Suivi temporel des déformations de l’organe grâce aux déformations visuelles détectées sur l’imagerie per-opératoire. La plupart des applications supposent l’alignement initial réalisé, souvent manuellement, et se concentrent sur la phase (ii) de suivi.

Le problème de suivi des déformations du foie a été abordé par les équipes MAGRIT et MIMESIS en utilisant un modèle biomécanique guidé par l’imagerie laparoscopique acquise avec un endoscope stéréoscopique [Haouchine2013]. Ces travaux très prometteurs ont montré qu’une précision de recalage inférieure à 7mm, donc compatible avec la marge clinique, pouvait être atteinte sur la position de tumeurs à l’intérieur du foie.

La phase d’initialisation reste cependant un verrou de recherche bloquant le déploiement de tels systèmes en clinique. Lors de cette phase per-opératoire, il s’agit de calculer le point de vue de l’endoscope de façon à ce que le modèle de l’organe projeté avec ce point de vue coïncide avec l’organe sur l’image. Le foie étant un organe fortement déformé au moment de l’intervention, la mise en correspondance du modèle préopératoire sur l’image per-opératoire est complexe. Elle est donc dans la plupart des travaux effectuée manuellement via une interface en cherchant à déformer le foie de façon à faire coïncider visuellement au mieux la projection du modèle avec l’image. La difficulté d’apprécier visuellement la bonne superposition entre la projection du modèle et l’image et de comprendre quelles déformations appliquer en 3D pour superposer le modèle sur l’image induit des erreurs importantes au niveau de ce recalage initial qui se répercutent ensuite sur le suivi et sur l’incrustation des informations ajoutées.

Nous nous intéresserons donc dans cette thèse à faciliter la mise en œuvre des systèmes de RA en clinique en nous focalisant sur l’élaboration de dispositifs permettant l’initialisation de tels systèmes. Plusieurs directions de recherche seront suivies visant s’une part à améliorer la mise en correspondance modèle/image et la reconstruction locale du champ opératoire, et d’autre part à obtenir un modèle déformable du foie plus conforme à l’observation clinique en prenant en compte le contexte abdominal (organes avoisinants, modélisation respiratoire, éventuellement cardiaque) et clinique (insufflation de CO2).

Objectives

Nous proposons les principales étapes suivantes :

  • Estimation robuste de la localisation de la caméra endoscopique en fonction des modalités d’acquisition disponibles (contexte monoculaire, stéréoscopique, capteurs 3D). Cette information permet d’incruster l’objet virtuel (tumeur, réseau vasculaire, etc) précisément dans l’image. L’objectif est de rendre robuste la mise en correspondance modèle/image et d’acquérir une carte 3D du champ opératoire pouvant être mise en correspondance avec le modèle de l’organe.

  • Modélisation bio-mécanique contextuelle du foie : l’objectif sera de modéliser les déformations du foie dues à la respiration et à la pression créée par insufflation de CO2 durant l’intervention (pneumopéritoine) afin d’obtenir un modèle réaliste compatible avec le contexte per-opératoire

  • Validation : les méthodes proposées seront évaluées sur des modèles animaux tout d’abord, puis sur patient. Cette validation ne visera pas seulement à évaluer la précision de recalage mais prendra aussi en compte la facilité de mise en œuvre du système par le chirurgien.

Bibliography

[1] Nazim Haouchine, Stéphane Cotin, Igor Peterlik, Jeremie Dequidt, Mario Sanz Lopez, Erwan Kerrien, Marie-Odile Berger. Impact of Soft Tissue Heterogeneity on Augmented Reality for Liver Surgery. IEEE Transactions on Visualisation and Computer Graphics. 2014.

[2] Nazim Haouchine, Jeremie Dequidt, Marie-Odile Berger, Stéphane Cotin. Single View Augmentation of 3D Elastic Objects. International Symposium on Mixed and Augmented Reality (ISMAR), 2014. (conference de rang A+)

[3] Nazim Haouchine, Jérémie Dequidt, Igor Peterlik, Erwan Kerrien, Marie-Odile Berger, Stéphane Cotin. Image-guided Simulation of Heterogeneous Tissue Deformation For Augmented Reality during Hepatic Surgery. ISMAR – IEEE International Symposium on Mixed and Augmented Reality, 2013. (conference de rang A+)

Contact

Stéphane Cotin

Research Director