Bridging the Gap between Radiology and Biology with Deep Learning in Head and Neck Cancer
Combler l’écart entre radiologie et biologie par apprentissage profond pour les cancers ORL
Résumé
The treatment of head and neck cancer remains a press- ing challenge in the realm of oncology. Particularly, the precise targeting in radiotherapy demands a thorough un- derstanding of the Gross Tumor Volume (GTV). However, with the persistent issue of interobserver variability and in- accuracy in GTV demarcation due to the low quality of available image acquisitions, the necessity for better tools and methodologies becomes paramount. It underscores the need for integrating diverse data sources for a comprehen- sive understanding of the tumor’s spatial extent and bio- logical characteristics.Histology and radiology, while both essential in onco- logical diagnostics, offer multi-scale information about the tumor whose synergy is often under-exploited. While radi- ology provides a macroscopic view, capturing the tumor’s overall structure, size, and location, histology delves into the microscopic, elucidating cellular and tissue-level de- tails. The granularity and precision of histological data, juxtaposed with the broader perspectives of radiological im- agery, advocate for their fusion, which can potentially rev- olutionize our understanding of tumor characteristics and their spatial distribution.Registration stands as a pivotal technique to bridge these modalities embedding multiscale information. By aligning histological slides spatially with their correspond- ing radiological scans, registration facilitates a direct pixel- wise comparison. However, this task is highly technical due to the substantial differences between these modalities and the extreme deformations that the tissue undergoes from in vivo acquisition to a tissue slide from ex vivo resected spec- imen. Our deep learning method StructuRegNet emerged as our answer to the challenges of this alignment, harness-ing rigid structures like cartilage to progressively guide the mapping. By automating this traditionally manual task, we set the foundation for a seamless integration of histological and radiological insights.With the capabilities provided by StructuRegNet, di- rect comparisons between both modalities became feasible, especially in assessing the GTV and its delineation on histo- logical data. This comparison revealed systematic overes- timations in conventional GTV definitions. Building upon this finding, we introduced a diffusion-based segmentation model tailored for histological labels on CT scans. Given that these labels are of superior quality, the model could sidestep the pitfalls encountered by previous models focused solely on GTV. This approach illuminated the path towards histopathology-enhanced GTV and introduced the concept of ambiguous delineations, hinting at the potential of non- binary volumetric dose painting in radiotherapy.Shifting from spatial to feature-level fusion, the SMuRF framework was introduced. Instead of merely relying on spatial correlations, SMuRF operates at a deeper level, fo- cusing on the inherent features and patterns within the data. Through this advanced fusion leveraging cutting-edge computer vision and deep learning methods, we achieved notable successes in predicting cancer grade and survival, outperforming traditional monomodal methods.In summary, this research underscores the transforma- tive potential of integrating histological and radiological data, augmented by artificial intelligence, in refining head and neck cancer radiotherapy. By fusing macroscopic and microscopic insights, the work paints a promising picture of individualized, precision-driven oncology treatments for the future.
La prise en charge des cancers ORL est un défi majeur en oncologie. Le ciblage précis de la tumeur et la protection des organes voisins en radiothérapie nécessitent une compréhension approfondie et un contourage exact du Volume Tumoral Macroscopique (GTV en anglais). Cependant, la variabilité inter-observateur et les difficultés de délimitation dues à la qualité souvent insuffisante de l'imagerie médicale disponible soulignent l'urgence de disposer d'outils et de méthodes améliorés. L'intégration de diverses sources de données et modalités pour mieux comprendre l'étendue spatiale et les caractéristiques biologiques de la tumeur semble une solution prometteuse.L'histologie et la radiologie, clés pour le diagnostic, offrent des informations multi-échelles de la tumeur dont la synergie est souvent sous-exploitée. Alors que la radiologie donne une vue macroscopique sur la structure, la taille et la localisation globales de la tumeur, l'histologie permet une analyse microscopique, élucidant les détails cellulaires et morphologiques des tissus. La fusion de ces deux modalités pourrait révolutionner notre compréhension de l'environnement tumoral et de son hétérogénéité.Le recalage, ou mise en correspondance spatiale, est crucial pour relier ces modalités. En déformant les lames histologiques sur leurs scans radiologiques correspondants, le recalage permet une comparaison directe entre chaque voxel. Cependant, cette tâche est très complexe à cause des différences notables entre les deux modalités et les déformations tissulaires entre l'acquisition in vivo et la lame histologique issu de la pièce chirurgicale ex vivo. Nous introduisons ici un modèle d'apprentissage profond nommé StructuRegNet pour résoudre ce problème, qui met en oeuvre un alignement progressif guidé par les structures rigides comme les cartilages. En automatisant cette tâche traditionnellement manuelle, nous permettons ainsi une intégration harmonieuse et à grande échelle des informations histologiques et radiologiques.Avec les capacités offertes par StructuRegNet, des comparaisons directes entre les deux modalités deviennent possibles, notamment pour évaluer le GTV par rapport à l'étendue tumorale sur la lame histologique. Elles ont révélé des surestimations constantes dans les définitions conventionnelles du GTV. A la suite de cette observation, nous avons introduit un modèle de segmentation automatique sur les images scanners, avec comme annotation de référence les contours histologiques. Étant donné que ces contours sont de qualité supérieure et sans variabilité, le modèle a pu éviter les écueils rencontrés par les modèles précédents axés uniquement sur le GTV. Cette approche a éclairé la voie vers un "GTV guidé par l'histopathologie" et a introduit le concept de contours non binaires avec des probabilités de présence de tumeur, laissant entrevoir le potentiel d'une radiothérapie plus modulable et précise.De plus, nous avons dépassé le cadre de l'alignement spatial pour la radiothérapie et nous sommes concentrés sur la fusion multimodale plus générale. Nous introduisons SMuRF, un modèle d'intelligence artificielle qui combine plusieurs images pour extraire une représentation globale à faible dimension de chaque patient. Grâce à cette fusion avancée utilisant des architectures de pointe en vision par ordinateur, nous avons obtenu des succès notables dans la prédiction du grade du cancer et de la survie du patient, surpassant les méthodes monomodales traditionnelles.En conclusion, cette recherche souligne le potentiel considérable de l'intégration des données histologiques et radiologiques, supportée par des techniques d'intelligence artificielle, pour affiner la radiothérapie du cancer ORL. En fusionnant les informations macroscopiques et microscopiques, ce travail représente un premier pas prometteur vers une oncologie de précision individualisée plus efficace.
Origine | Version validée par le jury (STAR) |
---|