Connaissances Théoriques

L'IA en microscopie : le Deep Learning pour l'analyse d'images

4 novembre 2024 · 10 MIN LECTURE

Connaissances Théoriques
Intelligence Artificielle

Auteur Sreenivas Bhattiprolu Ph.D. Head of Digital Solutions (ZEISS arivis)

Résumé

Les techniques avancées de microscopie génèrent des ensembles de données de plus en plus vastes et complexes dont l'analyse nécessite des outils informatiques sophistiqués. L'intelligence artificielle (IA), en particulier le Machine Learning (apprentissage automatique) et le Deep Learning (apprentissage profond) est en train de révolutionner nos méthodes de travail. L'IA améliore chaque étape du flux de travail en microscopie, de l'acquisition et du prétraitement des données à la segmentation des images et à l'analyse de haut niveau. L'intégration de l'IA promet une exactitude et une précision sans précédent dans la segmentation des régions d'intérêt au sein des images, une fonctionnalité essentielle pour de nombreuses applications de microscopie.

Découvrez :

Le Machine Learning (ML), méthode la plus rapide à former et convenant à de nombreuses applications, mais qui peut présenter des limites, notamment en ce qui concerne la segmentation d'objets sur des arrière-plans complexes.
Le Deep Learning (DL), qui utilise un grand nombre de paramètres d'apprentissage pour capturer les détails de structures complexes dans les images. Cela permet une segmentation robuste des images, même lorsque les niveaux d'intensité varient.
Les deux types de segmentation par Deep Learning : La segmentation sémantique, qui convient mieux à la segmentation de grandes régions, et la segmentation d'instances, qui convient à la segmentation de différents objets dans les images.

Image describing AI Touchpoints (process flow)

Diagram explaining the hierarchy of Artificial Intelligence, Machine Learning, and Deep Learning. AI mimics human intelligence, ML extracts insights from data, and DL uses artificial neurons to learn from large data sets.

Qu'est-ce que l'IA, le ML et le DL ?

Il existe une relation hiérarchique entre l'intelligence artificielle (IA), le Machine Learning (ML) et le Deep Learning (DL) :

IA : le concept le plus large, englobant toute technique permettant aux ordinateurs d'imiter l'intelligence humaine.
ML : un sous-ensemble de l'IA, axé sur les algorithmes qui permettent aux machines d'apprendre à partir de données et de faire des prédictions ou de prendre des décisions sur cette base.
DL : le plus spécialisé des trois, est un sous-ensemble du ML qui utilise des réseaux neuronaux artificiels pour traiter de grandes quantités de données, en imitant la structure et la fonction du cerveau humain.

A fluorescent microscopic image of a brain section on the left leads to a detailed view on the right, which is analyzed using a machine learning classifier, shown as a decision tree diagram.

Machine Learning conventionnel

Le Machine Learning conventionnel repose sur l'extraction de données conçues par l'homme, où des caractéristiques ou des modèles spécifiques sont identifiés et isolés à partir des données brutes de l'image. Ces caractéristiques sont ensuite introduites dans un algorithme de Machine Learning, tel qu'un algorithme de forêt d'arbres décisionnels. Cet algorithme apprend à catégoriser ou à faire des prédictions sur la base des caractéristiques extraites.

A diagram shows a convolutional neural network (CNN) applied to a microscopy image, with visualizations of learnt feature kernels and learnt features.

Deep Learning

Contrairement au Machine Learning classique, où les caractéristiques sont élaborées manuellement, les algorithmes de Deep Learing - en particulier les réseaux neuronaux convolutifs (CNN) - apprennent à extraire les caractéristiques pertinentes directement à partir des données brutes. La partie gauche de cette figure montre l'image d'entrée et l'architecture du réseau, avec plusieurs couches qui traitent progressivement l'image. La partie droite présente les noyaux de caractéristiques appris et les cartes de caractéristiques qui en résultent. Ces noyaux agissent comme des filtres, détectant automatiquement des motifs à différents niveaux d'abstraction ─ des simples bords aux structures complexes. Au fur et à mesure que le réseau s'approfondit, il apprend des caractéristiques de plus en plus sophistiquées, ce qui lui permet de saisir des détails et des relations complexes dans les données. Cet apprentissage automatique de caractéristiques à partir de vastes quantités de données d'entraînement est ce qui donne au Deep Learning sa puissance et sa flexibilité dans les tâches d'analyse d'images, surpassant les approches traditionnelles de Machine Learning dans de nombreux scénarios complexes.

complex segmentation of crossbeam microscopy image of cell. despite greyscale image, the nucleus of the cell and mitochondia in it are clearly segmented and highlighted in color within the greyscale 3D image. — Sample image courtesy of Anna Steyer and Yannick Schwab, EMBL. Segmentation by Dr. Christopfer Zugates, ZEISS Dublin Demo Center US

Machine Learning vs. Deep Learning pour la segmentation d'image

Le ML est rapide à former et nécessite relativement peu de données, ce qui la rend adaptée à de nombreuses tâches. Toutefois, elle se heurte à des difficultés dans les scénarios complexes, tels que la segmentation d'objets sur des arrière-plans chargés. Le DL, en revanche, excelle dans ces domaines en tirant parti de nombreux paramètres d'apprentissage pour capturer des informations structurelles complexes. Les exemples suivants mettent en évidence les avantages du DL par rapport au ML dans la segmentation d'images.

Two rows of mitochondria images showing various segmented colored regions. The top row is labeled "ML" which stands for machine learning. The bottom row is labeled "DL” which stands for deep learning. The images segmented with deep learning have more and larger colored regions which corresponds to a more detailed segmentation.

Segmentation des mitochondries

La figure illustre les performances supérieures du DL dans la segmentation des mitochondries. Alors que le modèle ML fonctionne bien sur l'image d'entraînement (coupe 50), il éprouve des difficultés avec les coupes adjacentes (49 et 51), identifiant mal les mitochondries partielles et les pixels d'arrière-plan. En revanche, le modèle DL réalise une excellente segmentation sur des images qui n'ont pas été utilisées pour la formation, ce qui démontre une plus grande adaptabilité.

Two rows of each two images of materials grain structures showing a segmented image and a grain map. The top row is labeled “ML” which stands for machine learning. The bottom row is labeled "DL” which stands for deep learning. The ML images have simpler segmentation and grain maps, while DL images show more detailed segmentation and diverse grain colors. — Sample courtesy of: Bernthaler group at Hochschule Aalen.

Segmentation des grains

La figure montre la segmentation des bords de grains dans une micrographie d'Al2O3. Bien que les résultats ML et DL semblent corrects au départ, une inspection plus approfondie (flèches bleues) révèle des segmentations manquées avec le ML, suggérant à tort des grains plus gros. Par conséquent, l'analyse de la taille des grains basée sur les résultats de ML conduit à une distribution incorrecte de la taille des grains. Les cartes de grains montrent un gros grain (en rouge) dans l'image segmentée par ML, alors que l'image segmentée par DL représente correctement la véritable distribution des grains.

Segmentation sémantique vs segmentation d'instances

Il existe deux approches principales de la segmentation par Deep Learning :

La segmentation sémantique attribue des classes d'appartenance jusqu'au niveau du pixel, ce qui la rend adaptée à la segmentation de grandes régions, telles que la ferrite et la martensite dans les aciers ou diverses sections de tissus dans les échantillons biologiques.
La segmentation d'instances attribue des classes d'appartenance à des objets individuels, ce qui est idéal lorsque des informations détaillées au niveau de l'objet sont requises, comme les grains dans les alliages ou les cellules dans les tissus.

Electron microscope image showing cathode particles in a battery material. Image data courtesy of: Hochschule Aalen.
Télécharger image (294 KB)
Semantic segmentation assigns each pixel to a class, without separating touching objects. This type of segmentation is ideal for applications that require measuring the total covered area or area percentages, but not detailed information at the individual object level. Image data courtesy of: Hochschule Aalen.
Télécharger image (224 KB)
Instance segmentation identifies and classifies individual objects, even if they touch or overlap. This approach is recommended for applications that require object-level information, such as measuring the size distribution of grains. Image data courtesy of: Hochschule Aalen.
Télécharger image (250 KB)

Two rows of three images each from three time points. The top row shows live-cell imaging with varying shades of green fluorescent areas in the image, indicating different intensities within each image and across time points. The bottom row shows images of cell nuclei with increasingly distinct boundaries from time point to time point due to segmentation by the ZEISS arivis Pro software, indicating the accuracy of the instance segmentation model. — Sample credit: Clayton Schwarz of Lab sof Anna-Katerina Hadjantonakis at Memorial Sloan Kettering Cancer Center and Eric Siggia at Rockefeller University.

La robustesse de la segmentation d'instances, même dans les images à contraste variable

Images de trois points temporels dans une série de 170 points de cellules vivantes d'un organoïde de gastrulation. Les images présentent une intensité variable au sein de chaque image et entre les différents points temporels.

Les noyaux ont été segmentés à l'aide de la méthode de segmentation d'instances du logiciel ZEISS arivis Pro. Le modèle a été entraîné sur ZEISS arivis Cloud. On note une segmentation précise des noyaux dans toutes les images, confirmant la robustesse de la segmentation d'instances.

Explorer l'IA pour une analyse avancée des images

Découvrez les applications de l'IA dans l'analyse avancée d'images. Obtenez des informations plus approfondies et des connaissances pratiques.

Le Deep Learning (DL) révolutionne la segmentation des images en microscopie en extrayant automatiquement les caractéristiques pertinentes directement à partir des données brutes, améliorant ainsi la précision et l'efficacité de l'analyse des images. Contrairement au Machine Learning classique, les algorithmes de Deep Learning, tels que les réseaux neuronaux convolutifs (CNN), peuvent apprendre à extraire des détails complexes et des relations complexes au sein des données sans qu'il soit nécessaire de procéder à une analyse manuelle des caractéristiques.
Dans les scénarios complexes de microscopie, le Deep Learning surpasse le Machine Learning en tirant parti de nombreux paramètres d'apprentissage pour capturer des informations structurelles complexes. La capacité du Deep Learning à traiter de grandes quantités de données et à apprendre automatiquement des caractéristiques se traduit par des performances supérieures dans des tâches telles que la segmentation d'images, dépassant les limites des approches Machine Learning conventionnelles.
Dans les applications de microscopie, la segmentation sémantique attribue des classes d'appartenance jusqu'au niveau du pixel, ce qui la rend adaptée à la segmentation de grandes régions. En revanche, la segmentation d'instances attribue des classes d'appartenance à des objets individuels. La segmentation sémantique est idéale pour les applications qui nécessitent de mesurer la surface totale couverte ou les pourcentages de surface. La segmentation par instance est recommandée pour les applications qui nécessitent des informations au niveau de l'objet, telles que la mesure de la distribution de la taille des grains ou des cellules dans les tissus.

Renforcez vos compétences en microscopie

Rejoignez le groupe des microscopistes experts avec nos cours de formation spécialisés. Que vous soyez universitaire ou industriel, biologiste, spécialiste des matériaux ou autre, ces formations vous aideront à exploiter tout le potentiel de vos compétences en microscopie.

Veuillez noter que dans certains cas, il vous sera demandé d'entrer à nouveau vos identifiants de connexion pour accéder à certaines zones ou ressources de notre plateforme de formation.

Partager cet article