Методы совместной сегментации и совмещения микроскопических изображенийНИР

Methods for joint segmentation and registration of microscopy images

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 1 января 2022 г.-31 декабря 2022 г. Методы совместной сегментации и совмещения микроскопических изображений
Результаты этапа: - Создан метод совместного совмещения и сегментации микроскопических изображений для аугментации данных Основная идея метода совместного совмещения и сегментации последовательностей изображений клеточных структур заключается в аугментации данных для сегментационной нейронной сети. Аугментация происходит за счет совмещения изображений, изменения масок изображений с помощью полученных полей деформации и использования полученных таким способом масок для тех изображений, для которых масок сегментации не было в изначальной разметке. Для работы такого механизма необходимо наличие хорошего метода совмещения, и хорошего метода сегментации. В рамках проекта используются нейросетевые методы, особенности построения которых описано ниже. С использованием подготовленных наборов данных была проведена разработка метода совмещения изображений, основанная на архитектуре VoxelMorph, однако адаптированная под задачу совмещения зашумленных изображений клеточных структур. Были исследованы различные особенности совмещающих архитектур сверточных нейронных сетей, различные функции потерь с использование стабилизаторов, основанных на физических принципах (деформация, несжимаемость потока). Предварительные результаты были использованы в работе. Они выглядят достаточно интересно и возможно будут отдельно опубликованы в следующем году. Работа по данному направлению будет продолжена. Для задачи сегментации был разработан метод, основанный на нейронной сети архитектуры U-net с несколькими существенными адаптациями под задачу сегментации последовательностей изображений клеток, такие как использование динамически изменяемой функции потерь в зависимости от эпохи обучения, а также применения классического метода водораздела для разделения слипшихся объектов. - Создан метод обучения со слабой разметкой для сегментации в задаче трекинга клеточных структур на последовательностях микроскопических изображений. Метод со слабой разметкой заключается в комбинации “сильной разметки” - масок сегментации для каждой клетки, а также слабой разметки - маркеров, представляющих собой точку или круг небольшого радиуса, указывающих положение каждой клетки на каждом кадре. При этом маркеры для одной клетки имеют уникальный идентификатор во всей временной последовательности. Такая слабая разметка за счет совмещения самих изображений клеток с помощью предложенного в проекте метода совмещения превращается в размеченные маски сегментации клеток, которые далее используются для обучения сегментационной нейронной сети. Предложенный метод позволил улучшить результаты сегментации на всех трех наборах данных. Также было продемонстрировано, что предложенный метод позволяет работать с меньшим до 50% набором полностью размеченных для сегментации данных без потери качества. Алгоритм был загружен для независимой оценки организаторами международного открытого конкурса по трекингу и сегментации клеток и занял третье место для одного из наборов данных среди около 50 конкурентов.
2 1 января 2023 г.-31 декабря 2023 г. Методы совместной сегментации и совмещения микроскопических изображений
Результаты этапа: 1. Создан гибридный метод совмещения изображений клеточных структур, представленных в виде последовательностей изображений флуоресцентной микроскопии. Предложенный метод является комбинацией нейросетевой двухэтапной модели и классического метода совмещения изображений, основанного на совмещении с помощью упругой модели и использующего контуры объекта интереса. Предложенная нейросетевая модель состоит из блока слоев, выполняющих предсказание матрицы аффинного преобразования и сверточного блока, повторяющего архитектуру U-Net и выполняющего предсказание поля деформации для пары изображений. Была проведена работа по предобработке данных, позволяющая улучшить качество совмещения. Были исследованы различные функции потерь с использованием различных регуляризаторов, основанных на физических принципах (деформация, несжимаемость потока) и позволяющих добиться гладкости поля деформации. Было проведено тестирование метода и его сравнение с конкурирующими методами на открытом наборе данных, позволяющем проводить тестирование методов совмещения изображений. Было продемонстрировано, что предложенный метод превосходит существующие аналоги в качестве совмещения. 2. Разработан метод совместной сегментации и совмещения изображений аншлифов геологических образцов с помощью сверточной нейронной сети. Особенностью данного метода является использование дополнительных изображений, снятых с PPL и XPL поляризационными фильтрами под различными углами. Данные дополнительные изображения предварительно совмещаются с помощью методов SIFT и RANSAC и подаются на вход нейронной сети архитектуры UNet в качестве дополнительной информации. Помимо этого, используется особая балансировка данных для улучшения качества сегментации для классов с наименьшим количеством представителей. Метод был применен для изображений из набора данных LumenStone S1 , дополненного изображениями с анизотропными минералами, снятыми в различных ориентациях. В качестве эксперимента для тестирования производится сравнение результатов работы нескольких нейронных сетей: обученной без использования дополнительной информации, с единственным изображением на входе нейронной сети; с несколькими изображениями на входе, с использованием различного количества дополнительных изображений, снятых под разными углами поворота (1, 3 и 6 дополнительных изображений). Результаты тестирования демонстрируют улучшение качества сегментации трех анизотропных минералов от 3% до 12%, и пяти изотропных минералов от 1% до 8%. 3. Создан быстрый метод совмещения изображений на основе преобразования Фурье-Бесселя и применения проекционного метода с использованием функций Лагерра, а также быстрого алгоритма вычисления проекционных коэффициентов для его эффективного вычисления. Предложенный подход был разработан для выравнивания двумерных проекций в криоэлектронной микроскопии одиночных частиц. Использование проекционного метода в вычислении преобразования Фурье-Бесселя является существенным улучшением базового метода с точки зрения вычислительной эффективности и при этом без потери в качестве совмещения. Применение быстрого алгоритма для вычисления проекционных коэффициентов, основанного на использовании квадратуры Гаусса-Лагерра, также дает дополнительное ускорение, не сильно изменяя искомое преобразование. Нахождение искомых параметров сводится к однократному вычислению трехмерной корреляции в Фурье-пространстве с помощью проекционного метода вычисления преобразований Фурье-Бесселя и вычислению обратного преобразования Фурье для перехода в координатное пространство. Результаты проведенных экспериментов на синтетических и реальных данных продемонстрировали, что предложенный быстрый метод совмещения изображений с помощью преобразования Фурье-Бесселя достигает ускорение в среднем в 6.7 раз в случае применения проекционного метода вычисления преобразования Фурье-Бесселя и в 10.2 раза, дополнительно применив быстрый алгоритм расчета проекционных коэффициентов, в сравнении с исходным методом Фурье-Бесселя. При этом не было замечено значительных изменений в качестве совмещения изображений сравниваемыми методами. Опубликовано 4 статьи (1 Scopus, 3 РИНЦ), 2 статьи принято к печати (2 Scopus), сделано 2 доклада на международных конференциях. Полученные в рамках проекта результаты вошли в принятую к защите кандидатскую диссертацию Симаковой Н.А. “Математические методы совмещения биомедицинских микроскопических изображений”. Защита состоится 25.12.2023 в совете МГУ.012.1.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".