Разработка методов низкочастотной 3D ультразвуковой томографии на основе GPU- суперкомпьютеровНИР

Development of low-frequency 3D ultrasound tomography methods based on GPU- supercomputers

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 17 апреля 2017 г.-15 декабря 2017 г. Разработка методов низкочастотной 3D ультразвуковой томографии на основе GPU- суперкомпьютеров
Результаты этапа: На первом этапе проекта получены следующие основные результаты. Осуществлена постановка и разработаны методы решения двумерных и трёхмерных обратных задач ультразвуковой томографии с данными на цилиндрической поверхности как коэффициентных обратных задач для волнового уравнения. В качестве модели используется скалярная волновая модель, описывающая как явления дифракции, так и поглощение. Разработаны итерационные алгоритмы приближённого решения нелинейной обратной задачи ультразвуковой томографии, основанные на прямом вычислении градиента функционала невязки. Разработано программное обеспечение “2d_tomo” для GPU-суперкомпьютеров для решения прямых и обратных задач ультразвуковой томографии в послойной схеме. Разработано программное обеспечение “3d_tomo” для решения прямых и обратных задач ультразвуковой томографии по восстановлению скоростного разреза исследуемого объекта с учётом дифракции и поглощения с данными на цилиндрической поверхности в 3D варианте. Алгоритм приближённого решения обратной задачи 3D ультразвуковой томографии основан на возможности прямого вычисления градиента функционала невязки. Особенностью низкочастотной ультразвуковой томографии является использование небольшого количества источников (30-40) при большом количестве точек, в которых измеряются данные (~10000). Показано, что наиболее эффективно численные алгоритмы распараллеливаются на GPU-кластерах с количеством графических карт, равным количеству источников. Модельные расчёты показали, что наилучшее качество реконструированного 3D изображения скоростного разреза и коэффициента поглощения достигается, если расстояние между точками регистрации данных на цилиндрической поверхности не превышает половины длины волны зондирующего излучения. Показано, что скоростной разрез восстанавливается намного лучше, чем коэффициент поглощения. Предложены итерационные алгоритмы для решения нелинейных обратных задач низкочастотной ультразвуковой томографии, использующие прямое вычисление градиента функционала невязки между измеренным и вычисленным волновым полем. Показано, что функционал невязки не является выпуклым и кроме глобального минимума имеет и локальные минимумы. Предложен новый метод приближённого решения нелинейных обратных задач ультразвуковой томографии, использующий многочастотное зондирование. Обратная задача сначала решается с использованием данных на низкой частоте с нулевым начальным приближением, затем полученное приближённое решение используется как начальное приближение для решения обратной задачи на более высокой частоте. Показано, что наиболее эффективным является использование зондирующих импульсов как минимум двух частот, отличающихся не менее чем в 2 раза. Предложенный метод является наиболее эффективным при использовании широкополосных зондирующих импульсов. Показано, что для построения начального приближения можно также использовать приближённое решение, полученное в лучевой модели на грубой сетке. Определены основные параметры экспериментального стенда и фантомов для исследования мягких тканей в медицине. Закуплено оборудование для экспериментального стенда для низкочастотных томографических исследований. Изготовлен экспериментальный стенд для проведения исследований по томографическому восстановлению акустических свойств объектов. Стенд ориентирован, прежде всего, на исследование фантомов с параметрами, близкими к параметрам мягких тканей в медицине. Конструкция стенда обеспечивает сбор информации как в послойной схеме исследования 3D объекта, так и в трёхмерной схеме с данными на цилиндрической поверхности. Разработано программное обеспечение “uson”, обеспечивающее работу экспериментального стенда под управлением персонального компьютера. Программа предназначена для автоматизации экспериментов по ультразвуковым томографическим исследованиям: сбора данных, управления движением линейных и ротационных приводов стенда, получения информации о точном положении приводов, запуска внешнего генератора сигналов. Осуществлена постановка обратных задач томографических исследований в задачах неразрушающего контроля в скалярной волновой модели. Обратная задача рассматривается как коэффициентная обратная задача для скорости распространения продольной волны. Обратные задачи томографии твёрдых тел являются нелинейными. Разработаны эффективные итерационные алгоритмы решения обратных задач в скалярной волновой модели на суперЭВМ. Алгоритмы основаны на прямом вычислении градиента функционала невязки. Особенностью задач неразрушающего контроля является то, что для зондирования используются высокочастотные ультразвуковые волны с частотами от 1 МГц и выше. Для численной аппроксимации дифференциальных уравнений использованы разностные схем 4-го порядка. Показано, что наиболее эффективно алгоритмы распараллеливаются на GPU-кластерах. Предложена схема распараллеливания вычислений, рассчитанная на большое количество источников. Показано, что максимальная производительность GPU достигается при количестве источников 8–10 на одно устройство. При использовании 10 графических карт достигается ускорение порядка 1000 раз по сравнению с одним CPU процессором. Рассмотрены различные схемы томографических исследований в дефектоскопии в скалярной волновой модели. На модельных задачах показано, что в схемах на отражение невозможно восстановить скорость волны внутри дефекта. Показано, что скоростной разрез внутри дефекта восстанавливается в томографических схемах, в которых регистрируется как отражённое, так и прошедшее излучение. В таких схемах можно восстановить не только границы дефекта, но и получить важную информацию о внутреннем строении дефекта.
2 1 января 2018 г.-15 декабря 2018 г. Разработка методов низкочастотной 3D ультразвуковой томографии на основе GPU- суперкомпьютеров. Этап 2.
Результаты этапа: Проект РНФ посвящен разработке методов низкочастотной волновой томографии. На втором этапе проекта получены следующие основные результаты. Разрабатываемые в проекте методы 2D томографической диагностики успешно прошли тестирование на экспериментальных данных. Эксперименты проводились на экспериментальном стенде для ультразвуковых томографических исследований, разработанном на первом этапе проекта. Эксперименты позволили получить высококачественные данные для реконструкции скоростных разрезов объектов с акустическими параметрами, близкими к параметрам мягких тканей человека. Для проведения экспериментов были изготовлены фантомы из силикона с различными вставками. Для решения прямых и обратных задач использовалась скалярная волновая модель, учитывающая такие эффекты, как дифракция, рефракция, переотражение и поглощение ультразвука. Центральным моментом в построении итерационных методов решения нелинейной обратной задачи волновой томографии является вычисление градиента функционала невязки между экспериментально измеренным волновым полем U(r,t) и рассчитанным в прямой задаче волновым полем u(r,t) на детекторах. Участниками проекта впервые в рассмотренной постановке на математическом уровне строгости был получен результат о представлении для градиента функционала невязки. Эта работа, опубликованная в 2018 году в журнале, входящем в первый квартиль (TOP25) цитируемости SCOPUS, является прорывным результатом построения алгоритмов приближенного решения обратных задач волновой томографии. В отличие от предыдущих работ исполнителей проекта, предложенный подход сильно упрощает вычисления, поскольку не предполагает вычисление нормальной производной измеренного волнового поля на границе, что само по себе является некорректно-поставленной задачей. Этот результат имеет мировой приоритет и позволяет по прямым формулам вычислять градиент функционала невязки Ф(с,а) по параметрам с(r) и а(r), описывающим скорость звука и поглощение в среде. Типичной ситуацией в рассматриваемых обратных задачах является неполнота экспериментальных данных. Экспериментальные данные могут отсутствовать на части границы, окружающей исследуемую область. Эта ситуация является типичной в любой томографической схеме ультразвуковой диагностики молочной железы, поскольку детекторы со стороны грудной клетки пациента расположить невозможно. Разработанный в указанной выше статье подход может быть распространен и на случай, когда на части границы экспериментальные данные отсутствуют. На втором этапе проекта стало возможным сравнить результаты модельных расчетов и результатов, полученных из экспериментальных данных. Результаты, полученные в экспериментах, хорошо согласуются с данными математического моделирования. Как показано на модельных расчетах и подтверждено на экспериментальных данных, скоростной разрез восстанавливается лучше, чем коэффициент поглощения в мягких тканях. Несмотря на то, что поглощение восстанавливается хуже скорости, учёт поглощения в математической модели необходим для того, чтобы эта модель была более адекватной физической реальности. Как показано на модельных расчетах и подтверждено на экспериментальных данных, разрешающая способность разработанных методов ультразвуковой томографической диагностики составляет порядка 2 мм при контрасте порядка 1 – 2% и погрешности данных порядка 5%. Результаты решения обратных задач реконструкции скоростного разреза как по экспериментальным данным, так и на модельных расчетах позволяют утверждать, что используемая математическая модель является близкой к реальности и позволяет достичь высокого разрешения в реальных экспериментах. Проведены эксперименты по сбору ультразвуковых томографических данных в томографической схеме для восстановления 2D скоростного разреза в задачах неразрушающего контроля для исследования дефектов в твёрдых телах. В экспериментах использовались две линейные эквидистантные антенные решётки, содержащие по 32 одинаковых приёмно-излучающих пьезоэлемента с шагом 0.6 мм. Центральная частота излучаемого импульса решёток – 5 МГц (длина волны порядка 0.5 мм). В качестве объекта контроля были выбраны два бруска из рексолита и плексигласа в виде параллелепипеда. В бруске просверлено цилиндрическое отверстие. В это отверстие вставляется цилиндрический вкладыш из другого материала. Основной результат проекта на втором этапе в задачах неразрушающего контроля можно сформулировать следующим образом. Впервые реконструирован 2D скоростной разрез исследуемого объекта по данным, полученным в томографическом эксперименте. Показано, что с помощью разработанных томографических методов, схем эксперимента, математических алгоритмов можно не только обнаружить границы дефектов в задачах неразрушающего контроля в реальном эксперименте, но и с высокой точностью в 2 – 3% определить скоростной разрез внутри объекта контроля, используя схему на отражение и прохождение. В проекте показано, что томографический подход в задачах неразрушающего контроля вполне реализуем на современных суперкомпьютерах. Распараллеливание вычислений на суперкомпьютере осуществлялось по источникам, поскольку вычисления для каждого источника в используемых алгоритмах проводятся практически независимо. На втором этапе проекта было проведено исследование масштабируемости и эффективности алгоритмов решения обратных задач восстановления 2D сечений скоростного разреза на GPU-суперкомпьютере “Ломоносов” СКЦ МГУ. Вычислительные эксперименты показали, что эффективность алгоритма определяется в первую очередь загрузкой GPU, которая зависит от объёма данных, обрабатываемого каждым устройством. Этот объём должен составлять порядка 100 МБ и выше для обеспечения высокой производительности вычислений. Была проведена оптимизация алгоритмов решения обратных задач восстановления 2D сечений скоростного разреза исследуемого объекта для послойных 2D томографических схем на GPU-суперкомпьютере, учитывающая специфику данной задачи и объёмы обрабатываемых экспериментальных данных. В алгоритме использована оптимизированная разностная схема 4-го порядка с шаблоном 5x5 точек для вычисления дискретного лапласиана. Для расчёта волнового поля использован Y-marching метод, обеспечивающий высокую локальность данных, последовательный доступ к данным в памяти и использование коэффициентов, вычисленных на предыдущих шагах. Оптимизированный алгоритм был протестирован на GPU-суперкомпьютере “Ломоносов-2” СКЦ МГУ. Тестирование показало повышение производительности вычислений в 1.7 раза по сравнению с первой версией алгоритма.
3 1 января 2019 г.-15 декабря 2019 г. Разработка методов низкочастотной 3D ультразвуковой томографии на основе GPU- суперкомпьютеров. Этап 3.
Результаты этапа: Проект направлен на разработку методов низкочастотной 3D ультразвуковой томографии на основе GPU-суперкомпьютеров, прежде всего в приложении к диагностике рака молочной железы. Основным результатом Проекта в 2019 г. является тот факт, что разработанные в рамках проекта алгоритмы решения обратных задач 3D ультразвуковой томографии в медицине для GPU-суперкомпьютеров были впервые успешно протестированы в реальных экспериментах. Экспериментальные данные для решения обратных задач 3D волновой томографии были получены на стенде для 3D ультразвуковых томографических исследований, разработанном на предыдущих этапах проекта в МГУ имени М.В. Ломоносова. Обратная задача 3D ультразвуковой томографии рассмотрена как нелинейная коэффициентная обратная задача для скалярной волновой модели. Для её решения использовались разработанные на предыдущих этапах проекта итерационные алгоритмы, основанные на возможности явного вычисления градиента функционала невязки. В 3D постановке решается трёхмерная коэффициентная обратная задача, в которой скорость распространения волны внутри исследуемого объекта и коэффициент поглощения ищутся как функции трёх координат. Трёхмерная постановка наиболее правильно описывает такие значимые для волновой томографии эффекты, как дифракция, рефракции и переотражение волн. Для получения экспериментальных данных в 3D задаче ультразвуковое поле измеряется с высокой точностью на цилиндрической поверхности, окружающей объект, с шагом менее половины длины волны. Для исследований использовались фантомы с акустическими параметрами, близкими к параметрам мягких тканей. В результате решения 3D обратной задачи восстанавливаются трёхмерные распределения скорости звука и коэффициента поглощения внутри исследуемого объекта. Результаты по трёхмерной акустической томографии фантомов, близких по свойствам к мягким тканям, были получены в настоящем проекте впервые в 2019 г. Важным результатом этого проекта в 2019 г. является то, что впервые в 3D задаче экспериментально подтверждена адекватность используемой математической модели — скалярного волнового приближения с учетом поглощения. Это подтверждается хорошим совпадением результатов 3D реконструкции по экспериментальным данным со значениями скорости звука в фантомах. Эксперименты показали, что 3D модель является более адекватной реальности, чем послойная модель. В послойной схеме разрешение по вертикальной координате (между сечениями) гораздо хуже, чем в плоскости сечений. Однако, решение задачи в 3D постановке является намного более сложным, как в плане проведения эксперимента, так и в вычислительном плане. Интерпретация данных экспериментов продемонстрировала эффективность разработанных алгоритмов. Эксперименты показали, что предложенный метод решения обратных задач 3D ультразвуковой томографии позволяет достичь высокого пространственного разрешения порядка 2 мм (при длине волны 4 мм) даже при низком контрасте исследуемого объекта по скорости звука. Используемая томографическая схема может применяться в медицинских диагностических комплексах. В отличие от используемых в медицине стандартных УЗИ аппаратов, предложенные методы восстановления трёхмерного томографического изображения определяют не только границы и форму неоднородностей, но и значение скорости звука внутри них с высокой точностью в 1–2%. Такие методы позволяют осуществлять характеризацию тканей, определяя акустические параметры ткани в каждой точке (x,y,z) исследуемого объекта. Разработанные алгоритмы позволяют реконструировать не только распределение скорости звука внутри объекта, но и коэффициент поглощения. Качество реконструкции скорости звука выше, чем коэффициента поглощения, и определение скорости звука является основной целью метода. В ходе Проекта в 2019 г. проведены отладка и корректировка алгоритмов и программного обеспечения для решения обратных задач 3D ультразвуковой томографии на основе данных, полученных в экспериментах с фантомами мягких тканей. С целью учёта специфики экспериментальной установки при реконструкции томографических изображений по экспериментальным данным разработаны вспомогательные процедуры предварительной обработки этих данных, метрологии измерительного тракта. Решена проблема реконструкции начального акустического импульса источника, необходимого для решения прямой задачи распространения волн от источников. Для реконструкции начального импульса измеренное на цилиндрической поверхности реперное волновое поле продолжается с помощью численного моделирования в обратном времени. Разработанная процедура позволяет более точно смоделировать зондирующий акустический импульс, неявно учесть сложные процессы, происходящие при преобразовании трансдьюсером электрического импульса в акустический, учесть эффекты дисперсии, диаграммы направленности излучателя. С вычислительной точки зрения, рассматриваемые обратные задачи 3D ультразвуковой томографии являются чрезвычайно сложными. Количество неизвестных в нелинейной обратной задаче составляет порядка 50 миллионов. Количество операций для решения обратной задачи растёт как четвёртая степень от пространственного разрешения. Для восстановления изображений высокого разрешения необходимы высокопроизводительные вычислительные системы. В Проекте в 2019 г. достигнуты высокая эффективность и масштабируемость 3D томографических алгоритмов восстановления скоростного разреза на GPU- суперкомпьютере в составе СК “Ломоносов”. Результаты расчётов показали эффективность распараллеливания, составившую порядка 95%, и практически линейную масштабируемость. Высокая эффективность распараллеливания связана с тем, что в задаче ультразвуковой томографии подавляющее большинство расчётов производится локально, причём вычисления для каждого ультразвукового источника производятся независимо. В Проекте в 2019 г. разработаны требования к архитектуре специализированного GPU-суперкомпьютера для решения трёхмерных задач ультразвуковой томографии мягких тканей, который может использоваться в составе ультразвукового томографического комплекса. Моделирование работы специализированного GPU-суперкомпьютера проведено на GPU-разделе суперкомпьютера “Ломоносов-2”. Показано, что распараллеливание алгоритма наиболее эффективно, когда количество GPU соответствует количеству положений ультразвуковых источников, которое в типичных задачах составляет порядка 50. Эти результаты опубликованы в 2019 г. в журнале, входящем в разные годы в первый или второй квартиль Q1-Q2 цитируемости SCOPUS. Впервые в 2019 г. для задач неразрушающего контроля была применена многоракурсная томографическая схема для восстановления высококачественных изображений скорости звука внутри объекта. В многоракурсной схеме зондирования на восстановленном изображении отсутствуют артефакты, характерные для реконструкции изображения по экспериментальным данным с малым набором ракурсов. Важным результатом этого исследования является экспериментальное подтверждение адекватности используемой математической модели — двумерной скалярного волнового приближения. Итоговый план по публикациям по проекту перевыполнен. Опубликовано за 2017-2019 гг. 16 статей индексируемых в Web of Science или в Scopus и 14 статей индексируемых в русскоязычных изданиях, учитываемых РИНЦ.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".