![]() |
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Анализ и синтез компьютерной мультимедийной информации, в первую очередь изображений и видео, в настоящее время является одной из наиболее активно развивающихся областей компьютерных наук. Это вызвано несколькими факторами. Во -первых, это взрывной рост объёма мультимедийных данных, к которому привело стремительное увеличение источников данных, таких как фото- и видеокамеры, и появлению доступных сенсоров трёхмерных данных, например, Microsoft Kinect. Во-вторых, появление и развитие новых устройств вывода мультимедийной информации, таких как трёхмерные дисплеи. В третьих, развитие компьютерных сетей, в первую очередь беспроводных. Наконец, развитие математических методов распознавания образов, вызванное возросшими вычислительными мощностями современных компьютеров и доступным объёмом эталонных данных, открыло возможности для автоматизации обработки и анализа мультимедийной информации. Проведение исследований в данной области является актуальной задачей для российской науки, и позволит создать необходимый фундаментальный задел для последующих прикладных исследований и разработки инновационных программных технологий для внедрения в промышленности. Привлечение к исследованиям студентов и аспирантов позволит подготовить квалифицированных специалистов в этой важной области информационных технологий, запрос на которых будет только увеличиваться в ближайшие годы. Данная тематика включает в себя развитие критических технологий (Перечень критических технологий Российской федерации 2011 г) как нано-, био-, информационные, когнитивные технологии, технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем, технологии информационных, управляющих, навигационных систем.
Analysis and synthesis of multimedia data, especially images and video, is currently one of the fastest growing areas of computer science. This is due to several factors. First is the explosive growth in the volume of multimedia data due to the rapid increase in data sources, such as photo and video cameras, and the appearance of three-dimensional sensors, for example, Microsoft Kinect. Second is the emergence and development of new multimedia information output devices such as three-dimensional displays. Third, the development of computer networks, especially wireless. Finally, the development of mathematical methods of pattern recognition, due to the increased processing power of today's computers and the available volume of ground truth data, has opened the possibility to automate the processing and analysis of multimedia information. Research in this area is an important task for Russian science, and will create the necessary fundamental groundwork for subsequent applied research and development of innovative software technologies for industry. Engaging students in research will prepare the qualified experts in this important field of information technology, for which the demand will only increase in the coming years.
• Новые алгоритмы обработки изображений и видео на основе вычислительных моделей зрительной системы • Новые алгоритмы вычислительной фотографии. Синтез и обработка изображений широкого динамического диапазона, методы сжатия контраста, в том числе с учетом особенностей восприятия человека. • Новые алгоритмы и программная реализация методов сегментации изображений и трёхмерных объектов, распознавания и выделения объектов заданной структуры в изображениях. • Новые алгоритмы выделения и матирования объектов, оценки оптического потока, построения карт глубины и трёхмерной реконструкции сцены для обработки видеоданных, построения трёхмерных видеопоследовательностей, сжатия трёхмерного видеопотока. • Исследование методов выделения, сопровождения, распознавания и индексирования объектов в видеопотоке для систем видеонаблюдения и видеоархивов. • Разработка и программная реализация специализированных алгоритмов для выделения и распознавания отдельных классов объектов, обладающих высокой значимостью для практического применения, таких как лица и фигуры людей, знаки дорожного движения. • Разработка алгоритмов синтеза изображений для интерактивных и неинтерактивных приложений. Исследования в области моделирования глобального освещения, решение задач видимость в сложных сценах для интерактивных приложений. • Разработка естественных трехмерных интерфейсов человек-компьютер для задач с применением технологий виртуальной реальности. Технологии взаимодействия в трехмерном виртуальном пространстве. Метафоры для трехмерного интерфейса. Интерфейсы для дополненной реальности. Методы оценки трехмерных интерфейсов.
В лаборатории есть научный задел по всем основным направлениям компьютерной графики. В области компьютерного зрения был разработан комплекс алгоритмов для сопровождения людей в видеопоследовательностях и определения их атрибутов, а также комплекс алгоритмов для построения трёхмерных моделей реальных сцен по изображениям. В области компьютерной графики разработан ряд алгоритмов фотореалистичной визуализации сцен, в первую очередь для ускорения и уточнения расчёта освещения и моделирования свойств материалов. В области обработки видео наработан большой опыт по автоматической оценке качества сжатия видео, настройке видеокодеков, а также был разработан ряд алгоритмов по обработке стереовидео.
МГУ имени М.В.Ломоносова | Координатор |
госбюджет, раздел 0110 (для тем по госзаданию) |
# | Сроки | Название |
1 | 1 января 2013 г.-31 декабря 2013 г. | Анализ и синтез компьютерной мультимедийной информации |
Результаты этапа: | ||
2 | 1 января 2014 г.-31 декабря 2014 г. | Анализ и синтез компьютерной мультимедийной информации |
Результаты этапа: • Разработана полуавтоматическая модель визуального внимания • Разработанная ранее методика оценки качества стереофильмов расширена двумя новыми алгоритмами обнаружения искажений • Разработан алгоритм оптической томографии для преломляющих объектов, а также ряд алгоритмов построения уточненной формы непрозрачных дефектов внутри таких объектов. • Предложен метод оценки распределения параметров реальных изображений для настройки генератора синтетических изображений для задачи распознавания дорожных знаков | ||
3 | 1 января 2015 г.-31 декабря 2015 г. | Анализ и синтез компьютерной мультимедийной информации |
Результаты этапа: Составлена эталонная коллекция изображений российских дорожных знаков. С использованием коллекции проведена экспериментальная оценка алгоритмов выделения и классификации дорожных знаков. По результатам подготовлена к подаче публикация. • Разработан алгоритм выделения движущихся объектов на основе вычитания фона с использованием стохастических бинарных дескрипторов текстуры. • Разработан алгоритм распознавания человека по лицу, пригодный для работы с видеопоследовательностями, полученными в хороших условиях съёмки. • Разработан и опубликован алгоритм оптической томографии для широкого класса объектов. • Разработаны и опубликованы ряд алгоритмов тональной компрессии изображений широкого динамического диапазона и связанных с ними алгоритмов. • Разработан и опубликован алгоритм быстрой трассировки на основе трассировки лучей Монте-Карло. • Разработан алгоритм оценки качества карт глубины, использовавшихся для конвертации моноскопической видеопоследовательности в стереоскопическую. По результатам работы опубликована статья на International Conference on 3D Imaging • Разработан алгоритм классификации сцен стереофильма на сцены, снятые стереокамерой, сцены, конвертированные из моноскопического видео, и сцены, полученные с использованием компьютерной графики. • Опубликован отчет, содержащий результаты технического анализа 25 полнометражных стереофильмов, на предмет наличия несоответствий геометрии ракурсов, перепутанных ракурсов, временного сдвига между ракурсами. • Разработаны методики объективного сравнения алгоритмов матирования видео и построения эталонных карт прозрачности. Подготовлена база видеопоследовательностей с эталонными картами прозрачности. Высокая корреляция предложенного метода оценки с визуальным качеством карт прозрачности подтверждена путем проведения масштабного субъективного сравнения. По результатам работы создан веб-сайт http://videomatting.com и опубликованы статьи на конференции “British Machine Vision Conference” и в журнале “Цифровая обработка сигналов”. • Проведены предварительные эксперименты по оценке утомляемости зрителей при просмотре стереовидео, содержащего различные искажения. Подготовлен тестовый набор стереовидео, содержащий искажения различных типов и интенсивности. В ходе экспериментов фиксировались как результаты опроса респондентов, так и данные ЭЭГ. | ||
4 | 1 января 2016 г.-31 декабря 2016 г. | Анализ и синтез компьютерной мультимедийной информации |
Результаты этапа: * Разработан новый алгоритм вычитания фона на основе расчёта нейросетевых признаков, который был опубликован в сборнике трудов конференции Графикон-2016 * Разработан алгоритм поиска оставленных предметов в данных видеонаблюдения. По итогам работы был сделан доклад на конференции Ломоносов-2016 * Разработан алгоритм определения наличия огня и дыма в видео на основе классификации блоков. Алгоритм был опубликован в сборнике трудов конференции Графикон-2016. * Разработан алгоритм матирования видео, использующий фон в качестве дополнительных данных. * Разработана усовершенствованная методика полуавтоматической оценки карт распределения внимания и сжатия видео с использованием карт внимания. * Проведена серия экспериментов по анализу утомляемости зрителей, вызванной просмотром стереоскопического видео, содержащего искажения. * Разработана система удаленного присутствия с использованием шлема виртуальной реальности. * Разработан алгоритм калибровки вертикального диспаритета стерео-микроскопа на основе анализа изображений. Результаты опубликованы в сборнике трудов конференции Графикон-2016. * Предложен новый метод "прожига" для реализации Монте-Карло трассировки лучей или путей по методу Metropolis Light Transport (MLT) на GPU. Результаты опубликованы в сборнике трудов конференции Графикон-2016. | ||
5 | 1 января 2017 г.-31 декабря 2017 г. | Анализ и синтез компьютерной мультимедийной информации |
Результаты этапа: 1) Разработан и опубликован алгоритм выделения движущихся объектов на основе нейросетвых признаков и пересегментации изображений. 2) Разработан и опубликован алгоритм поиска оставленных предметов в данных видеонаблюдения. 3) Разработан и опубликован алгоритм определения наличия огня и дыма в видео на основе классификации блоков. 4) Предложен и реализован алгоритм восстановления фрагментов видеопоследовательности, скрытых объектами переднего плана, основанный на использовании непараметрической модели движения и вариационного метода покадрового уточнения. По результатам экспериментальной оценки разработанный алгоритм превзошел 6 аналогов по качеству восстановления. 5) Проведена серия экспериментов по оценке утомляемости зрителей при просмотре стереовидео, содержащего различные искажения. Подготовлен тестовый набор стереовидео, содержащий искажения различных типов и интенсивности. В ходе экспериментов фиксировались как результаты опроса респондентов, так и данные ЭЭГ. 6) Улучшен алгоритм интеграции освещённости на основе группы методов Metropolis Light Transport с поддержкой больших данных геометрии и текстур. 7) Усовершенствован ряд методов анализа кардиологических данных 8) Усовершенствован алгоритм синтеза HDR-видеопоследовательностей в реальном времени. 9) Разработана система удаленного присутствия с использованием шлема виртуальной реальности |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".