- PowerPoint PPT Presentation

Обзор методов стабилизации видео Максим Колиниченко Video Group CS MSU Graphics & Media Lab

Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Video completion  Заключение CS MSU Graphics & Media Lab (Video Group) 2 www.compression.ru/video/

Only for Maxus  Постановка задачи Движение в кадре:  Движение объектов  Намеренное движение камеры  Случайное движение камеры (дрожание) Задача – удаление дрожания Методы:  Аппаратная стабилизация (во время съемки)  Программная стабилизация (постобработка) CS MSU Graphics & Media Lab (Video Group) 3 www.compression.ru/video/

Only for Maxus  Аппаратная стабилизация Стабилизаторы:  Оптические  С подвижной матрицей  Цифровые Во всех случаях перемещения камеры фиксируются акселерометром CS MSU Graphics & Media Lab (Video Group) 4 www.compression.ru/video/

Only for Maxus  Аппаратная стабилизация Оптический стабилизатор Система подвижных линз. При малых колебаниях обеспечивает неподвижность проекции изображения на матрицу Единственный способ стабилизации для пленочных камер CS MSU Graphics & Media Lab (Video Group) 5 http://pz-rec.ru/userfiles/article_img/opticheskiy_stabilizator.jpg www.compression.ru/video/

Only for Maxus  Аппаратная стабилизация Подвижная матрица Матрица закреплена на подвижной платформе Стабилизация работает с любой оптикой http://rix.com.ua/sm/site/fileslibrary/2009_rew_aut/fototechnika/ CS MSU Graphics & Media Lab (Video Group) 6 pentax_k10d_stab.jpg www.compression.ru/video/

Only for Аппаратная стабилизация Maxus  Цифровая стабилизация Около 40% пикселей на матрице не участвуют в формировании изображения Самый дешевый способ стабилизации http://photogid.com.ua/upload-files/canon5d/matrix-Canon-EOS- CS MSU Graphics & Media Lab (Video Group) 7 5D-Mark-II.jpg www.compression.ru/video/

Only for Maxus  Программная стабилизация Основные этапы  Сглаживание траектории камеры  Удаление motion blur  Формирование новых кадров  Обрезка изображений  Заполнение пустых областей Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video CS MSU Graphics & Media Lab (Video Group) Stabilization", IEEE Computer Society Conference on Computer 8 www.compression.ru/video/ Vision and Pattern Recognition, 2005

Only for Maxus  Содержание  Введение  Сглаживание траектории  Традиционный подход  Optimal Camera Path  Удаление motion blur  Video completion  Заключение CS MSU Graphics & Media Lab (Video Group) 9 www.compression.ru/video/

Only for Maxus  Сглаживание траектории Задача: Определить траекторию движения камеры 1. Построить новую траекторию, 2. сохраняющую плавные намеренные движения камеры, и устранить дрожание CS MSU Graphics & Media Lab (Video Group) 10 www.compression.ru/video/

Only for Maxus  Традиционный подход  Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video CS MSU Graphics & Media Lab (Video Group) Stabilization", IEEE Computer Society Conference on Computer 11 www.compression.ru/video/ Vision and Pattern Recognition, 2005

Only for Maxus  Результат  Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video CS MSU Graphics & Media Lab (Video Group) Stabilization", IEEE Computer Society Conference on Computer 12 www.compression.ru/video/ Vision and Pattern Recognition, 2005

Only for Maxus  Выводы Достоинства:  Траектория становится более гладкой, подавляются высокочастотные колебания  Сохраняется направление намеренного движения Недостатки:  Низкочастотные колебания (шагающий человек) сохраняются  Съемка все равно отличается от профессиональной Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video CS MSU Graphics & Media Lab (Video Group) Stabilization", IEEE Computer Society Conference on Computer 13 www.compression.ru/video/ Vision and Pattern Recognition, 2005

Only for Maxus  Содержание  Введение  Сглаживание траектории  Традиционный подход  Optimal Camera Path  Удаление motion blur  Video completion  Заключение CS MSU Graphics & Media Lab (Video Group) 14 www.compression.ru/video/

Only for Maxus  Идея алгоритма Заменить траекторию камеры на ту, которая содержит только участки с постоянной координатой, скоростью или ускорением M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 15 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Алгоритм Задача  M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 16 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Алгоритм Maxus  Ограничения  Вложенность. Новый кадр должен целиком содержаться в старом. Гарантируем корректность всех пикселей нового кадра  Приближение. Новая траектория должна сохранять основное направление оригинальной M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 17 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Алгоритм Минимизация производных  M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 18 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Алгоритм Параметризация  M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 19 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Алгоритм Линейное программирование Сформулируем усиленную задачу линейного программирования Задача решается симплекс - методом M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 20 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Алгоритм Весовые коэффициенты  M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 21 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Результаты  Траектория соответствует кинематографическим принципам  Гибкий алгоритм. Добавляя и убирая ограничения , можем управлять его поведением M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 22 Vision and Pattern Recognition, 2011 www.compression.ru/video/

Only for Maxus  Результаты Видео Результат Оригинал M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer CS MSU Graphics & Media Lab (Video Group) 23 Vision and Pattern Recognition, 2011 www.compression.ru/video/