Mean-shift Video - PowerPoint PPT Presentation

Сегментация видео на основе Mean-shift Сергей Матюнин Video Group CS MSU Graphics & Media Lab

Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение CS MSU Graphics & Media Lab (Video Group) 2 www.compression.ru/video/

Only for Maxus  Введение  Почему Mean-shift?  Распространенный  Простая идея  Простая реализация  Относительно невысокая вычислительная сложность  Возможность комбинировать с другими методами  Главный недостаток – необходимость подбирать параметры CS MSU Graphics & Media Lab (Video Group) 3 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 4 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 5 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 6 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 7 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 8 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 9 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge -preserving Smoothing and Mean-shift CS MSU Graphics & Media Lab (Video Group) 10 Segmentation of Video Streams”, ECCV, 2008 www.compression.ru/video/

Only for Maxus  Mean-shift Уменьшение сложности Можно хранить в памяти, какие точки соседние Comaniciu, Meer, “Mean Shift: A Robust Approach Toward CS MSU Graphics & Media Lab (Video Group) 11 Feature Space Analysis”, IEEE PAMI, 2002 www.compression.ru/video/

Only for Maxus  Mean-shift Выбор функции ядра  Выбор функции ядра (форма, размер) – критичная задача  Ядро задает сходство точек, которые нужно поместить в один сегмент CS MSU Graphics & Media Lab (Video Group) 12 www.compression.ru/video/

Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение CS MSU Graphics & Media Lab (Video Group) 13 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Выбор ядра Ядро нужно выбирать несимметричным Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 14 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Выбор ядра Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 15 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Выбор ядра Размер цветового ядра зависит от размеров матрицы . определяется локальной структурой видео (скалярная / диагональная / симметричная). Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 17 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Выбор ядра  Выбор окрестности  Матрица сначала выбирается скалярной , затем постепенно уточняется  Уточнение Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 18 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Уточнение пространственной матрицы Новая матрица : – скаляр – матрица нормализованных собственных векторов – диагональная матрица собственных значений Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 19 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Уточнение пространственной матрицы Новая матрица : – общий объем пространственно - временной окрестности – ориентация ядра в пространстве – относительная длина осей эллипса Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 20 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Уточнение пространственной матрицы  Выделение тонких объектов  Большие сегменты для статичных объектов – компонент наибольшего собственного вектора ( ) = 0.25 Пересчитываем Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 21 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Уточнение цветовых параметров  Если ядро сильно вытянуто, цвет в нем меняется сильнее  Сохранение устойчивости по цвету Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 22 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Общая схема (1/3) Инициализация 1.  Перевод данных в пространство feature points (5D/6D)  Задание начальных значений и   Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 23 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Общая схема (2/3) Вычисление анизотропного ядра 2. Соседние пиксели  Обновление матрицы  Модификация матрицы и с помощью  разложения Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 24 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Общая схема (3/3) Провести несколько итераций вычисления 3. анизотропного ядра Запустить стандартную процедуру 4. Mean-shift Объединить пиксели с одинаковыми 5. конечными точками траектории в сегменты Удалить малые сегменты (опционально) 6. Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 25 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Anisotropic Mean-shift Устойчивость относительно параметров  Фиксирован начальный размер ядра по цвету  Размер пространственного ядра варьируется Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 26 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/

Only for Maxus  Результаты сегментации Пример использования сегментации Wang et al., “Image and Video Segmentation by Anisotropic CS MSU Graphics & Media Lab (Video Group) 27 Kernel Mean Shift”, ECCV, 2004 www.compression.ru/video/