Video Group - PowerPoint PPT Presentation

Обзор методов поиска и сопровождения особых точек Моисейцев Алексей Video Group CS MSU Graphics & Media Lab

Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 2 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  Введение  Задача:  Сопоставить каждому трехмерному объекту сцены набор точек, неподвижных относительно объекта, и отслеживать траектории этих точек.  Применение:  Определение траекторий движения отдельных объектов  Восстановление движения камеры  Выделение информации о перспективе в сцене 3 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  Введение  Точечная особенность – точка сцены, окрестность которой можно отличить от всех окрестностей соседних точек сцены.  Траектория – последовательность координат точечной особенности в видео. 4 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  Введение 5 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  Введение 6 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 7 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  KLT (Kanade-Lucas-Tomasi) Модель движения - вектор смещения Аффинная модель движения: 8 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Нахождение параметров движения Минимизация функции W – окно w(x) – весовая функция – предыдущий кадр I – следующий кадр J 9 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Линейная модель Симметричная запись: Линеаризация: Условие 10 CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

Only for Maxus  KLT Линейная модель Производная ошибки: Условие минимума: 11 CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

Only for Maxus  KLT Линейная модель Окончательный вид уравнения: Запись в виде СЛАУ: 12 CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

Only for Maxus  KLT Нахождение параметров движения Решение СЛАУ: - искомое решение 13 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Нахождение параметров движения 14 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Нахождение параметров движения  Уравнение T z = a дает лишь приближенную оценку на величину смещения d  Решение: Необходимо делать несколько итераций! 15 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Итеративное решение J I итерация 1 16 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  KLT Итеративное решение J I итерация 2 17 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  KLT Итеративное решение J I итерация 3 18 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  KLT Итеративное решение  Ошибки в D приводят к ошибкам в оценке величины смещения d  Можно искать корни уравнения Z d = e  Аффинные преобразования можно заменить историей областей 19 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  KLT Выбор особенностей  Выбор текстурированных областей или областей с уголками не гарантирует возможность их отслеживания  Для решения уравнения желательно иметь хорошо обусловленную матрицу Z 20 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Выбор особенностей  λ 1 , λ 2 – собственные значения Z  λ 1 , λ 2 < λ th – гладкие области  λ 1 < λ th < λ 2 – границы  λ th < λ 1 , λ 2 – углы 21 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы оригинальное 4- я итерация 8- я итерация 19- я итерация целевое изображение изображение 22 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы различие d error , A error , d, A, ошибка ошибка смешение деформация смещения деформации 23 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы различие d, A, смешение деформация 24 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы 25 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы 26 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы 27 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT Пример работы # кадра 28 Good Features to Track, Jianbo Shi, Carlo Tomasi, CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

Only for Maxus  KLT  Достоинства  Учет аффинных преобразований  GPU- реализации  Недостатки  Подвержен накоплениям ошибок 29 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 30 30 30 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  IPAN  Недостаток предыдущего метода:  Точки могут перекрываться, что приводит к разрыву траекторий  Предположения:  Неразличимость точек  Гладкое движение  Ограниченная скорость  Короткие по времени перекрытия 31 Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. CS MSU Graphics & Media Lab (Video Group) Verestói , 1998, International Conf. on Pattern Recognition

Only for Maxus  Неразличимость точек 32 CS MSU Graphics & Media Lab (Video Group)

Only for Maxus  IPAN Обработка Инициализация Постобработка особенностей 33 Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. CS MSU Graphics & Media Lab (Video Group) Verestói , 1998, International Conf. on Pattern Recognition