Video Group - - PowerPoint PPT Presentation

Обзор методов поиска и сопровождения особых точек

Моисейцев Алексей Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  2

Содержание

 Введение  KLT  IPAN  Particle Video

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  3

Введение

 Задача:

 Сопоставить каждому трехмерному объекту сцены

набор точек, неподвижных относительно объекта, и отслеживать траектории этих точек.

 Применение:

 Определение траекторий движения отдельных

объектов

 Восстановление движения камеры  Выделение информации о перспективе в сцене

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  4

Введение

 Точечная особенность – точка

сцены, окрестность которой можно отличить от всех окрестностей соседних точек сцены.

 Траектория – последовательность

координат точечной особенности в видео.

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  5

Введение

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  6

Введение

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  7

Содержание

 Введение  KLT  IPAN  Particle Video

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  8

KLT (Kanade-Lucas-Tomasi)

Модель движения

• вектор смещения

Аффинная модель движения:

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  9

KLT

Нахождение параметров движения

Минимизация функции

W – окно w(x) – весовая функция I – предыдущий кадр J – следующий кадр

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  10

KLT

Линейная модель Симметричная запись: Линеаризация: Условие

Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  11

Производная ошибки: Условие минимума:

KLT

Линейная модель

Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  12

KLT

Линейная модель Окончательный вид уравнения: Запись в виде СЛАУ:

Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  13

KLT

Нахождение параметров движения

• искомое решение

Решение СЛАУ:

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  14

KLT

Нахождение параметров движения

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  15

KLT

Нахождение параметров движения

 Уравнение Tz =a дает лишь

приближенную оценку на величину смещения d

 Решение: Необходимо делать

несколько итераций!

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  16

KLT

Итеративное решение

J

итерация 1

I

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  17 J

KLT

Итеративное решение

итерация 2

I

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  18 J

KLT

Итеративное решение

итерация 3

I

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  19

KLT

Итеративное решение

 Ошибки в D приводят

к ошибкам в оценке величины смещения d

 Можно искать корни

уравнения Zd = e

 Аффинные

преобразования можно заменить историей областей

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  20

KLT

Выбор особенностей

 Выбор текстурированных областей или

областей с уголками не гарантирует возможность их отслеживания

 Для решения уравнения

желательно иметь хорошо обусловленную матрицу Z

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  21

KLT

Выбор особенностей

 λ1, λ2 – собственные значения Z

 λ1, λ2 < λth

– гладкие области

 λ1 < λth < λ2 – границы  λth < λ1, λ2

– углы

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  22

KLT

Пример работы

оригинальное изображение 4-я итерация 8-я итерация 19-я итерация целевое изображение

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  23

KLT

Пример работы

различие derror,

ошибка смещения

Aerror,

ошибка деформации

d,

смешение

A,

деформация

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  24

KLT

Пример работы

различие d,

смешение

A,

деформация

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  25

KLT

Пример работы

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  26

KLT

Пример работы

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  27

KLT

Пример работы

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  28

KLT

Пример работы

# кадра

Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  29

KLT

 Достоинства

 Учет аффинных преобразований  GPU-реализации

 Недостатки

 Подвержен накоплениям ошибок

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  30 30 30

Содержание

 Введение  KLT  IPAN  Particle Video

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  31

IPAN

 Недостаток предыдущего метода:

 Точки могут перекрываться, что

приводит к разрыву траекторий

 Предположения:

 Неразличимость точек  Гладкое движение  Ограниченная скорость  Короткие по времени перекрытия

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  32

Неразличимость точек

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  33

IPAN

Инициализация Обработка особенностей Постобработка

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  34

IPAN

Функция стоимости



Первое слагаемое отвечает за изменение направления движения



w1 ~ 0.1



Второе слагаемое отвечает за изменение скорости



w2 ~ 0.9

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  35

IPAN

Инициализация

 Pf,i – точечные особенности  S

+ f,i – область достижимости для ТО i из кадра f

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  36

IPAN

Инициализация



Для всех P2,i

 Перебор всех троек (P1,a, P2,i, P3,b)  Подсчет функции стоимости δ(P1,a, P2,q, P3,b)  Поиск лучшего приближения при фиксированном P3,b  Поиск лучшего приближения при фиксированном P1,a  Отсечение плохих приближений: δ(P1,a, P2,q, P3,b) < δmax

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  37

IPAN

Обработка последовательных кадров



Z-точки – точки без связей на Fk-1



B-точки – точки на Fk-1, cвязанные только с Fk-2



Рассматриваются только Z-точки



Обработка аналогична инициализации, но существующие связи не разрушаются

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  38

IPAN

Постобработка

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  39

IPAN

Функция стоимости ve – скорость движения в предыдущем кадре θe – угол направления в предыдущем кадре

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  40

IPAN

Результат работы

Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  41

IPAN

 Достоинства

 Нахождение открытий/закрытий  Сопровождение частично

перекрывающихся траекторий

 Недостатки

 Требуется высокая точность выделения

особенностей

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  42 42 42

Содержание

 Введение  KLT  IPAN  Particle Video

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  43

Particle Video

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  44

Particle Video

Схема алгоритма

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

Нахождение оптического потока Распространение особенностей Связывание особенностей Выделение наложений Уточнение положения Удаление и добавление особенностей Фильтрация потока

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  45

 Алгоритм нахождения оптического

потока – «Черный ящик»

 Пары последовательных кадров

сравниваются независимо

 Используется пирамида изображений

Particle Video

Оптический поток

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  46

Particle Video

Оптический поток

видимости функция я изображени компоненты номер е изображени потока поле

    r k I v u,

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  47

Particle Video

Оптический поток

5 . 1 5 10 ,   

b g l y x

N I I   

• производные яркости по x и y
• ядро гауссиана
• локальное сглаживание
• глобальное сглаживание

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  48

Particle Video

Выделение наложений



Дивергенция потока



Условие открытия



Изменение яркости



Карта наложений

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  49

Particle Video

Фильтрация потока



Билатеральный фильтр



Весовая функция

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  50

Particle Video

Фильтрация потока



Билатеральный фильтр



Ограничения:

 

Работа только рядом с границами

   

05 . 3 ; , , ) , , ( ˆ   t y x g N t y x g

2 2 1 2 1

) ( ) (      y y x x

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  51

Particle Video

Второй проход

Распространение особенностей Связывание особенностей Уточнение положения Удаление особенностей Добавление особенностей

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  52

Particle Video

Распространение особенностей

i

i i y

x v u

частицы координаты потока поле

  , ,

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  53

Particle Video

Связывание особенностей Триангуляция Делоне:

DT(S) – триангуляция Делоне для множества точек S, если никакая точка A из S не содержится внутри окружности, описанной вокруг треугольника из DT(S), такого, что ни одной из вершин его не является точка A.

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  54

Particle Video

Связывание особенностей

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  55

Particle Video

Связывание особенностей Вычисление весов ребер:

 

ребра вес

• j

i D l j

i

,

, 

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  56

Particle Video

Связывание особенностей

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  57

Particle Video

Связывание особенностей

 Вычисление весов особенностей:  Сохранение окна:

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  58

Particle Video

Уточнение положения

 Условие на совпадение окон:  Условие на движение соседей:  Условие на гладкость траектории:

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  59

Particle Video

Уточнение положения

5 . , 4  

f d

 

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  60

Particle Video

Уточнение положения

 Необходимое условие минимума:  Линеаризация:

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  61

Particle Video

Уточнение положения

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  62

Particle Video

Уточнение положения Решение уравнений относительно dxi,dyi:

1. dxi,dyi = 0 2. Вычисление Ψ’ 3. Решение СЛАУ 4. Переход к п.2 5. xi = xi + dxi 6. yi = yi + dyi

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  63

Particle Video

Удаление особенностей

 Если E(i,t) > th, особенность помечается

как найденная неверно

 Если особенность i найдена верно

менее чем на трех кадрах подряд, то она удаляется.

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  64

Particle Video

Добавление особенностей

 Нахождение степени текстурирования  Если расстояние от пикселя (x,y) до

ближайшей особенности больше σ(x,y), то добавить (x,y) в список особенностей

       

 

10 ; , , max arg ,     



y x I N y x I y x

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  65

Particle Video

Добавление особенностей

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  66

Particle Video

Добавление особенностей

σ(x,y)

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  67

Particle Video

Добавление особенностей

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  68

Particle Video

Пример работы

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  69

Particle Video

Пример работы

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  70

Particle Video

Пример работы

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  71

Particle Video

Пример работы

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

http://rvsn.csail.mit.edu/pv/

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  72

Particle Video

Пример работы

Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE

http://rvsn.csail.mit.edu/pv/

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  73

Particle Video

 Достоинства:

 Высокая точность  Обработка закрытий/открытий

 Недостатки:

 Очень низкая скорость работы  Выделение недостоверных особенностей

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  74

Литература

• Particle Video: Long-Range Motion Estimation using Point Trajectories,

Peter Sand, Seth Teller, CVPR, 2006, IEEE

• Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on

Computer Vision and Pattern Recognition, 1994

• Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield,

1997

• Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J.

Verestói, 1998, International Conf. on Pattern Recognition

• Stable 2D Feature Tracking for Long Video Sequences, Jong-Seung

Park, Jong-Hyun Yoon, Chungkyue Kim, 2008, International Journal of Signal Processing, Image Processing and Pattern Recognition,

• Combining local and global motion models for feature point tracking,

Aeron Buchanan, Andrew Fitzgibbon, CVPR, 2007

• High Accuracy Optical Flow Estimation Based on a Theory for Warping,

Thomas Brox, Andr´es Bruhn, Nils Papenberg, and Joachim Weickert, 2004, 8th European Conference on Computer Vision

CS MSU Graphics & Media Lab (Video Group) Only for Maxus  75

Вопросы

?