Video Group CS MSU Graphics & Media Lab - - PowerPoint PPT Presentation

Способы построения и оценки карт салиентности

Максим Харенко

Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Содержание

 Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal

Saliency Detection Model

 Nonparametric Bottom-Up Saliency Detection

by Self-Resemblance

 Сравнение и оценка качества  Заключение

2

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Введение

 Салиентность – это термин обозначающий

свойство объекта, человека, пикселя и т.д. выделяться на фоне группы других, соседних объектов того же типа

 Карты салиентности – вероятность того,

что при первом взгляде человек обратит внимание на конкретные пиксели

3

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Введение

Применение карт салиентности



Сегментация (im, v)



Распознавание объектов (im, v)



Удаление объектов из видео (v)



Зрение роботов (v)



Сжатие (im, v)



Auto Focus (im, v)



Image & video description (im, v)

• S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware

saliency detection,” CVPR, 2010

4



Создание коллажей (im)



Image thumbnailing (im)



Image and video retargeting (im, v)



Art effects (im, v)



Content-aware resize (im)



Web design (im)

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Содержание

 Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal

Saliency Detection Model

 Nonparametric Bottom-Up Saliency Detection

by Self-Resemblance

 Сравнение и оценка качества  Заключение

6

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Реализованные модели

Contex-aware saliency

 Рассмотривается окрестность некоторого пикселя

(квадратный патч вокруг него)

 В изображении ищется k (64 в статье) наиболее

похожих патчей

 Оценивается уникальность этого пикселя

7

Результаты нашей реализации

• S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware

saliency detection,” CVPR, 2010

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Реализованные модели

Saliency from face detection

8

Результаты нашей реализации

 Лица ищутся с помощью Viola/Jones Face Detector  На их месте создаются салиентные области

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Реализованные модели

Saliency from motion

 Оценивается global motion  Оценивается loсal motion  Салиентность в каждой точке считается как

разность loсal и global motion

9

Результаты нашей реализации

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Реализованные модели

Saliency from spectral residual

• X. Hou and L. Zhang, “Saliency detection: A spectral residual

Approach,” CVPR, 2007

10

Saliency map Input image

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Содержание

 Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal

Saliency Detection Model

 Nonparametric Bottom-Up Saliency Detection

by Self-Resemblance

 Сравнение и оценка качества  Заключение

11

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Особенности модели

 Phase Quaternion Fourier Transform  Hierarchical selectivity  Multiresolution approach  Wavelet domain foveation model

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

12

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Novel Quaternion

Representation of an Image

Для входного кадра F(t) рассчитываются функции:

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

13

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Novel Quaternion

Representation of an Image

 Цветовые каналы представляются в виде:  Каналы яркости и движения рассчитываются:

t – пользовательский параметр задержки

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

14

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Novel Quaternion

Representation of an Image

 Кадр F(t) переводится в квантернионное

изображение q(t): где mi, ш = 1, 2, такое, что:

 и представляется в форме:

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

15

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Quaternion Fourier Transform

QFT можно посчитать, используя два стандартных

FFT: (n,m) и (u,v) – положение пикселя в пространственных и частотных координатах

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

16

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Phase QFT

Обратная преобразование рассчитывается при помощи замены знака у экспоненты и индексов суммирования: Таким образом, построено представление частотного домена Q(t) для q(t): где Ф(t) – спектр фаз; м – элементарный кватернион Если установить ||Q(t)|| =1, то останется только интересующая фазовая составляющая

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

17

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

PQFT(1)

Используя обратное преобразование, считается реконструкция Q(t) обозначаемая q’(t), которая может быть представлена в виде: Тогда пространственно-временная карта салиентности где g –2-D фильтр гаусса с дисперсией с

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

18

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

PQFT(2)

Пусть , тогда

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

19

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Поиск focus of attention (FoA)



Есть построенная sM(t) для кадра F(t) в момент времени t



smi(t) = sM(t) , smi(t) – i-я карта салиентности



Oma – наибольшая салиентная область в sdfsdf c координатами



i-тый object candidate area (OCA) вычисляется:



Найденная область обнуляется



Поиск не заканчивается пока для текущего i:

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

20

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Поиск focus of attention

Варьирование переменных

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

21

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Hierarchical Selectivity PQFT

Алгоритм



Предположение: “there may be a hierarchy of units of attention, ranging from intraobject surfaces and parts to multiobject surfaces and perceptual groups”



Количество уровней иерархии Y задается как параметр (в статье y = 3 )



Рассчитываются карты салиентности размером 64x64, 128x128 и 256x256

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

22

Древовидное представление изображения «sheeps»

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Hierarchical Selectivity PQFT

“coarse to fine” подход

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

23

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Hierarchical Selectivity PQFT

Уровни на изображении

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

24

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Multiresolution Wavelet

Domain Foveation Model

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

25

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Сжатие с WDFW

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

26

Compressed size = 328 Kb Original size = 628 Kb

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Сжатие с HS-MWDF

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

27

Compressed size = 261 Kb Original size = 628 Kb

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Сжатие видео

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

28

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение с картами

фиксаций изображений

Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010

29

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Выводы

 Достоинства:

 Real-time  Временные и цветовые каналы  Устойчивость к высокотекстурированному фону

 Недостатоки:

 Сравнение только со схожими или слабыми моделями  Высокая чувствительность к разрешению

30

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Содержание

 Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal

Saliency Detection Model

 Nonparametric Bottom-Up Saliency

Detection by Self-Resemblance

 Сравнение и оценка качества  Заключение

31

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Saliency Detection

by Self-Resemblance

1.

Расчет local steering kernels

2.

Для каждого пикселя строится матрица F center+surrounding region

3.

Салиентность пикселя определяется с помощью алгоритма self-resemblance

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

32 Graphical overview of saliency detection system

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

2-D Local Steering Kernel

Анализируя расстояния, основанные на посчитанных градиентах, получают локальную структуру изображения Эта информация и определяет форму и размер ядра Для каждого пикселя xi моделируется Local Steering Kernel: P – матрица ковариации P – количество пикселей в локальном окне h – сглаживающий параметр

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

33

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

3-D Local Steering Kernel

Local Steering Kernel для центра xi = asdasddz1z2z3z3z – первые производные по соответствующим осям

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

34

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

LSK-weights

K(xl-xi) )) рассчитывается для каждого x и нормализуется весами:

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

35

Устойчивость и надежность LSK-весов

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Вероятностная модель(1)

– center feature matrix для – center + surrounding region feature matrix L – количество feature vectors в N – количество feature matrix в

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

36

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Вероятностная модель(2)

 Введем случайную величину  Салиентность х определяется как вероятность:

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

37

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Вероятностная модель(3)

 По теореме Байеса:  Требуется оценить условную вероятность

p(F|y= 1)

 Для этого используется nonparametric kernel

density estimation

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

38

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Когда оценивается плотность вероятности в конкретной feature point, ядро, с центром в этой точке, распространяет плотность масс поровну во всех пространственных направлениях, уделяя много внимания незначимым областям и мало внимания важным Поэтому строится нормализованная функция:

||.||F – Frobenious norm б – параметр, контролирующий стабильность весов

Self-resemblanse

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

39

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Self-resemblanse

Матрица похожести LSK-векторов

Функция G(. переписывается в виде: где p( Fi, Fj ) – матрица похожести между Fi и Fj, определяемая как “Frobenius inner product”: Эта матрица представляется в виде взвешенной суммы похожестей p(fi,fj) между каждой парой LSK-векторов:

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

40

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Self-resemblanse

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

41

Пример на психологическом шаблоне

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Self-resemblanse

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

42

Пример на изображении

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Self-resemblanse

Салиентность

Салиентность в пикселе x (S = (sdfsdfsdfdfsdfsfs)) это центральное значение нормализованной весовой функции G()

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

43

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Self-resemblanse

Обработка цветовых каналов

44

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Сравнение методов(1)

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

45

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Сравнение методов(2)

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

46

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Схема построения

space-time saliency map

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

47

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Примеры на видео

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

48

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Выводы

 Достоинства:

 Оригинальная вероятностная модель  Альтернатива ME и OF при построении SM во времени  Использование цветов

 Предположительный недостаток:

 Низкая скорость на HD при большом размере окна

окрестностей

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009

49

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Содержание

 Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal

Saliency Detection Model

 Nonparametric Bottom-Up Saliency Detection

by Self-Resemblance

 Сравнение и оценка качества  Заключение

50

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Оценка качества saliency map

 В задачах обнаружения объектов – количество

правильно распознанных объектов

 В задачах сегментации – сравнение точности

границ сегментов

 Визуальное сравнение: группу людей просят

показать «важные» регионы изображения

 Бинарная ручная разметка изображений

и подсчет площади под ROC-кривой

 Объективное и субъективное сравнение с

результатами eye-tracking

51

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Оценка качества saliency map

Eye tracking(1)



В ходе эксперимента испытуемый смотрит в экран



Плавное последовательное движение глаза, когда наблюдатель следит за происходящим на экране, регистрируется аппаратом как фиксация



Фиксации всех зрителей объединяются в карты фиксаций

Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012

52

Система слежения за глазами

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Оценка качества saliency map

Eye tracking(2)



Карты фиксаций нормализуют [0,1] с помощью весов Гаусса



Получается представление вероятности, пиксель в пиксель, что среднестатистический зритель зафиксирует конкретный пиксель

Henderson, J.M.: Diem video and eye tracking database. (http://thediemproject.wordpress.com/)

53

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Базы eye-tracking видео

 TUD

 Eye-tracking видео от 24 человек  Разрешение 1280x720  Сцены из фильмов

 DIEM

 Eye-tracking видео от 30 до 100 человек  Разрешение SD,HD  Фильмы, трейлеры, новости, спорт, реклама,

анимация, документалистика

54

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Оценка качества saliency map

Как же автоматически сравнивать с GT?

Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012

55

motion frequency contrast

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

SAD

56

10 20 30 40 50 60 70 80 90 100 Мotion Frequency Contrast 10 20 30 40 50 60 70 80 90 100

DIEM TUD SAD

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

NCC

57

DIEM TUD

0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 Мotion Frequency Contrast

NCC =

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

PSNR

58

DIEM TUD

2 4 6 8 10 12 14 16 18 20 5 10 15 20 25 30 Мotion Frequency Contrast

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

Моя метрика

59

Ground truth Saliency map Gt(i) Sm(i) LMM = Med((Abs(Gt(i)-Sm(i))) LMA = Sum((Abs(Gt(i)-Sm(i)))/N Gt – вектор значений локальных максимумов на Ground truth Sm – вектор значений соответствующих координат на Saliency map N – количество найденных максимумов

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

LMM

60

DIEM TUD

50 100 150 200 250 300 50 100 150 200 250 Мotion Frequency Contrast

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

LMA

61

DIEM TUD

50 100 150 200 250 Мotion Frequency Contrast 20 40 60 80 100 120 140 160 180 200

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Сравнение метрикой

Similarity

62

DIEM TUD

0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45 0,5 0,1 0,2 0,3 0,4 0,5 0,6 0,7 Мotion Frequency Contrast

Tilke Judd, Fredo Durand and Antonio Torralba, "A Benchmark of Computational Models of Saliency to Predict Human Fixations,” PAMI ,2012

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Субъективное тестирование

63

DIEM TUD

2 4 6 8 10 12 14 16 18 20 2 4 6 8 10 12 14 16 18 20 Мotion Frequency Contrast

Суммарные результаты шести человек

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Оценка метрик для DIEM

64

10 20 30 40 50 60 70 SAD NCC PSNR LMM LMA Similarity 20 40 60 80 100 120 140 160

Баллы: ABC=3 ACB=2 BAC=2 CAB=1 BCA=1 CBA =0 Баллы: ABC=9 ACB=4 BAC=4 CAB=1 BCA=1 CBA =0 Max = 30*3=90 Max = 30*9=270

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Оценка метрик для TUD

65

Баллы: ABC=3 ACB=2 BAC=2 CAB=1 BCA=1 CBA =0 Баллы: ABC=9 ACB=4 BAC=4 CAB=1 BCA=1 CBA =0 Max = 20*3=60 Max = 20*9=180

10 20 30 40 50 60 SAD NCC PSNR LMM LMA Similarity 20 40 60 80 100 120 140 160

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Содержание

 Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal

Saliency Detection Model

 Nonparametric Bottom-Up Saliency Detection

by Self-Resemblance

 Сравнение и оценка качества  Заключение

66

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Заключение

 Улучшить SR до PQFT  Saliency Detection by Self-Resemblance хорошая

модель, идеи можно использовать как улучшение модели Context-aware

 Для обучения классификатора на результатах eye-

tracking стоит использовать метрику similarity или комбинацию similarity+LMA

67

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Литература

1.

• S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency

detection,” CVPR, 2010.

2.

• X. Hou and L. Zhang, “Saliency detection: A spectral residual

Approach”, CVPR, 2007.

3.

Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012.

4.

Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009.

5.

Henderson, J.M.: Diem video and eye tracking database. (http://thediemproject.wordpress.com/)

6.

Tilke Judd, Fredo Durand and Antonio Torralba, “A Benchmark of Computational Models of Saliency to Predict Human Fixations,” PAMI, 2012.

68

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus 

Вопросы?

69

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus  Лаборатория компьютерной

графики и мультимедиа

Видеогруппа — это:

 Выпускники в аспирантурах

Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)

 Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения

видеокодеков

 Более 3 миллионов скачанных фильтров

обработки видео

70