Project 2 Q&A Alexandre Alahi Vignesh Ramanathan 1 - PowerPoint PPT Presentation

Project ¡2 ¡Q&A ¡ ¡ Alexandre ¡Alahi ¡ Vignesh ¡Ramanathan ¡ 1 � Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 4-May-15 �

Outline ¡ • TLD ¡Review ¡ • Error ¡metrics ¡ • Code ¡Overview ¡ • Project ¡2 ¡Report ¡ • Project ¡2 ¡PresentaCons ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 2 � 4-May-15 �

Outline ¡ • TLD ¡Review ¡ • Error ¡metrics ¡ • Code ¡Overview ¡ • Project ¡2 ¡Report ¡ • Project ¡2 ¡PresentaCons ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 3 � 4-May-15 �

TLD ¡review ¡ • Tracker ¡& ¡Detector ¡(T&D) ¡are ¡running ¡in ¡parallel ¡ • Both ¡contribute ¡ • “Not ¡visible” ¡is ¡a ¡possible ¡output ¡ • Updates ¡of ¡T&D ¡depends ¡on ¡Learning ¡module ¡(L) ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 4 � 4-May-15 �

TLD: ¡Tracking ¡ • Median-­‑shiQ ¡tracker: ¡ ¡ • Tracker ¡validaCon: ¡ ¡ EsCmate ¡translaCon ¡& ¡scale ¡ Detector ¡is ¡updated ¡If ¡forward-­‑back ward ¡consistent ¡ 5 � Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 4-May-15 �

TLD: ¡DetecCon ¡ • Three ¡stages: ¡ ¡-­‑ ¡1 st ¡stage ¡filtering ¡(patch ¡variance) ¡ ¡-­‑ ¡2 nd ¡stage: ¡DetecCon ¡model ¡ ¡-­‑ ¡3 nd ¡stage ¡classifier: ¡NN, ¡NCC ¡confidence ¡= ¡d -­‑ /(d -­‑ +d + ) ¡ ¡ Ensemble classifier 1-NN classifier 3 1 Patch ( ,..., ) variance Accepted 2 patches 3 1 2 Rejected patches Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 6 � 4-May-15 �

Slide ¡credit ¡from ¡D. ¡Capel ¡ (h\p://vision.cse.psu.edu/seminars/talks/2009/random_`f/ForestsAndFernsTalk.pdf) ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 4-May-15 �

TLD: ¡DetecCon ¡ • Three ¡stages: ¡ ¡-­‑ ¡1 st ¡stage ¡filtering ¡(patch ¡variance) ¡ ¡-­‑ ¡2 nd ¡stage: ¡DetecCon ¡model ¡ ¡-­‑ ¡3 nd ¡stage ¡classifier: ¡NN, ¡NCC ¡confidence ¡= ¡d -­‑ /(d -­‑ +d + ) ¡ ¡ Ensemble classifier 1-NN classifier 3 1 Patch ( ,..., ) variance Accepted 2 patches 3 1 2 Rejected patches Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 8 � 4-May-15 �

TLD: ¡Learning ¡ • P-­‑constraints: ¡ Patches ¡close ¡to ¡trajectory ¡update ¡the ¡detector ¡with ¡PosiCve ¡label ¡ • N-­‑constraints: ¡ Non-­‑maximally ¡confident ¡detecCons ¡update ¡the ¡detector ¡with ¡NegaCve ¡ label ¡ • Both ¡constraints ¡make ¡errors. ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 9 � 4-May-15 �

TLD: ¡Integrator ¡ Tracker � Detector � Integrator � Found box � Found box � No box � Found box � Found box � No box � No box � No box � You ¡need ¡to ¡implement ¡the ¡ ¡ output ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 4-May-15 �

TLD: ¡Learning ¡(init) ¡ • For ¡1 st ¡frame: ¡ – Sample ¡200 ¡P ¡ ¡ ¡ • For ¡other ¡frames: ¡ – Sample ¡100 ¡P ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 4-May-15 �

TLD: ¡Learning ¡(model ¡update) ¡ • Augment ¡both ¡P ¡& ¡N ¡when ¡: ¡ ¡-­‑ ¡the ¡patch ¡is ¡ ¡wrongly ¡classified ¡by ¡NN ¡ ¡ ¡ ¡ ó when ¡integrator ¡relies ¡on ¡tracker ¡response ¡ ¡ • The ¡NN ¡uses ¡a ¡threshold ¡to ¡determine ¡P ¡& ¡N ¡patches ¡ Integrator � NN � Retain Or discard � P � N � Retain as P � N � P � Retain as N � P � P � Discard � N � N � Discard � Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 12 � 4-May-15 �

TLD ¡QuesCons? ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 13 � 4-May-15 �

Outline ¡ • TLD ¡Review ¡ • Error ¡metrics ¡ • Code ¡Overview ¡ • Project ¡2 ¡Report ¡ • Project ¡2 ¡PresentaCons ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 14 � 4-May-15 �

DeviaCon ¡from ¡ground-­‑truth ¡ Ground-­‑truth ¡bounding ¡box ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 15 � 4-May-15 �

DeviaCon ¡from ¡ground-­‑truth ¡ Ground-­‑truth ¡bounding ¡box ¡ Bound ¡box ¡from ¡TLD ¡(confidence) ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 16 � 4-May-15 �

DeviaCon ¡from ¡ground-­‑truth ¡ Ground-­‑truth ¡bounding ¡box ¡ Bound ¡box ¡from ¡TLD ¡(confidence) ¡ Compute ¡overlap ¡as ¡(IntersecCon ¡area)/(Union ¡area) ¡ IntersecCon ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 17 � 4-May-15 �

DeviaCon ¡from ¡ground-­‑truth ¡ Ground-­‑truth ¡bounding ¡box ¡ Bound ¡box ¡from ¡TLD ¡(confidence) ¡ Compute ¡overlap ¡as ¡(IntersecCon ¡area)/(Union ¡area) ¡ Union ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 18 � 4-May-15 �

DeviaCon ¡from ¡ground-­‑truth ¡ Ground-­‑truth ¡bounding ¡box ¡ Bound ¡box ¡from ¡TLD ¡(confidence) ¡ Compute ¡overlap ¡as ¡(IntersecCon ¡area)/(Union ¡area) ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Overlap ¡= ¡0.15 ¡ Overlap ¡= ¡0.7 ¡ Overlap ¡= ¡0.55 ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 19 � 4-May-15 �

Metric ¡1: ¡Average ¡Overlap ¡ overlap ¡between ¡ground-­‑truth ¡and ¡ ¡ ¡ ¡ tracked ¡bounding ¡box ¡in ¡frame ¡#i ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 20 � 4-May-15 �

DeviaCon ¡from ¡ground-­‑truth ¡ Ground-­‑truth ¡bounding ¡box ¡ Bound ¡box ¡from ¡TLD ¡(confidence) ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Overlap ¡= ¡0.1 ¡5 ¡ Overlap ¡= ¡0.7 ¡ Overlap ¡= ¡0.55 ¡ Average ¡Overlap ¡= ¡0.467 ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 21 � 4-May-15 �

Problem ¡with ¡average ¡overlap ¡ Doesn’t ¡account ¡for ¡confidence ¡score ¡from ¡tracking ¡algorithm. ¡ More ¡confident ¡boxes ¡should ¡be ¡weighted ¡higher ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 22 � 4-May-15 �

Metric ¡2: ¡Mean ¡Average ¡Precision ¡ 1. Sort ¡frames ¡by ¡confidence ¡of ¡bounding ¡box ¡from ¡TLD ¡algorithm ¡ Frame ¡#3 ¡ Frame ¡#1 ¡ Frame ¡#2 ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Overlap ¡= ¡0.1 ¡5 ¡ Overlap ¡= ¡0.7 ¡ Overlap ¡= ¡0.55 ¡ Decreasing ¡confidence ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 23 � 4-May-15 �

Metric ¡2: ¡Mean ¡Average ¡Precision ¡ 1. Sort ¡frames ¡by ¡confidence ¡of ¡bounding ¡box ¡from ¡TLD ¡algorithm ¡ 2. A ¡bounding ¡box ¡from ¡TLD ¡is ¡said ¡to ¡be ¡tracked ¡correctly ¡if ¡the ¡overlap ¡> ¡0.5 ¡ ¡ Frame ¡#3 ¡ Frame ¡#1 ¡ Frame ¡#2 ¡ Conf=0.9 ¡ Conf=0.2 ¡ Conf=0.7 ¡ Overlap ¡= ¡0.1 ¡5 ¡ Overlap ¡= ¡0.7 ¡ Overlap ¡= ¡0.55 ¡ Correct ¡ Wrong ¡ Correct ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 24 � 4-May-15 �

Metric ¡2: ¡Mean ¡Average ¡Precision ¡ 1. Sort ¡frames ¡by ¡confidence ¡of ¡bounding ¡box ¡from ¡TLD ¡algorithm ¡ 2. A ¡bounding ¡box ¡from ¡TLD ¡is ¡said ¡to ¡be ¡tracked ¡correctly ¡if ¡the ¡overlap ¡> ¡0.5 ¡ 3. Compute ¡ precision ¡at ¡different ¡values ¡of ¡ recall ¡ ¡ Correct ¡ Wrong ¡ Correct ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 25 � 4-May-15 �

Metric ¡2: ¡Mean ¡Average ¡Precision ¡ 1. Sort ¡frames ¡by ¡confidence ¡of ¡bounding ¡box ¡from ¡TLD ¡algorithm ¡ 2. A ¡bounding ¡box ¡from ¡TLD ¡is ¡said ¡to ¡be ¡tracked ¡correctly ¡if ¡the ¡overlap ¡> ¡0.5 ¡ 3. Compute ¡ precision ¡at ¡different ¡values ¡of ¡ recall ¡ ¡ recall ¡= ¡0.33 ¡ precision ¡= ¡1.0 ¡ Correct ¡ Wrong ¡ Correct ¡ Fei-Fei Li, Alexandre Alahi, Vignesh Ramanathan � Lecture 6 - � 26 � 4-May-15 �