V i d e o C o d e c T e s t i n g a n d Q u a - PowerPoint PPT Presentation

V i d e o C o d e c T e s t i n g a n d Q u a l i t y M e a s u r e me n t d r a f t - d a e d e - n e t v c - t e s t i n g - 0 1 T h o ma s D a e d e 1

O v e r v i e w ● O p e r a t i n g c o n d i t i o n s o f c o d e c ● M e t h o d o f q u a l i t y me a s u r e me n t ● T e s t i n g ma t e r i a l 2

A r e W e C o mp r e s s e d Y e t ? ● T e s t i n g d e s c r i b e d i n t h i s p r e s e n t a t i o n i s i mp l e me n t e d a t a r e w e c o mp r e s s e d y e t . c o m 3

O p e r a t i n g P a r a me t e r C h o i c e s ● R a t e c o n t r o l me t h o d ● M a x i mu m d e l a y ● F r a me t y p e p a t t e r n s ● L o o k a h e a d / 2 p a s s 4

J C T - L 1 1 0 0 ● Specifies test sequences and operating conditions – Constant quantizer, no rate control ● Setup is HEVC specific ● Large source of contention for libvpx comparisons 5

C o n fi g u r a t i o n : H i g h - l a t e n c y ● T e s t s e q u e n c e s a r e s h o r t ( 2 - 4 s e c o n d s , d e p e n d i n g o n f r a me r a t e ) , t y p i c a l f o r D A S H s t r e a mi n g o r s t o r e d c o n t e n t ● A l l c o d i n g t o o l s a r e a l l o w e d ● L o n g l o o k a h e a d o r t w o - p a s s i s a l l o w e d ● G o a l i s t o g e t ma x i mu m q u a l i t y p e r fi l e s i z e f o r t e s t s e q u e n c e ● C u r r e n t l y o n l y s u p p o r t e d mo d e i n A W C Y 6

C o n fi g u r a t i o n : L o w - l a t e n c y mo d e ● M u c h l o n g e r s e q u e n c e s ( 1 5 s e c o n d s ) ● N o f r a me d e l a y a l l o w e d – N o l o o k a h e a d – N o o u t - o f - o r d e r f r a me s ● C B R mo d e w i t h b u f f e r mo d e l 7

Q u a l i t y M e a s u r e me n t f a l l s i n t o t w o c a t e g o r i e s : ● O b j e c t i v e ( me t r i c s ) ● S u b j e c t i v e ( h u ma n t e s t i n g ) 8

O b j e c t i v e M e t r i c s ● P S N R – M e a n s q u a r e d e r r o r o n a l o g s c a l e – V e r y e a s y t o u n d e r s t a n d – C o r r e l a t e s p o o r l y w i t h v i s u a l q u a l i t y 9

10

-0.5dB PSNR 11

O b j e c t i v e M e t r i c s ● S S I M – C o mmo n p e r c e p t u a l me t r i c ● P S N R - H V S – P S N R i n t h e f r e q u e n c y d o ma i n , t a k i n g t h e c o n t r a s t s e n s i t i v i t y f u n c t i o n ( C S F ) i n t o a c c o u n t ● F a s t M S - S S I M ( F A S T S S I M ) – S S I M c a l c u l a t e d a t mu l t i p l e s c a l e s t o a c c o u n t f o r t h e C S F 12

O b j e c t i v e M e t r i c s ● S S I M a n d F A S T S S I M g i v e l i n e a r r e s u l t s f r o m 0 - 1 , s o t h e C i mp l e me n t a t i o n s i n t h e D a a l a c o d e b a s e c o n v e r t t o a l o g a r i t h mi c d e c i b e l s c a l e t o ma t c h P S N R a n d P S N R - H V S 13

O b j e c t i v e M e t r i c P i t f a l l s ● O n l y t a k e i n t o a c c o u n t l u ma ● S t i l l i ma g e me t r i c s – I n p u t a n d o u t p u t f r a me s mu s t h a v e a 1 : 1 c o r r e s p o n d e n c e ● I mp l e me n t a t i o n s ma y g i v e s l i g h t l y d i f f e r e n t r e s u l t s – U s e r e f e r e n c e i mp l e me n t a t i o n s i n t h e D a a l a r e p o s i t o r y 14

M e t r i c G r a p h i n g Linear 15

M e t r i c G r a p h i n g Logarithmic 16

B D - r a t e ● C o mp u t e s t h e a r e a d i f f e r e n c e b e t w e e n t w o c u r v e s i n t h e l o g - l o g d o ma i n ● G i v e s a s i n g l e n u mb e r f o r a g i v e n r a n g e ( e . g . c o d e c A g i v e s 5 0 % t h e fi l e s i z e f o r t h e s a me me t r i c s c o r e a s c o d e c B ) 17

B D - r a t e 18

T e s t c l i p s ● T e s t c l i p s o r g a n i z e d i n t o t e s t s e t s ● S t o r e d l o s s l e s s l y ● P r e p r o c e s s i n g a l r e a d y a p p l i e d ( d e i n t e r l a c i n g , f r a me d r o p p i n g , e t c ) ● A l l c l i p s i n t h e s e t s h o u l d h a v e t h e s a me r e s o l u t i o n a n d l e n g t h ● R e d i s t r i b u t a b l e f o r r e p l i c a t i o n o f r e s u l t s 19

T e s t c l i p s ● V i d e o - h d - 2 – 1 0 8 0 p 4 : 2 : 0 c l i p s f r o m D e r f ' s T e s t V i d e o C o l l e c t i o n ( h t t p s : / / me d i a . x i p h . o r g / v i d e o / d e r f / ) ● 4 k T e a r s o f S t e e l ● S c r e e n s h o t s ● N e e d mo r e ! 20

S e e M o r e ● h t t p s : / / w i k i . x i p h . o r g / D a a l a ● D a a l a me t r i c t o o l s – h t t p s : / / g i t . x i p h . o r g / ? p = d a a l a . g i t ● A r e W e C o mp r e s s e d Y e t s o u r c e s : – h t t p s : / / g i t h u b . c o m/ t d a e d e / r d _ t o o l / – h t t p s : / / g i t h u b . c o m/ t d a e d e / a w c y 21

Q u e s t i o n s 22