T i me S e r i e s D a t a b a s e s a n d S t - PowerPoint PPT Presentation

T i me S e r i e s D a t a b a s e s a n d S t r e a mi n g a l g o r i t h ms

I n t r o d u c t i o n a n d mo t i v a t i o n f o r T i me S e r i e s

F i n a n c i a l

I n t e r n e t o f t h i n g s

D o mo t i c s

P r e d i c t i v e Ma i n t e n a n c e

E n v i r o n me n t a l t r a c k i n g

A t i me s e r i e s i s a s e q u e n c e o f d a t a p o i n t s , t y p i c a l l y c o n s i s t i n g o f s u c c e s s i v e me a s u r e me n t s ma d e o v e r a t i me i n t e r v a l .

Wh y T i me S e r i e s D a t a b a s e s ? ● H i g h V o l u me o f D a t a ● L a r g e Q u a n t i t i e s o f I mmu t a b l e D a t a ● I s P r i ma r i l y S o r t e d T e mp o r a l l y ● N e e d s t o B e R o l l e d U p T o G a i n Ma j o r i t y o f I n s i g h t s ● N e e d s t o B e N o r ma l i z e d A c r o s s Mu l t i p l e T i me Z o n e s https://blog.tempoiq.com/blog/2013/01/25/characteristics-of-a-time-series-dataset-time-series-database-overview-part-2

P r o b l e ms u s i n g R e l a t i o n a l D B s 1 . I t ’ s D i ffic u l t t o C h a n g e t h e S a mp l e R a t e 2 . I t ’ s D i ffic u l t T o U s e S Q L Q u e r i e s F o r A n a l y s i s 3 . T i me Z o n e s A d d E x t r a C o mp l e x i t y T o Y o u r D a t a A n a l y s i s https://blog.tempoiq.com/blog/2013/04/22/optimizing-relational-databases-for-time-series-data-time-series-database- overview-part-3

A d v a n t a g e s o f N o S Q L 1 . G r e a t e r s i mp l i c i t y i n t h e D B e n g i n e 2 . A b i l i t y t o h a n d l e s e mi - s t r u c t u r e d a n d d e n o r ma l i z e d d a t a 3 . P o t e n t i a l l y mu c h h i g h e r s c a l a b i l i t y

D i s a d v a n t a g e s o f N o S Q L 1 . H i g h e r c o mp l e x i t y i n t h e a p p l i c a t i o n 2 . L o s s o f a b s t r a c t i o n p r o v i d e d b y t h e q u e r y o p t i mi z e r

B a s i c O p e r a t i o n s o n T i me S e r i e s D a t a

Wh a t d o w e n e e d t o d o w i t h T S ● A c q u i r e – Me a s u r e me n t , t r a s n mi s s i o n , r e c e p t i o n ● S t o r e ● R e t r i e v e ● A n a l i z e a n d v i s u a l i z e

R e s c a l i n g ● T r a n s f o r m t h e r a n g e o f v a r i a t i o n t o a g i v e n s c a l e ● U s e f u l f o r a l g o r i t h ms s e n s i t i v e t o t h e ma g n i t u d e o f t h e s i g n a l

R e s a mp l i n g ● D i ff e r e n c e s i n s a mp l i n g r e s o l u t i o n ● B r i n g b o t h s e r i e s t o t h e s a me s a mp l e f r e q u e n c y ● R e q u i r e s a f u n c t i o n f o r c o l l a p s i n g p o i n t s t o g e t h e r

S h i f t i n g ● A l i g n s e r i e s w e k n o w a r e mi s a l i g n e d ● B a d r e f e r e n c e t i me , d r i f t i n g c l o c k , . . .

S l i c i n g ● R e t r i e v e a t i me s e r i e s b a s e d o n a g i v e n t i me r a n g e

D y n a mi c T i me Wa r p i n g ● U s e d f o r me a s u r i n g s i mi l a r i t y b e t w e e n s e r i e s t h a t v a r y i n t i me o r s p e e d ● D y n a mi c t i me w a r p i n g i s a s e q u e n c e a l i g n me n t t e c h n i q u e u s e d i n s p e e c h r e c o g n i t i o n ● I t i s a n a l g o r i t h m t h a t h a s O ( n ² ) c o mp l e x i t y

S u b s e q u e n c e Ma t c h i n g ● A s e q u e n c e q u e r y i s ma t c h e d a g a i n s t a l o n g e r T S ● A l s o r e l a t e d w i t h C h u n k i n g w h e r e w e l o o k f o r r e p e a t i n g p a t t e r n s

S t a t i s t i c a l me a s u r e s ● Me a n ● Me d i a n ● S t a n d a r d D e v i a t i o n ● V a r i a n c e ● Q u a n t i l e s

S t a t i s t i c a l fi t t i n g ● I n t e r p o l a t i o n ● L i n e a r mo d e l s ● N o n l i n e a r mo d e l s

D a t a S t o r a g e f o r T i me S e r i e s D a t a

L o g F i l e s 1950 1 0.92000E+00 1950 2 0.40000E+00 1950 3 -0.36000E+00 ● S i mp l e s t s o l u t i o n 1950 4 0.73000E+00 1950 5 -0.59000E+00 1950 6 -0.60000E-01 1950 7 -0.12600E+01 ● R i g h t s o l u t i o n w h e n l o w n u mb e r o f 1950 8 -0.50000E-01 1950 9 0.25000E+00 1950 10 0.85000E+00 1950 11 -0.12600E+01 t i me s e r i e s o r d a t a fi t s i n me mo r y 1950 12 -0.10200E+01 1951 1 0.80000E-01 1951 2 0.70000E+00 1951 3 -0.10200E+01 1951 4 -0.22000E+00 1951 5 -0.59000E+00 1951 6 -0.16400E+01 1951 7 0.13700E+01 1951 8 -0.22000E+00 1951 9 -0.13600E+01 1951 10 0.18700E+01

A d v a n c e d L o g F i l e s ● S a me c o n c e p t a b o u t s t o r i n g T S i n fi l e s ● U s e a s ma r t b i n a r y e n c o d i n g f o r ma t ● A l l o w s l e s s p r o c e s s i n g , a k a n o p a r s i n g ● S t o r e s d a t a mo r e e ffic i e n t l y f o r s c a n r e a d i n g s

A d v a n c e d L o g F i l e s ● L o t s o f b i n a r y f o r ma t s l a t e l y – T h r i f t – A v r o – P a r q u e t We c r e a t e d P a r q u e t t o ma k e t h e a d v a n t a g e s o f c o mp r e s s e d , e ffic i e n t c o l u mn a r d a t a r e p r e s e n t a t i o n a v a i l a b l e t o a n y p r o j e c t i n t h e H a d o o p e c o s y s t e m.

R e l a t i o n a l D a t a b a s e s ● T r u e a n d t e s t e d t e c h n o l o g y v a l i d a t e d i n mu l t i t u d e o f s c e n a r i o s ● A l l o w s i n d e x i n g o u t o f t h e b o x ● A l l o w s d a t a r e p l i c a t i o n a n d s h a r d i n g ( t o s o me e x t e n t )

R e l a t i o n a l D a t a b a s e s ● U s e t h e S t a r S c h e ma ● T h e f a c t t a b l e c o n t a i n s t h e me a s u r e me n t s ● T h e d i me n s i o n t a b l e s c o n t a i n s i n f o a b o u t t h e s e r i e s

R e l a t i o n a l D a t a b a s e s ● T h e S t a r S c h e ma c a n w o r k r e a s o n a b l y t o t h e h u n d r e d s o f mi l l i o n s ● We c a n e v e n i mp l e me n t t h e S t a r S c h e ma i n a N o S Q L d a t a b a s e ● Wh e n d a t a g r o w s t h i s s i z e s e v e r a l p r o b l e ms a r i s e mo s t l y r e l a t e d t o t h e S t a r S c h e ma i t s e l f .

L i mi t a t i o n s o f t h e S t a r S c h e ma ● I t u s e s o n e r o w p e r me a s u r e me n t ● L i mi t a n t s o f r e t r i e v a l s p e e d : – n u mb e r o f r o w s s c a n n e d , – t o t a l n u mb e r o f v a l u e s r e t r i e v e d – t o t a l v o l u me o f d a t a r e t r i e v e d

N o S Q L d a t a b a s e s ● Mo s t o f T S D B s u s e a N o S Q L e n g i n e → – O p e n T S B H b a s e → – I n fl u x D B B o l t D B → – P r o me t h e u s L e v e l D B → – N e w t s C a s s a n d r a