M a s s i v e S c a l e - o u t o f E x p e n - PowerPoint PPT Presentation

M a s s i v e S c a l e - o u t o f E x p e n s i v e C o n t i n u o u s Q u e r i e s E r i k Z e i t l e r a n d T o r e R i s c h D e p a r t m e n t o f I n f o r m a t i o n T e c h n o l o g y U p p s a l a U n i v e r s i t y P r e s e n t e d b y H a i k a l P r i b a d i

M a s s i v e S c a l e - o u t o f E x p e n s i v e C o n t i n u o u s Q u e r i e s M o t i v a t i o n a n d C o n t r i b u t i o n S p l i t s t r e a m f u n c t i o n s S t r e a m p r o c e s s e s i n d i s t r i b u t e d e n v i r o n m e n t E v a l u a t i o n R e l a t e d a n d f u t u r e w o r k

M o t i v a t i o n a n d C o n t r i b u t i o n

M o t i v a t i o n R e a l t i m e d e c i s i o n m a k i n g – S c i e n t i f i c c o m p u t i n g , e n g i n e e r i n g , n e t w o r k t r a f f i c , p h o n e c o n v e r s a t i o n s , A T M t r a n s a c t i o n s , w e b s e a r c h e s , a n d s e n s o r d a t a Q u e r i e s o f m a s s i v e d a t a s t r e a m s E x p e n s i v e c o m p u t a t i o n R e q u i r e s s p l i t t i n g s t r e a m i n t o p a r a l l e l s u b s t r e a m s

P r o b l e m w i t h s t r e a m s p l i t t i n g B e c o m e s a b o t t l e n e c k f o r i n p u t s s t r e a m s o f H i g h v o l u m e C o m p l e x p a r a l l e l i z a t i o n c o n d i t i o n M a s s i v e p a r a l l e l i z a t i o n o f q u e r y o p e r a t o r s

C o n t r i b u t i o n P a r a s p l i t A s p l i t s t r e a m f u n c t i o n E l i m i n a t e s b o t t l e n e c k o f s t r e a m s p l i t t i n g – P a r a l l e l i z e s t r e a m s p l i t t i n g o p e r a t o r A c h i e v e s m a x r a t e o f n e t w o r k b o u n d

C o n c e p t : d a t a p a r a l l e l s t r e a m p r o c e s s i n g I n p u t s t r e a m S S p l i t i n t o q p a r a l l e l s t r e a m Q u e r y o p e r a t o r Q a r e e x e c u t e d o n s u b s t r e a m s S u b s t r e a m s m a p t o p a r a l l e l C P U s : P Q , j = 1 . . q j T u p l e s i n a s p l i t s t r e a m m a y b e : – p a r t i t i o n e d – r e p l i c a t e d

S t r e a m F u n c t i o n s

S p l i t s t r e a m f u n c t i o n b a s i c s i g n a t u r e S p l i t s t r e a m ( s t r e a m s , i n t e g e r q , f u n c t i o n r f n , → f u n c i o n b f n ) v e c t o r o f s t r e a m s v s : i n p u t s t r e a m q : o u t p u t s p l i t r f n : r o u t i n g f u n c t i o n b f n : b r o a d c a s t f u n c t i o n

P r o b l e m : r o u t i n g a n d b r o a d c a s t f u n c t i o n s b e c o m e b o t t l e n e c k s o n h i g h v o l u m e s t r e a m s

P a r a s p l i t f u n c t i o n P a r a s p l i t ( s t r e a m s , i n t e g e r q , f u n c t i o n r f n , f u n c i o n → b f n ) v e c t o r o f s t r e a m s v E l i m i n a t e s t h e t h e b o t t l e n e c k b y s c a l i n g o u t e x e c u t i o n o f r f n a n d b f n i n a d d i t i o n t o Q D y n a m i c a l l y c r e a t e s d i s t r i b u t e d e x e c u t i o n p l a n f o r s t r e a m p r o c e s s e s

P a r a s p l i t f u n c t i o n Wi n d o w r o u t e r , P R : r a n d o m l y s p l i t s s t r e a m w i n d o w s i n t o p p a r a l l e l s u b s t r e a m – R a n d o m r o u t i n g e l i m i n a t e s d e l a y – Wi n d o w s i z e c a n b e c o n f i g u r e d w i t h h i g h v o l u m e Wi n d o w s p l i t t e r , P S : s p l i t s s u b t r e a m s a c c o r d i n g t o s p l i t f u n c t i o n s ( r f n a n d b f n ) Q u e r y p r o c e s s o r P Q : m e r g e s a l l r e c e i v e d s u b s t r e a m s i n t o a j l o c a l s t r e a m w h e r e q u e r y o p e r a t o r Q w i l l b e e x e c u t e d . O r d e r o f t u p l e s a r e m a i n t a i n e d t h r o u g h t h e i r t i m e s t a m p .

S t r e a m p r o c e s s e s f o r d i s t r i b u t e d e n v i r o n m e n t

O p e r a t o r s i n a s t r e a m p r o c e s s M e r g e s e v e r a l s t r e a m s i n t o o n e C o m p u t e a c o n t i n u o u s s u b - p l a n o v e r s t r e a m S p l i t s t r e a m i n t o m o d u l e s b e i n g p a r t i t i o n e d o r r e p l i c a t e d

C o s t m o d e l f o r S t r e a m P r o c e s s e s c r : r e a d i n g a n i n p u t t u p l e c p : p o l l i n g i n p u t s t r e a m s c m : m e r g i n g i n p u t s t r e a m s u : n u m b e r o f i n p u t s t r e a m s c q : c o m p u t a t i o n c o s t o n m e r g e d s t r e a m σ: s e l e c t i v i t y o f s u b - p l a n c s : s p l i t t i n g m o d u l e s p e r t u p l e c e : e m i t t i n g a t u p l e t o a n o u t p u t s t r e a m ●

C o s t m o d e l f o r S t r e a m p r o c e s s e s Wi n d o w r o u t e r ( P R ) C = c r W + c s W + c e W P R Wi n d o w S p l i t t e r C = c r W + c s ( o + r + q . b ) + c e ( r + q . b ) P S Q u e r y P r o c e s s o r C Q = c r + p . ( c p + c m ) + O P

H e u r i s t i c f o r a u t o m a t i c p a r a l l e l i z a t i o n Φ P R : m a x s t r e a m r a t e f o r P R Φ P S : m a x s t r e a m r a t e f o r P S ( n b : p a r a l l e l i z e d ) Φ P Q : m a x s t r e a m r a t e f o r P Q ( n b : p a r a l l e l i z e d ) Φ P Φ P Φ P Φ P = m i n ( R , S , Q ) A R A S P L I T

H e u r i s t i c f o r a u t o m a t i c p a r a l l e l i z a t i o n Wi n d o w r o u t e r – L a r g e w i n d o w s i z e , l e s s c o m m u n i c a t i o n – D e t e r m i n e w i n d o w s i z e – P r o f i l e t h e c l u s t e r w i t h d i f f e r e n t w i n d o w s i z e s Wi n d o w s p l i t t e r – P a r a l l e l i z a t i o n x S P r a t e > = D e s i r e d r a t e – C o n s i d e r C a n d C t o c a l c u l a t e o p t i m a l P S P Q p a r a l l e l i z a t i o n o v e r c o s t

E v a l u a t i o n

A c h i e v i n g n e t w o r k b o u n d

S c a l e - u p c o m p a r i s o n – w r t M a x T r e e

P a r a s p l i t E f f i c i e n c y

L i n e a r R o a d B e n c h m a r k

F u t u r e w o r k

F u t u r e Wo r k S c a l i n g o u t p a r a l l e l d a t a b a s e – C o m b i n e h i g h v o l u m e o f i d l e d a t a A d a p t i v e p a r a l l e l i z a t i o n S c h e d u l i n g o f e x e c u t i o n o v e r s t r e a m s