O p t i mi z i n g A c c e s s A c r o s s Mu l - PowerPoint PPT Presentation

O p t i mi z i n g A c c e s s A c r o s s Mu l t i p l e H i e r a r c h i e s i n D a t a Wa r e h o u s e s Q u e r y R e w r i t i n g S t u d e n t : J a d e C h e n g D a t e : Ma y 0 2 , 2 0 1 1 S u p e r v i s o r : D r . L i p y e o w L i m , P h D J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M ā n o a · M a y 2 0 1 1

I n t r o d u c t i o n D a t a Wa r e h o u s i n g O L A P d a t a m a r t c o n s i s t s o f a f a c t t a b l e a n d s e v e r a l d i m e n s i o n s . E a c h d i m e n s i o n i s a s s o c i a t e d w i t h m u l t i p l e c o m p l e x a n d u n b a l a n c e d h i e r a r c h i e s . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

I n t r o d u c t i o n P r i m a r y H i e r a r c h i e s A s e t o f p r i m a r y h i e r a r c h i e s a r e d e f i n e d o n e a c h c o m m o n f a c t t a b l e . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

I n t r o d u c t i o n A p p l i c a t i o n - S p e c i f i c H i e r a r c h i e s A l a r g e n u m b e r o f a p p l i c a t i o n - s p e c i f i c h i e r a r c h i e s e x i s t s . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

I n t r o d u c t i o n C u r r e n t S t r a t e g y P r e - c o m p u t e a g g r e g a t e s f o r s o m e i n t e r n a l n o d e s o f s p e c i f i c a p p l i c a t i o n h i e r a r c h i e s . P r o b l e m s w i t h T h i s S t r a t e g y 1 . T h i s p r e - c o m p u t a t i o n i s u n f e a s i b l e f o r a l l i n t e r n a l n o d e s o f a l l a p p l i c a t i o n h i e r a r c h i e s . 2 . O L A P q u e r y e n g i n e s c a n n o t e x p l o i t p r e c o m p u t e d a g g r e g a t e s a c r o s s h i e r a r c h i e s . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

P r o p o s e d S o l u t i o n P h a s e I – O v e r l a p D i s c o v e r y , O f f - l i n e D i s c o v e r & s t o r e o v e r l a p p i n g r e l a t i o n s h i p s i n t h e h i e r a r c h i e s o f a n O L A P e n v i r o n m e n t . I n p u t : A p r i m a r y h i e r a r c h y . A s e t o f a p p l i c a t i o n - s p e c i f i c h i e r a r c h i e s . A c a t a l o g t a b l e c o n t a i n i n g t h e o v e r l a p p i n g i n f o r m a t i o n b e t w e e n h i e r a r c h i e s . O u t p u t : E x a m p l e c a t a l o g t a b l e : geography-hierarchy-Asia project-hierarchy-Project1 : : J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

P r o p o s e d S o l u t i o n P h a s e I I – Q u e r y R e w r i t e , O n - l i n e R e w r i t e q u e r i e s u s i n g t h e d i s c o v e r e d r e l a t i o n s h i p s . I n p u t : A n a g g r e g a t i o n q u e r y . A n a p p l i c a t i o n - s p e c i f i c h i e r a r c h y . T h e c a t a l o g t a b l e . A n a l t e r n a t e q u e r y f o r m u l a t i o n . O u t p u t : A s s u m p t i o n : C a t a l o g t a b l e s t o r e s t h e p r e - c o m p u t e d o v e r l a p p i n g s u b - h i e r a r c h i e s . T a s k s : F i r s t , f i n d s a l l o v e r l a p p i n g s u b - h i e r a r c h i e s s h a r e d w i t h e v a l u a t e d f o r e s t . S e c o n d , a l t e r t h e i n p u t q u e r y b y r e p l a c i n g t h e c a c h e d s u b - h i e r a r c h i e s . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

P r o g r a m M o d u l e s S y n t h e t i c F o r e s t G e n e r a t i n g Mo d u l e ( f r o m D r . L i m ) G e n e r a t e s a p p l i c a t i o n - s p e c i f i c h i e r a r c h i e s a s a n X ML f i l e . O v e r l a p p i n g D i s c o v e r i n g Mo d u l e ( f r o m D r . L i m ) R e t u r n s a l i s t o f n o d e p a i r s i n d i c a t i n g t h e r o o t s o f m a x i m a l o v e r l a p p i n g s u b - h i e r a r c h i e s . Q u e r y R e w r i t i n g Mo d u l e C h e c k s f o r a l l p o s s i b l e r e w r i t e s a n d r e t u r n s a n a l t e r e d a g g r e g a t i o n q u e r y f o r m u l a t i o n . R a n d o m Q u e r y G e n e r a t i n g Mo d u l e G e n e r a t e s q u e r i e s w i t h s p e c i f i e d s i z e a n d o v e r l a p p i n g a g a i n s t p r e - c o m p u t e d a g g r e g a t e s . B e n c h m a r k Mo d u l e C o n n e c t s t o a My S Q L d a t a b a s e , e x e c u t e s n u m e r o u s q u e r i e s , a n d c o l l e c t s a n a l y s i s d a t a . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1

B e n c h m a r k s P r e p a r a t i o n C r e a t e T a b l e CREATE TABLE db1.table1 ( id INTEGER NOT NULL DEFAULT NULL AUTO_INCREMENT, name TEXT CHARACTER SET latin1 NOT NULL, value INTEGER NOT NULL, PRIMARY KEY (id)) ENGINE = MyISAM ROW_FORMAT = DYNAMIC; P o p u l a t e T a b l e INSERT INTO table1 (name, value) VALUES ('L57', 36); F o r a g i v e n c a t a l o g t a b l e , a l l l e a v e s ( e . g . L57 ) a r e i n s e r t e d w i t h d u m m y d a t a ( e . g . 36 ) . F o r a g i v e n s e t o f r a n d o m l y g e n e r a t e d q u e r i e s , a l l n e c e s s a r y l e a v e s a r e i n s e r t e d . Mo r e d u m m y d a t a i s i n s e r t e d , a n d a l l d a t a i s s h u f f l e d t o a v o i d s e q u e n t i a l a c c e s s . J a d e C h e n g · I C S 6 2 4 F i n a l P r o j e c t · U n i v e r s i t y o f H a w a i ‘ i a t M " n o a · M a y 2 0 1 1