D i s a s t e r R e c o v e r y a n d C e p h - PowerPoint PPT Presentation

D i s a s t e r R e c o v e r y a n d C e p h B l o c k S t o r a g e I n t r o d u c i n g M u l t i - S i t e M i r r o r i n g J a s o n D i l l a m a n R B D P r o j e c t T e c h n i c a l L e a d V a u l t 2 0 1 7

W H A T I S C E P H A L L A B O U T ▪ S o fu w a r e - d e f i n e d d i s t r i b u t e d s t o r a g e ▪ A l l c o m p o n e n t s s c a l e h o r i z o n t a l l y ▪ N o s i n g l e p o i n t o f f a i l u r e ▪ S e l f - m a n a g e w h e n e v e r p o s s i b l e ▪ H a r d w a r e a g n o s t i c , c o m m o d i t y h a r d w a r e ▪ O b j e c t , b l o c k , a n d f i l e i n a s i n g l e c l u s t e r ▪ O p e n s o u r c e ( L G P L ) 2

C E P H C O M P O N E N T S O B J E C T B L O C K F I L E R G W R B D C E P H F S A w e b s e r v i c e s g a t e w a y f o r A r e l i a b l e , f u l l y - d i s t r i b u t e d A d i s t r i b u t e d f i l e s y s t e m w i t h o b j e c t s t o r a g e , c o m p a t i b l e w i t h b l o c k d e v i c e w i t h c l o u d P O S I X s e m a n t i c s a n d s c a l e - o u t S 3 a n d S w i fu p l a t f o r m i n t e g r a t i o n m e t a d a t a m a n a g e m e n t L I B R A D O S A l i b r a r y a l l o w i n g a p p s t o d i r e c t l y a c c e s s R A D O S ( C , C + + , J a v a , P y t h o n , R u b y , P H P ) R A D O S A s o fu w a r e - b a s e d , r e l i a b l e , a u t o n o m o u s , d i s t r i b u t e d o b j e c t s t o r e c o m p r i s e d o f s e l f - h e a l i n g , s e l f - m a n a g i n g , i n t e l l i g e n t s t o r a g e n o d e s a n d l i g h t w e i g h t m o n i t o r s 3

R A D O S B L O C K D E V I C E ▪ B l o c k d e v i c e a b s t r a c t i o n ▪ S t r i p e d o v e r f i x e d - s i z e o b j e c t s ▪ H i g h l i g h t s ▪ B r o a d i n t e g r a t i o n ▪ T h i n l y p r o v i s i o n e d ▪ S n a p s h o t s ▪ C o p y - o n - w r i t e c l o n e s 4

R A D O S B L O C K D E V I C E U s e r - s p a c e C l i e n t L i n u x H o s t L I B R B D K R B D L I B R A D O S L I B C E P H I M A G E U P D A T E S M M M R A D O S C L U S T E R 5

M I R R O R I N G M O T I V A T I O N ▪ M a s s i v e l y s c a l a b l e a n d f a u l t t o l e r a n t d e s i g n ▪ W h a t a b o u t d a t a c e n t e r f a i l u r e s ? ▪ D a t a i s t h e “ s p e c i a l s a u c e ” ▪ F a i l u r e t o p l a n i s p l a n n i n g t o f a i l ▪ S n a p s h o t - b a s e d i n c r e m e n t a l b a c k u p s ▪ D e s i r e o n l i n e , c o n t i n u o u s b a c k u p s ▪ a l a R B D M i r r o r i n g 6

M I R R O R I N G D E S I G N P R I N C I P L E S ▪ R e p l i c a t i o n n e e d s t o b e a s y n c h r o n o u s ▪ I O s h o u l d n ’ t b e b l o c k e d d u e t o s l o w W A N ▪ S u p p o r t t r a n s i e n t c o n n e c t i v i t y i s s u e s ▪ R e p l i c a t i o n n e e d s t o b e c r a s h c o n s i s t e n t ▪ R e s p e c t w r i t e b a r r i e r s ▪ E a s y m a n a g e m e n t ▪ E x p e c t f a i l u r e c a n h a p p e n a n y t i m e 7

M I R R O R I N G D E S I G N F O U N D A T I O N ▪ J o u r n a l - b a s e d a p p r o a c h t o l o g a l l m o d i f i c a t i o n s ▪ S u p p o r t a c c e s s b y m u l t i p l e c l i e n t s ▪ C l i e n t - s i d e o p e r a t i o n ▪ E v e n t l o g s a p p e n d e d i n t o j o u r n a l o b j e c t s ▪ D e l a y a l l i m a g e m o d i f i c a t i o n s u n t i l e v e n t s a f e ▪ C o m m i t j o u r n a l e v e n t s o n c e i m a g e m o d i f i c a t i o n s a f e ▪ P r o v i d e s a n o r d e r e d v i e w o f a l l u p d a t e s t o a n i m a g e 8

J O U R N A L D E S I G N ▪ T y p i c a l I O p a t h w i t h j o u r n a l i n g : a . C r e a t e a n e v e n t t o d e s c r i b e t h e u p d a t e b . A s y n c h r o n o u s l y a p p e n d e v e n t t o j o u r n a l o b j e c t c . U p d a t e i n - m e m o r y i m a g e c a c h e d . B l o c k s c a c h e w r i t e b a c k f o r a fg e c t e d e x t e n t e . C o m p l e t e s I O t o c l i e n t f . U n b l o c k w r i t e b a c k o n c e e v e n t i s s a f e 9

J O U R N A L D E S I G N ▪ I O p a t h w i t h j o u r n a l i n g w / o c a c h e : a . C r e a t e a n e v e n t t o d e s c r i b e t h e u p d a t e b . A s y n c h r o n o u s l y a p p e n d e v e n t t o j o u r n a l o b j e c t c . A s y n c h r o n o u s l y u p d a t e i m a g e o n c e e v e n t i s s a f e d . C o m p l e t e I O t o c l i e n t o n c e u p d a t e i s s a f e 10

J O U R N A L D E S I G N W R I T E S R E A D S U s e r - s p a c e C l i e n t L I B R B D L I B R A D O S J O U R N A L E V E N T S I M A G E U P D A T E S M M M R A D O S C L U S T E R 11

M I R R O R I N G O V E R V I E W ▪ M i r r o r i n g p e e r s a r e c o n f i g u r e d p e r - p o o l ▪ E n a b l i n g m i r r o r i n g i s a p e r - i m a g e p r o p e r t y ▪ R e q u i r e s t h a t t h e j o u r n a l i m a g e f e a t u r e i s e n a b l e d ▪ I m a g e i s p r i m a r y ( R / W ) o r n o n - p r i m a r y ( R / O ) ▪ R e p l i c a t i o n i s h a n d l e d b y r b d - m i r r o r d a e m o n 12

R B D - M I R R O R D A E M O N ▪ R e q u i r e s a c c e s s t o r e m o t e a n d l o c a l c l u s t e r s ▪ R e s p o n s i b l e f o r i m a g e ( r e ) s y n c ▪ R e p l a y s j o u r n a l t o a c h i e v e c o n s i s t e n c y ▪ P u l l s j o u r n a l e v e n t f r o m r e m o t e c l u s t e r ▪ A p p l i e s e v e n t t o l o c a l c l u s t e r ▪ C o m m i t s j o u r n a l e v e n t ▪ T r i m j o u r n a l ▪ T r a n s p a r e n t l y h a n d l e s f a i l o v e r / f a i l b a c k ▪ T w o - w a y r e p l i c a t i o n b e t w e e n t w o s i t e s ▪ O n e - w a y r e p l i c a t i o n b e t w e e n N s i t e s 13

R B D - M I R R O R D A E M O N S I T E A S I T E B C l i e n t R B D - M I R R O R L I B R B D L I B R B D I M A G E I M A G E U P D A T E S U P D A T E S M M M M M M J O U R N A L E V E N T S C L U S T E R A C L U S T E R B 14