D e p l o y i n g C e p h c l u s t e r s w i - PowerPoint PPT Presentation

D e p l o y i n g C e p h c l u s t e r s w i t h S a l t F O S D E M 1 7 – B r u s s e l s – U A 2 . 1 1 4 ( B a u d o u x ) J a n F a j e r s k i S o f t w a r e E n g i n e e r j f a j e r s k i @s u s e . c o m

S a l t s t a c k “ S o f t w a r e t o a u t o m a t e t h e m a n a g e m e n t a n d c o n fi g u r a t i o n o f a n y i n f r a s t r u c t u r e o r a p p l i c a t i o n a t s c a l e . ” ● C o n fi g u r a t i o n ma n a g e me n t a n d r e mo t e e x e c u t i o n ● B a s e d o n P y t h o n , J i n j a a n d Z e r o M Q ● M a s t e r a p p l i e s s t a t e t o M i n i o n s ● S t a t e s d e fi n e d e p e n d e n c i e s a s D A G 2

C e p h “ C e p h i s a u n i fi e d , d i s t r i b u t e d s t o r a g e s y s t e m d e s i g n e d f o r e x c e l l e n t p e r f o r m a n c e , r e l i a b i l i t y a n d s c a l a b i l i t y . ” ● P r o v i d e s b l o c k , o b j e c t a n d fi l e s y s t e m s t o r a g e ● S c a l a b l e , f a u l t - t o l e r a n t a n d s e l f h e a l i n g ● D e s i g n e d t o r u n o n c o mmo d i t y h a r d w a r e 3

D e e p S e a ● C o l l e c t i o n o f S a l t fi l e s f o r C e p h c l u s t e r c r e a t i o n a n d ma n a g e me n t ● G o a l s : ● S t a r t a f t e r O S i n s t a l l e d a n d s a l t s e t u p ● A u t o m a t e h a r d w a r e d i s c o v e r y ● F i n d p r o b l e m s b e f o r e t h e y a r e d e p l o y e d ● M a n a g e c o m p l e t e c l u s t e r l i f e c y c l e ● O p e n s o u r c e – G P L v 3 ● S t a t u s : d i s c o v e r y , d e p l o y me n t a n d b a s i c ma n a g e me n t w o r k s B u g r e p o r t s a n d c o n t r i b u t i o n s w e l c o me h t t p s : / / g i t h u b . c o m/ S U S E / D e e p S e a 4

D e e p S e a – b a s i c w o r k fl o w ● I n s t a l l O S , s a l t , a c c e p t mi n i o n k e y , i n s t a l l D e e p S e a ● R u n D e e p S e a s t a g e s : ● 0 – P r e p a r a t i o n : s y n c s a l t , u p d a t e k e r n e l ● 1 – D i s c o v e r y : q u e r y m i n i o n s h a r d w a r e & n e t w o r k , w r i t e c o n fi g f r a g m e n t s ● M a n u a l s t e p : c r e a t e y o u r p o l i c y . c f g w h i c h g o v e r n s y o u r c l u s t e r t o p o l o g y ● 2 – C o n fi g u r a t i o n : a s s e m b l e c o n fi g u r a t i o n a n d p u s h t o m i n i o n s ● 3 – D e p l o y me n t : i n s t a l l c e p h , d e p l o y c o n fi g u r a t i o n , s t a r t C e p h ● 4 – S e r v i c e s : s t a r t e x t r a c e p h s e r v i c e s : M D S , r g w , i s c s i ● C a n b e mu c h mo r e c o mp l e x ● S t a g e 5 i mp l e me n t s r e mo v a l o f c o mp o n e n t s 5

D e e p S e a ● S t a g e s a r e o r c h e s t r a t i o n fi l e s n s a l t - r u n s t a t e . o r c h c e p h . s t a g e . ● T h e s e c a l l s a l t s t a t e s w i t h c o r r e c t t a r g e t i n g b a s e d o n r o l e a s s i g n me n t s ● S t a t e s c a n b e c a l l e d ma n u a l l y ● C o mmo n p a t t e r n – i n i t . s l s r e d i r e c t i o n : i n c l u d e : - . { { s a l t [ ' p i l l a r . g e t ' ] ( ' m o n _ i n i t ' , ' d e f a u l t ' ) } } ● R e q u i r e s a mi n i o n o n t h e ma s t e r n o d e 6

L e t ’ s t r y i t 7

D e mo C l u s t e r ● C l u s t e r o f 1 0 k v m ma c h i n e s ● 1 G B R A M , 1 C P U , 2 n e t w o r k i n t e r f a c e s ● O S D n o d e s i n t w o fl a v o u r s ● 4 O S D n o d e s w i t h 5 x 5 G B d r i v e s ● 2 O S D n o d e s w i t h 1 x 1 G B d r i v e + 5 x 5 G B d r i v e s ● 3 2 d r i v e s o v e r a l l ● C o n v i e n i e n t l y n a me d : ● m o n [ 1 , 2 , 3 ] ● d a t a [ 1 – 6 ] ● a d m i n 8

S t a g e 0 - P r e p a r a t i o n ● ma k e s u r e a l l mi n i o n s a r e i n t h e s a me s t a t e ● i s s t i l l r a t h e r S U S E s p e c i fi c – b e i n g w o r k e d o n ● c a n b e s k i p p e d ● S y n c s a l t , a d d r e p o s t o z y p p e r , i n s t a l l a f e w p a c k a g e s , u p d a t e s ● M i g h t r e b o o t y o u r mi n i o n s . . . i n c l u d i n g t h e ma s t e r 9

S t a g e 1 - D i s c o v e r y ● Q u e r y mi n i o n s f o r s t o r a g e h a r d w a r e a n d n e t w o r k c o n n e c t i o n s ● Wr i t e c o n fi g f r a g me n t s t o / s r c / p i l l a r / c e p h / p r o p o s a l s / ● C l u s t e r a s s i g n m e n t ● R o l e a s s i g n m e n t ● S o m e c e p h c o n fi g u r a t i o n ● S t o r a g e p r o fi l e s ● ~ p e r f r a g me n t a n d mi n i o n o n e fi l e 1 0

1 1

1 2

P o l i c y . c f g ● C e n t r a l c o n fi g u r a t i o n fi l e ● C h o o s e w h i c h c o n fi g f r a g me n t s t o u s e ● S u p p o r t s g l o b s , l i s t s l i c i n g a n d r e g e x ● O r d e r i s i mp o r t a n t – o p t i o n s c a n b e o v e r w r i t t e n 1 3

1 4

1 5

1 6

1 7

1 8

1 9

2 0

S t a g e 2 - C o n fi g u r a t i o n ● P u l l s i n c o n fi g f r a g me n t s a s s p e c i fi e d i n p o l i c y . c f g ● B a s e d o n s t a c k . p y – me r g e s y a ml fi l e s ( i n c l u d e d s i n c e 2 0 1 6 . 3 ) ● O p t i o n t o c u s t o mi z e s p e c i fi c o p t i o n s ● / s r v / p i l l a r / c e p h / s t a c k / d e f a u l t – d e f a u l t c r e a t e d b y D e e p S e a ● / s r v / p i l l a r / c e p h / s t a c k – c u s t o m o p t i o n s f o r s p e c i fi c m i n i o n s ● C $ m i n i o n h e c k c o n fi g w i t h s a l t p i l l a r . i t e m s 2 1

S t a g e 3 - d e p l o y me n t ● V a l i d a t e s s e t u p ● A u t h e n t i c a t e k e y r i n g s ● I n s t a l l c e p h ● C r e a t e s M O N c l u s t e r ● C r e a t e s O S D s ● C r e a t e s p o o l ( s ) 2 2

2 3

2 4

C u s t o mi z e a d e p l o y me n t 2 5

C h o o s e p r o fi l e ● C h o o s e p r o fi l e w i t h o s d j o u r n a l o n s e p a r a t e p a r t i t i o n ● D e e p S e a w i l l g e n e r a t e t h i s f o r S S D / H D D h a r d w a r e ● C a n a l s o b e h a n d - c r a f t e d 2 6

O n r e a l h a r d w a r e : 2 7

B e h a v i o r c u s t o mi s a t i o n ● D e mo V M s e t u p i s n o t a t y p i c a l C e p h d e p l o y me n t ● B e h a v i o r i s e a s i l y a l t e r e d – r e d i r e c t i o n p a t t e r n ● A d d c u s t o m me t h o d f o r O S D d e p l o y me n t ● C o n fi g u r e d e s i r e d me t h o d i n t h e p i l l a r 2 8

2 9

3 0

B e y o n d d e p l o y me n t 3 1