D e p l o y i n g C e p h c l u s t e r s w i - - PowerPoint PPT Presentation

SLIDE 1

D e p l

• y

i n g C e p h c l u s t e r s w i t h S a l t

F O S D E M 1 7 – B r u s s e l s – U A 2 . 1 1 4 ( B a u d

• u

x )

J a n F a j e r s k i S

• f

t w a r e E n g i n e e r j f a j e r s k i @s u s e . c

• m

SLIDE 2

2

S a l t s t a c k

“ S

• f

t w a r e t

• a

u t

• m

a t e t h e m a n a g e m e n t a n d c

• n

fi g u r a t i

• n
• f

a n y i n f r a s t r u c t u r e

• r

a p p l i c a t i

• n

a t s c a l e . ”

• C
• n

fi g u r a t i

• n

ma n a g e me n t a n d r e mo t e e x e c u t i

• n
• B

a s e d

• n

P y t h

• n

, J i n j a a n d Z e r

• M

Q

• M

a s t e r a p p l i e s s t a t e t

• M

i n i

• n

s

• S

t a t e s d e fi n e d e p e n d e n c i e s a s D A G

SLIDE 3

3

C e p h

“ C e p h i s a u n i fi e d , d i s t r i b u t e d s t

• r

a g e s y s t e m d e s i g n e d f

• r

e x c e l l e n t p e r f

• r

m a n c e , r e l i a b i l i t y a n d s c a l a b i l i t y . ”

• P

r

• v

i d e s b l

• c

k ,

• b

j e c t a n d fi l e s y s t e m s t

• r

a g e

• S

c a l a b l e , f a u l t

• t
• l

e r a n t a n d s e l f h e a l i n g

• D

e s i g n e d t

• r

u n

• n

c

• mmo

d i t y h a r d w a r e

SLIDE 4

4

D e e p S e a

• C
• l

l e c t i

• n
• f

S a l t fi l e s f

• r

C e p h c l u s t e r c r e a t i

• n

a n d ma n a g e me n t

• G
• a

l s :

• S

t a r t a f t e r O S i n s t a l l e d a n d s a l t s e t u p

• A

u t

• m

a t e h a r d w a r e d i s c

• v

e r y

• F

i n d p r

• b

l e m s b e f

• r

e t h e y a r e d e p l

• y

e d

• M

a n a g e c

• m

p l e t e c l u s t e r l i f e c y c l e

• O

p e n s

• u

r c e – G P L v 3

• S

t a t u s : d i s c

• v

e r y , d e p l

• y

me n t a n d b a s i c ma n a g e me n t w

• r

k s

B u g r e p

• r

t s a n d c

• n

t r i b u t i

• n

s w e l c

• me

h t t p s : / / g i t h u b . c

• m/

S U S E / D e e p S e a

SLIDE 5

5

D e e p S e a – b a s i c w

• r

k fl

• w
• I

n s t a l l O S , s a l t , a c c e p t mi n i

• n

k e y , i n s t a l l D e e p S e a

• R

u n D e e p S e a s t a g e s :

– P r e p a r a t i

• n

: s y n c s a l t , u p d a t e k e r n e l

• 1

– D i s c

• v

e r y : q u e r y m i n i

• n

s h a r d w a r e & n e t w

• r

k , w r i t e c

• n

fi g f r a g m e n t s

• M

a n u a l s t e p : c r e a t e y

• u

r p

• l

i c y . c f g w h i c h g

• v

e r n s y

• u

r c l u s t e r t

• p
• l
• g

y

• 2

– C

• n

fi g u r a t i

• n

: a s s e m b l e c

• n

fi g u r a t i

• n

a n d p u s h t

• m

i n i

• n

s

• 3

– D e p l

• y

me n t : i n s t a l l c e p h , d e p l

• y

c

• n

fi g u r a t i

• n

, s t a r t C e p h

• 4

– S e r v i c e s : s t a r t e x t r a c e p h s e r v i c e s : M D S , r g w , i s c s i

• C

a n b e mu c h mo r e c

• mp

l e x

• S

t a g e 5 i mp l e me n t s r e mo v a l

• f

c

• mp
• n

e n t s

SLIDE 6

6

D e e p S e a

• S

t a g e s a r e

• r

c h e s t r a t i

• n

fi l e s s a l t

• r

u n s t a t e .

• r

c h c e p h . s t a g e . n

• T

h e s e c a l l s a l t s t a t e s w i t h c

• r

r e c t t a r g e t i n g b a s e d

• n

r

• l

e a s s i g n me n t s

• S

t a t e s c a n b e c a l l e d ma n u a l l y

• C
• mmo

n p a t t e r n – i n i t . s l s r e d i r e c t i

• n

: i n c l u d e :

• .

{ { s a l t [ ' p i l l a r . g e t ' ] ( ' m

• n

_ i n i t ' , ' d e f a u l t ' ) } }

• R

e q u i r e s a mi n i

• n
• n

t h e ma s t e r n

• d

e

SLIDE 7

7

L e t ’ s t r y i t

SLIDE 8

8

D e mo C l u s t e r

• C

l u s t e r

• f

1 k v m ma c h i n e s

• 1

G B R A M , 1 C P U , 2 n e t w

• r

k i n t e r f a c e s

• O

S D n

• d

e s i n t w

• fl

a v

• u

r s

• 4

O S D n

• d

e s w i t h 5 x 5 G B d r i v e s

• 2

O S D n

• d

e s w i t h 1 x 1 G B d r i v e + 5 x 5 G B d r i v e s

• 3

2 d r i v e s

• v

e r a l l

• C
• n

v i e n i e n t l y n a me d :

• m
• n

[ 1 , 2 , 3 ]

• d

a t a [ 1 – 6 ]

• a

d m i n

SLIDE 9

9

S t a g e

• P

r e p a r a t i

• n
• ma

k e s u r e a l l mi n i

• n

s a r e i n t h e s a me s t a t e

• i

s s t i l l r a t h e r S U S E s p e c i fi c – b e i n g w

• r

k e d

• n
• c

a n b e s k i p p e d

• S

y n c s a l t , a d d r e p

• s

t

• z

y p p e r , i n s t a l l a f e w p a c k a g e s , u p d a t e s

• M

i g h t r e b

• t

y

• u

r mi n i

• n

s . . . i n c l u d i n g t h e ma s t e r

SLIDE 10

1

S t a g e 1

• D

i s c

• v

e r y

• Q

u e r y mi n i

• n

s f

• r

s t

• r

a g e h a r d w a r e a n d n e t w

• r

k c

• n

n e c t i

• n

s

• Wr

i t e c

• n

fi g f r a g me n t s t

• /

s r c / p i l l a r / c e p h / p r

• p
• s

a l s /

• C

l u s t e r a s s i g n m e n t

• R
• l

e a s s i g n m e n t

• S
• m

e c e p h c

• n

fi g u r a t i

• n
• S

t

• r

a g e p r

• fi

l e s

• ~

p e r f r a g me n t a n d mi n i

• n
• n

e fi l e

SLIDE 11

1 1

SLIDE 12

1 2

SLIDE 13

1 3

P

• l

i c y . c f g

• C

e n t r a l c

• n

fi g u r a t i

• n

fi l e

• C

h

• s

e w h i c h c

• n

fi g f r a g me n t s t

• u

s e

• S

u p p

• r

t s g l

• b

s , l i s t s l i c i n g a n d r e g e x

• O

r d e r i s i mp

• r

t a n t –

• p

t i

• n

s c a n b e

• v

e r w r i t t e n

SLIDE 14

1 4

SLIDE 15

1 5

SLIDE 16

1 6

SLIDE 17

1 7

SLIDE 18

1 8

SLIDE 19

1 9

SLIDE 20

2

SLIDE 21

2 1

S t a g e 2

• C
• n

fi g u r a t i

• n
• P

u l l s i n c

• n

fi g f r a g me n t s a s s p e c i fi e d i n p

• l

i c y . c f g

• B

a s e d

• n

s t a c k . p y – me r g e s y a ml fi l e s

( i n c l u d e d s i n c e 2 1 6 . 3 )

• O

p t i

• n

t

• c

u s t

• mi

z e s p e c i fi c

• p

t i

• n

s

• /

s r v / p i l l a r / c e p h / s t a c k / d e f a u l t – d e f a u l t c r e a t e d b y D e e p S e a

• /

s r v / p i l l a r / c e p h / s t a c k – c u s t

• m
• p

t i

• n

s f

• r

s p e c i fi c m i n i

• n

s

• C

h e c k c

• n

fi g w i t h s a l t $ m i n i

• n

p i l l a r . i t e m s

SLIDE 22

2 2

S t a g e 3

• d

e p l

• y

me n t

• V

a l i d a t e s s e t u p

• A

u t h e n t i c a t e k e y r i n g s

• I

n s t a l l c e p h

• C

r e a t e s M O N c l u s t e r

• C

r e a t e s O S D s

• C

r e a t e s p

• l

( s )

SLIDE 23

2 3

SLIDE 24

2 4

SLIDE 25

2 5

C u s t

• mi

z e a d e p l

• y

me n t

SLIDE 26

2 6

C h

• s

e p r

• fi

l e

• C

h

• s

e p r

• fi

l e w i t h

• s

d j

• u

r n a l

• n

s e p a r a t e p a r t i t i

• n
• D

e e p S e a w i l l g e n e r a t e t h i s f

• r

S S D / H D D h a r d w a r e

• C

a n a l s

• b

e h a n d

• c

r a f t e d

SLIDE 27

2 7

O n r e a l h a r d w a r e :

SLIDE 28

2 8

B e h a v i

• r

c u s t

• mi

s a t i

• n
• D

e mo V M s e t u p i s n

• t

a t y p i c a l C e p h d e p l

• y

me n t

• B

e h a v i

• r

i s e a s i l y a l t e r e d – r e d i r e c t i

• n

p a t t e r n

• A

d d c u s t

• m

me t h

• d

f

• r

O S D d e p l

• y

me n t

• C
• n

fi g u r e d e s i r e d me t h

• d

i n t h e p i l l a r

SLIDE 29

2 9

SLIDE 30

3

SLIDE 31

3 1

B e y

• n

d d e p l

• y

me n t

SLIDE 32

3 2

S t a g e 4

• s

e r v i c e s

• A

d d a d d i t i

• n

a l s e r v i c e

• M

D S a n d c e p h f s

• I

S C S I

• R

a d

• s

g a t e w a y

• N

F S G a n e s h a

• C

l i e n t n

• d

e s

SLIDE 33

3 3

S t a g e 5

• r

e mo v a l

• N
• d

e s w i l l e v e n t u a l l y b e d e c

• mmi

s s i

• n

e d

• R

e mo v e mi n i

• n

f r

• m

p

• l

i c y . c f g

• R

u n s t a g e s 2 , [ 3 , 4 ] a n d 5

SLIDE 34

3 4

T h a n k y

• u

! Q u e s t i

• n

s ?