T h e C e p h F S G a t e w a y s S a m b a a - PowerPoint PPT Presentation

T h e C e p h F S G a t e w a y s S a m b a a n d N F S - G a n e s h a D a v i d D i s s e l d o r p d d i s s @s a m b a . o r g S u p r i t i S i n g h s u p r i t i . s i n g h @s u s e . c o m

A g e n d a ● W h y – E x p o r t i n g C e p h F S o v e r S a m b a a n d N F S - G a n e s h a ● W h a t – A r c h i t e c t u r e & F e a t u r e s ● S a m b a ● N F S - G a n e s h a ● H o w – I n t e r o p e r a b i l i t y o f S a m b a a n d N F S - G a n e s h a

C e p h A r c h i t e c u t r e Image Source: http://docs.ceph.com/docs/giant/architecture/

C e p h F S C l i e n t s : S a m b a a n d N F S - G a n e s h a

C e p h F S C l i e n t s : S a m b a a n d N F S - G a n e s h a K-Client Samba NFS- Ganesha

N F S - G a n e s h a

N F S - G a n e s h a ● O p e n s o u r c e ● U s e r s p a c e N F S s e r v e r ● S u p p o r t s m u l t i p l e F i l e s y s t e m B a c k e n d s : – C e p h F S – R G W ( R A D O S G a t e w a y ) – G l u s t e r – G P F S

N F S - G a n e s h a ● O p e n s o u r c e ● U s e r s p a c e N F S s e r v e r ● S u p p o r t s m u l t i p l e F i l S y s t e m B a c k e n d s : – CephFS – R G W ( R A D O S G a t e w a y ) – G l u s t e r – G P F S

N F S - G a n e s h a a n d C e p h F S NFS NFS Mount Point Mount Point NFS-Ganesha Ganesha Kernel CephFS Client libcephfs librgw RADOS Cluster

N F S - G a n e s h a A r c h i t e c t u r e Network Channel Network Channel RPC Dispatcher Duplicate Request RPCSEC_GSS Layer NFSv3, NFSv4 Admin Log DBus FileSystem Abstraction Layer(FSAL) MDCACHE CephFS

N F S - G a n e s h a M o d u l a r A r c h i t e c t u r e ● R P C l a y e r : – u s e s l i b n t i r p c ● F i l e s y s t e m A b s t r a c t i o n l a y e r ( F S A L ) – P r o v i d e s A P I f o r e x p o r t e d n a m e s p a c e ● M e t a d a t a c a c h e ( M D C A C H E ) – C h u n k e d d i r e n t c a c h e ( v e r s i o n 2 . 6 ) ● D b u s I n t e r f a c e – S y s t e m m a n a g e m e n t a n d c o m m u n i c a t i o n ● L o g M a n a g e m e n t – S u p p o r t f o r i n t e r n a l l o g g i n g

N F S - G a n e s h a k e y f e a t u r e s ● S i n g l e n f s - g a n e s h a i n s t a n c e c a n s u p p o r t : – M u l t i p l e e x p o r t s – M u l t i p l e f i l e s y s t e m b a c k e n d – M u l t i p l e P r o t o c o l s ● R P C S E C _ G S S w i t h k r b 5 a u t h e n t i c a t i o n ● D y n a m i c a l l y e x p o r t / u n e x p o r t e n t r i e s u s i n g D B u s

N F S - G a n e s h a C e p h F S f e a t u r e s ● C e p h x a u t h o r i z a t i o n ● R e a d d e l e g a t i o n s ● E x p o r t s u b d i r e c t o r i e s – L o a d b a l a n c i n g

N F S - G a n e s h a H i g h A v a i l a b i l i t y ● P r o b l e m : S i n g l e N F S - G a n e s h a s e r v e r – S i n g l e p o i n t o f f a i l u r e – B o t t l e n e c k – C a n n o t s c a l e w i t h b a c k e n d f i l e s y s t e m . ● S o l u t i o n : C l u s t e r i n g – H i g h a v a i l a b i l i t y – L o a d b a l a n c i n g

N F S - G a n e s h a H A : A c t i v e - P a s s i v e Virtual IP Pacemaker/Corosync NFS-Client mount -t nfs <Virtual_IP> /mnt

N F S - G a n e s h a H A : A c t i v e - P a s s i v e Virtual IP Pacemaker/Corosync NFS-Client mount -t nfs <Virtual_IP> /mnt

N F S - G a n e s h a H A : A c t i v e - A c t i v e Pacemaker/Corosync NFS-Client mount -t nfs <Virtual_IP> /mnt

S a m b a

S a m b a ● F i l e a n d p r i n t s h a r i n g – S M B / C I F S , S M B 2 a n d S M B 3 + d i a l e c t s ● A u t h e n t i c a t i o n – N T L M v 2 a n d K e r b e r o s ● I d e n t i t y m a p p i n g SIDs uids gids – W i n d o w s t o a n d – A c t i v e D i r e c t o r y d o m a i n m e m b e r o r d o m a i n c o n t r o l l e r

P r o t o c o l ● S M B / C I F S – L e g a c y d i a l e c t – H u n d r e d s o f c o m m a n d s a n d s u b c o m m a n d s – U N I X e x t e n s i o n s ● S M B 2 – C l e a n b r e a k f r o m o l d d i a l e c t s – M o d e r n , s i m p l i f i e d p r o t o c o l w i t h i m p r o v e d p e r f o r m a n c e

P r o t o c o l ( c o n t i n u e d ) ● S M B 2 . 1 → S M B 3 . 1 . 1 – M o s t r e c e n t p r o t o c o l r e v i s i o n s – L e a s e i m p r o v e m e n t s – R D M A e x t e n s i o n s – M u l t i c h a n n e l – W i t n e s s P r o t o c o l – E n d - t o - e n d e n c r y p t i o n

C l i e n t s ● W i n d o w s – R e f e r e n c e c l i e n t – P r o t o c o l s p e c i f i c a t i o n p u b l i s h e r ● m a c O S – A F P r e p l a c e d b y S M B 2 a s d e f a u l t f o r M a v e r i c k s ( 2 0 1 3 ) ● L i n u x – C I F S k e r n e l m o d u l e a n d S a m b a s m b c l i e n t

C l u s t e r e d T r i v i a l D a t a b a s e ( C T D B ) ● S a m b a p e r s i s t e n t s t a t e s t o r e d i n T D B k e y - v a l u e s t o r e ● S h a r e s o m e o f t h i s s t a t e a c r o s s m u l t i p l e n o d e s – C l u s t e r c o n s i s t e n t d a t a b a s e – R e l i a b l e m e s s a g i n g ● H A f e a t u r e s b o l t e d o n – M o n i t o r i n g a n d f a i l o v e r

C T D B ● N o d e s p a r t i c i p a t e i n e l e c t i o n o f r e c o v e r y m a s t e r ● R e c o v e r y m a s t e r m o n i t o r s s t a t e o f c l u s t e r ● P e r f o r m s d a t a b a s e r e c o v e r y i f n e c e s s a r y – C l u s t e r - w i d e m u t e x u s e d t o p r e v e n t s p l i t b r a i n ● “ T i c k l e ” c l i e n t s o n I P f a i l o v e r

Samba TDB Ceph VFS module libcephfs

S a m b a C e p h I n t e g r a t i o n ● C fs_ceph e p h F S m o d u l e f o r S a m b a : v – M a p s S M B f i l e a n d d i r e c t o r y I / O t o l i b c e p h f s A P I c a l l s ● S t a t i c c e p h x c r e d e n t i a l s – R e g a r d l e s s o f S a m b a a u t h e n t i c a t e d u s e r ● P O S I X A C L s

S a m b a C e p h I n t e g r a t i o n ● C e p h R A D O S c l u s t e r e d m u t e x h e l p e r f o r C T D B ● C (coming soon) e p h l i b r a d o s s e r v i c e i n t e g r a t i o n

T e s t i n g ● S a m b a s m b t o r t u r e ● c i f s . k o f s t e s t s ● I n t e r o p e r a b i l i t y – M a c O S , W i n d o w s , H y p e r - V , e t c .

P e r f o r m a n c e