I n c r e m e n t a l B a c k u p s ( ! ) G o - PowerPoint PPT Presentation

I n c r e m e n t a l B a c k u p s ( ! ) G o o d t h i n g s c o m e i n s m a l l p a c k a g e s J o h n S n o w ( ) y e s , I k n o w S o f t w a r e E n g i n e e r , R e d H a t 2 0 1 7 - 0 2 - 0 5

A c k n o w l e d g m e n t s ( B e c a u s e c o m p u t e r s a r e a w f u l a n d I n e e d h e l p s o m e t i m e s ) N o f e a t u r e i s a n i s l a n d , s o I ' d l i k e t o a c k n o w l e d g e : ● J a g a n e S u n d a r ● I n i t i a l f e a t u r e p r o p o s a l a n d p r i o r w o r k ( 2 0 1 1 ) ● F a m Z h e n g ● I n i t i a l d r a f t s f o r c u r r e n t v e r s i o n ( 2 0 1 4 - 2 0 1 5 ) ● S t e f a n H a j n o c z i & M a x R e i t z ● R e v i e w s a n d p a t i e n c e 2 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

A c k n o w l e d g m e n t s ( B e c a u s e c o m p u t e r s a r e a w f u l a n d I n e e d h e l p s o m e t i m e s ) N o f e a t u r e i s a n i s l a n d , s o I ' d l i k e t o a c k n o w l e d g e : ● V l a d i m i r S e m e n t s o v - O g i e v s k i y , V i r t u o z z o ● A d v a n c e d f e a t u r e s ( P e r s i s t e n c e , M i g r a t i o n ) ● P e r f o r m a n c e e n h a n c e m e n t s ● R e v i e w s , P a t i e n c e , a n d g e n e r a l e x c e l l e n c e ● D e n i s L u n e v , V i r t u o z z o ● D e d i c a t e d a n d p e r s i s t e n t i n v o l v e m e n t 3 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

O v e r v i e w ( T h i n g s I h o p e n o t t o s t a m m e r t h r o u g h ) P r o l o g u e ● P r o b l e m S t a t e m e n t ● A p p r o a c h ● D e s i g n G o a l s A c t I : B u i l d i n g B l o c k s ● B l o c k D i r t y B i t m a p s ● Q M P i n t e r f a c e a n d u s a g e ● Q M P t r a n s a c t i o n s 4 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

O v e r v i e w ( T h i n g s I h o p e n o t t o s t a m m e r t h r o u g h ) A c t I I : L i f e - c y c l e ● I n c r e m e n t a l b a c k u p l i f e - c y c l e ● E x a m p l e s A s i d e : T r a n s a c t i o n s ● B l o c k J o b s ● T r a n s a c t i o n s ● M u l t i - d r i v e C o h e r e n c y ● E r r o r s 5 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

O v e r v i e w ( T h i n g s I h o p e n o t t o s t a m m e r t h r o u g h ) A c t I I I : A d v a n c e d F e a t u r e s ● M i g r a t i o n ● P e r s i s t e n c e ● P u s h v s P u l l m o d e l b a c k u p s ● T O D O s D é n o u e m e n t ● P r o j e c t S t a t u s , Q u e s t i o n s a n d A n s w e r s 6 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

P R O L O G U E ( I n w h i c h o u r h e r o e s c o m e t o k n o w t h e e n e m y )

T h e P r o b l e m ( I j u s t w a n d e r e d i n t o t h i s t a l k , w h a t ' s i t a b o u t ? ) M o n d a y T u e s d a y W e d n e s d a y T h u r s d a y F r i d a y 1 2 8 G i B 1 2 8 G i B 1 2 8 G i B 1 2 8 G i B 1 2 8 G i B G r o s s . ● A b y s m a l s t o r a g e e f fi c i e n c y ● C l u n k y , s l o w ● B u t a d m i t t e d l y s i m p l e a n d c o n v e n i e n t 8 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

T h e P r o b l e m ( I j u s t w a n d e r e d i n t o t h i s t a l k , w h a t ' s i t a b o u t ? ) M o n d a y T u e s d a y W e d n e s d a y T h u r s d a y F r i d a y 1 2 8 G i B 2 G i B 2 . 5 G i B 2 . 2 1 G i B 1 G i B M u c h B e t t e r ! ● E f fi c i e n t : o n l y c o p i e s m o d i fi e d d a t a ● F a s t ! ● M o r e c o m p l i c a t e d . . . ? 9 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

W e l c o m e ! ( Y o u ’ r e i n m y w o r l d n o w ) Q E M U a d d e d p r e l i m i n a r y s u p p o r t f o r i n c r e m e n t a l b a c k u p s i n Q E M U 2 . 4 , 2 0 1 5 - 0 8 - 1 1 . ● ( I c a n ’ t c o m m i t t o e i t h e r U S o r E U d a t e s , s o e n j o y t h i s I S O o n e i n s t e a d ) ● D e v e l o p m e n t i s o n g o i n g a s o f 2 . 8 ● N o t i n c l u d e d a s “ s u p p o r t e d ” i n a R e d H a t p r o d u c t y e t ● S o , i t ’ s m o s t l y f o r t h e b r a v e . ● B u t w e ’ r e n e a r i n g f e a t u r e c o m p l e t i o n . 1 0 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

A p p r o a c h ( W h e r e d i d w e c o m e f r o m ; w h e r e d i d w e g o ) I n c r e m e n t a l L i v e B a c k u p s h a v e a s t o r i e d l i n e a g e . ● J a g a n e S u n d a r ' s L i v e B a c k u p ( 2 0 1 1 ) ● S e p a r a t e C L I t o o l s ● E n t i r e l y n e w n e t w o r k p r o t o c o l ● R a n a s a n i n d e p e n d e n t t h r e a d ● U t i l i z e d t e m p o r a r y s n a p s h o t s f o r a t o m i c i t y ● I m p l e m e n t e d w i t h i n - m e m o r y d i r t y b l o c k b i t m a p s ● W a s u l t i m a t e l y n o t m e r g e d 1 1 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

A p p r o a c h ( W h e r e d i d w e c o m e f r o m ; w h e r e d i d w e g o ) F a m Z h e n g ' s I n c r e m e n t a l B a c k u p ( 2 0 1 4 ) ● A l s o d i r t y s e c t o r b i t m a p b a s e d ● U s e s e x i s t i n g H B i t m a p / B d r v D i r t y B i t m a p p r i m i t i v e s ● N o n e w e x t e r n a l t o o l i n g o r p r o t o c o l s ● M a n a g e d v i a Q M P ● I m p l e m e n t e d s i m p l y a s a n e w b a c k u p m o d e ● C a n b e u s e d w i t h a n y i m a g e f o r m a t ● M a x i m i z e s c o m p a t i b i l i t y w i t h e x i s t i n g b a c k u p t o o l s 1 2 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7

D e s i g n G o a l s ( W h a t d o w e w a n t ? ) ● R e u s e e x i s t i n g p r i m i t i v e s a s m u c h a s p o s s i b l e ● K e y s t r u c t u r e : ' b l o c k d r i v e r d i r t y b i t m a p ' ● A l r e a d y t r a c k s d i r t y s e c t o r s ● U s e d f o r d r i v e m i r r o r i n g , b l o c k m i g r a t i o n ● C o n fi g u r a b l e g r a n u l a r i t y ● M a n y b i t m a p s c a n b e u s e d p e r - d r i v e 1 3 I n c r e m e n t a l B a c k u p s : J o h n S n o w ; F O S D E M 2 0 1 7