Pa xo s ma de L ive Ho w Go o g le e mplo ys pa xo s to b uild a - PowerPoint PPT Presentation

Pa xo s ma de L ive Ho w Go o g le e mplo ys pa xo s to b uild a re plic a te d lo g Qing Zhe ng 15799 – Adv T o pic s in DB Syste ms

Distrib ute d Co nse nsus

Distrib ute d Co nse nsus L oc k Se r vic e E xc lusive Ac c e ss • Sync hro niza tio n • … •

Distrib ute d Co nse nsus L oc k Se r vic e Name Se r vic e E xc lusive Ac c e ss Prima ry Co py • • Sync hro niza tio n Pa rtitio n T a b le • • … L e a de r / Ma ste r • • Me mb e rship • Glo b a l Me ta da ta • … •

Chub b y • He lp c lie nts … – sync hro nize a c tivitie s – a g re e o n b a sic info rma tio n a b o ut the ir e nviro nme nt

Wha t sho uld Chub b y Offe r?

Wha t sho uld Chub b y Offe r? • Ag re e me nt

Wha t sho uld Chub b y Offe r? • Ag re e me nt • Hig h T hro ug hput

Wha t sho uld Chub b y Offe r? • Ag re e me nt • Hig h T hro ug hput

Wha t sho uld Chub b y Offe r? • Ag re e me nt • Hig h T hro ug hput • Ma ssive Sto ra g e

Wha t sho uld Chub b y Offe r? • Ag re e me nt • Hig h T hro ug hput • Ma ssive Sto ra g e

Wha t sho uld Chub b y Offe r? • Ag re e me nt • Hig h T hro ug hput • Ma ssive Sto ra g e • Ava ila b ility

Wha t sho uld Chub b y Offe r? • Ag re e me nt • Hig h T hro ug hput • Ma ssive Sto ra g e • Ava ila b ility • Re lia b le a nd F a ult T o le ra nt

Why use Pa xo s?

Why use Pa xo s? • Sa fe ty – b a d thing s ne ve r ha ppe n

Why use Pa xo s? • Sa fe ty – b a d thing s ne ve r ha ppe n • L ive ne ss – g o o d thing s e ve ntua lly ha ppe n • a s lo ng a s o nly 1 pro po se r e xists e ve ntua lly

Why use Pa xo s? • Sa fe ty – b a d thing s ne ve r ha ppe n • L ive ne ss – g o o d thing s e ve ntua lly ha ppe n • a s lo ng a s o nly 1 pro po se r e xists e ve ntua lly • F a ult-T o le ra nt – wo n’ t b lo c k • a s lo ng a s a ma jo rity o f no de s a re still live

Why use Pa xo s? • Sa fe ty – b a d thing s ne ve r ha ppe n • L ive ne ss – g o o d thing s e ve ntua lly ha ppe n • a s lo ng a s o nly 1 pro po se r e xists e ve ntua lly • F a ult-T o le ra nt – wo n’ t b lo c k • a s lo ng a s a ma jo rity o f no de s a re still live No o the r c ho ic e s …

Chub b y Ove rvie w c hub b y inte rfa c e (RPC) Chub b y inse rt, d e le te , lo o kup, c a s DB L o g lo c a l file syste m L o g Da ta sna psho t

Chub b y Ove rvie w c hub b y inte rfa c e (RPC) Chub b y Chub b y Chub b y DB DB DB Multi-Pa xo s L o g L o g L o g lo c a l file syste m L o g Da ta L o g Da ta L o g Da ta sna psho t

Chub b y Ove rvie w Clie nt Chub b y Chub b y Chub b y Chub b y Chub b y DB DB DB DB DB L o g L o g L o g L o g L o g Multi-Pa xo s

Chub b y Ove rvie w Clie nt Ma ste r Chub b y Chub b y Chub b y Chub b y Chub b y Ma ste r DB DB DB DB DB Ma ste r L o g L o g L o g L o g L o g Multi-Pa xo s

Multi-Pa xo s Re plic a 1 2 … 13 L o g Re plic a 1 2 … 13 L o g Ma ste r Re plic a F a ile d 1 2 … 13 L o g L o g 1 2 … 13 14 Re plic a Ne w Op 1 2 … 9 L o g Re c o ve re d

Multi-Pa xo s Re plic a 1 2 … 13 14 a c c e pt <1,14, o p> L o g Re plic a a c c e pt <1, 14, o p> 1 2 … 13 14 L o g Ma ste r Re plic a 1 2 … 13 L o g L o g 1 2 … 13 14 Re plic a 1 2 … 9 14 a c c e pt <1, 14, o p> L o g

Multi-Pa xo s Re plic a 1 2 … 13 14 L o g Re plic a 1 2 … 13 14 a c kno wle d g e <1, 14> L o g a c kno wle d g e <1, 14> Ma ste r Re plic a 1 2 … 13 L o g a c kno wle d g e <1, 14> L o g 1 2 … 14 15 Re plic a 1 2 … 9 14 L o g

Multi-Pa xo s a c c e pt <1,15, o p> Re plic a 1 2 … 14 15 c o mmit <1, 14> L o g a c c e pt <1,15, o p> Re plic a c o mmit <1, 14> 1 2 … 14 15 L o g Ma ste r Re plic a 1 2 … 13 L o g L o g 1 2 … 14 15 a c c e pt <1,15, o p> Re plic a c o mmit <1, 14> 1 2 … 9 14 L o g

Multi-Pa xo s Re plic a 1 2 … 14 15 L o g Re plic a 1 2 … 14 15 a c kno wle d g e <1, 15> L o g a c kno wle d g e <1, 15> Ma ste r Re plic a 1 2 … 13 L o g L o g 1 2 … 14 Re plic a 1 2 … 9 14 L o g Ne w Ma ste r

Multi-Pa xo s Re plic a 1 2 … 14 15 L o g pro po se <2, (10-14, 15+)> Re plic a 1 2 … 14 15 L o g pro po se <2, (10-14, 15+)> Re plic a 1 2 … 13 Ne w L o g Ma ste r pro po se <2, (10-14, 15+)> 1 2 … 9 14 Old 1 2 … 14 Ma ste r

Multi-Pa xo s Re plic a pro mise <2, 16+> 1 2 … 14 15 pro mise <1, 10, o p> L o g … pro mise <1, 15, o p> pro mise <2, 16+> pro mise <1, 10, o p> Re plic a 1 2 … 14 15 … L o g pro mise <1, 15, o p> Re plic a 1 2 … 13 Ne w L o g Ma ste r pro mise <2, 15+> pro mise <1, 10, o p> … 1 2 … 9 10-15 pro mise <1, 14, o p> Old 1 2 … 14 Ma ste r

Multi-Pa xo s Re plic a 1 2 … 15 L o g a c c e pt a c kno wle d g e c o mmit a c c e pt Re plic a 1 2 … 15 a c kno wle d g e L o g c o mmit a c c e pt a c kno wle d g e Re plic a c o mmit 1 2 … 15 Ne w L o g Ma ste r 1 2 … 15 Old 1 2 … 14 Ma ste r

I mple me nting Pa xo s Alg o rithmic Cha lle ng e s So ftwa re Une xpe c te d E ng ine e ring F a ilure s

Alg o rithmic Cha lle ng e s • Disk Co rruptio n • Ma ste r L e a se s • Gro up Me mb e rship

So ftwa re E ng ine e ring • Co mpile r Suppo rt • Runtime Che c king • T e sting

Une xpe c te d F a ilure s • OS Bug s • Sc ript Bug s • Ro llb a c k E rro rs • Syste m Upg ra de

Me a sure me nts

Re fe re nc e T usha r D. Cha ndra , Ro b e rt Grie se me r, a nd Jo shua Re dsto ne . • 2007. Pa xo s ma de live : a n e ng ine e ring pe rspe c tive . I n Pro c e e ding s o f the twe nty-sixth annual ACM sympo sium o n Princ iple s o f distrib ute d c o mputing (PODC '07).

T ha nk yo u.