Local Processing in Distributed Storage Arya Mazumdar - - PowerPoint PPT Presentation

local processing in distributed storage
SMART_READER_LITE
LIVE PREVIEW

Local Processing in Distributed Storage Arya Mazumdar - - PowerPoint PPT Presentation

Local Processing in Distributed Storage Arya Mazumdar Based on Joint works with Viveck Cadambe, Venkat Chander, Greg Wornell (MIT) Ankit


slide-1
SLIDE 1

Local ¡Processing ¡in ¡Distributed ¡Storage ¡

Arya ¡Mazumdar ¡ ¡ ¡ ¡ ¡

Based ¡on ¡Joint ¡works ¡with ¡ ¡Viveck ¡Cadambe, ¡Venkat ¡Chander, ¡Greg ¡Wornell ¡(MIT) ¡

¡Ankit ¡Rawat, ¡Sriram ¡Viswanath ¡(UTAusJn) ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-2
SLIDE 2

An ¡informaJon ¡storage ¡graph ¡

q Can ¡store ¡1 ¡bit ¡in ¡each ¡vertex ¡ q Content ¡of ¡any ¡vertex ¡can ¡be ¡ determined ¡by ¡looking ¡at ¡the ¡contents ¡

  • f ¡its ¡neighbors ¡

How ¡many ¡bits ¡of ¡informaJon ¡can ¡be ¡ stored ¡in ¡this ¡graph? ¡ q InformaJon ¡theoreJc ¡formulaJon ¡ q Answer: ¡wait ¡Jll ¡the ¡end ¡of ¡the ¡talk ¡ Why ¡ask ¡this ¡quesJon? ¡ ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-3
SLIDE 3

Large-­‑scale ¡distributed ¡storage: ¡ Network ¡of ¡servers ¡

  • Link ¡Failure ¡
  • Long ¡queue ¡
  • Power-­‑down ¡
  • Hardware ¡

problems ¡

  • System ¡crash ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-4
SLIDE 4

Local ¡repair ¡

Minimize ¡repair ¡bandwidth ¡ (amount ¡of ¡data ¡downloaded) ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-5
SLIDE 5

Update-­‑efficiency ¡

Message ¡ Codewords ¡ Slight ¡change ¡in ¡message ¡ Not ¡much ¡change ¡in ¡the ¡codeword ¡ ¡

Good ¡update-­‑efficient ¡codes ¡that ¡can ¡handle ¡node ¡(disk) ¡failures? ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-6
SLIDE 6

Challenges? ¡

Unorthodox ¡constraints ¡– ¡Local ¡Recovery/Smooth ¡Encoding ¡ ¡ OpJmal ¡rate ¡– ¡Best ¡codes ¡(InformaJon ¡theory) ¡ ¡ How ¡to ¡build ¡codes? ¡(Coding ¡theory) ¡ ¡ Explicit ¡(fast ¡algorithmic) ¡construcJons ¡of ¡Codes ¡that ¡support ¡ LOCAL ¡PROCESSING ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-7
SLIDE 7

Outline ¡

¡

q Distributed ¡Storage ¡ ¡

q Local ¡Repair ¡ q Update ¡Efficiency ¡ q Topology ¡of ¡Distributed ¡Network ¡Storage ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-8
SLIDE 8

Local ¡repair ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-9
SLIDE 9

Repair ¡of ¡single ¡failed ¡node ¡

Many ¡works: ¡Most ¡prominent ¡Dimakis, ¡Godfrey, ¡Wu, ¡ Wainwright, ¡Ramachandran ¡(2009) ¡ Called ¡regeneraJve ¡codes ¡

Minimize ¡repair ¡bandwidth ¡ (amount ¡of ¡data ¡downloaded) ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-10
SLIDE 10

How ¡coding ¡helps? ¡

RepeJJon ¡(ProtecJon ¡against ¡1 ¡erasure) ¡ Coding ¡

A ¡ B ¡ B ¡ A ¡ A+B ¡ B ¡ A ¡

Rate ¡= ¡1/2 ¡ Rate ¡= ¡2/3 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-11
SLIDE 11

Benefits ¡of ¡repeJJon ¡

  • Many ¡sophisJcated ¡coding ¡schemes ¡
  • STILL ¡repeJJon ¡is ¡used ¡.. ¡WHY? ¡

– Local ¡Recovery ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-12
SLIDE 12

Example: ¡

RepeJJon ¡(ProtecJon ¡against ¡1 ¡erasure) ¡ A,B,A+B ¡Coding ¡

A ¡ B ¡ B ¡ A ¡ A+B ¡ B ¡ A ¡

Rate ¡= ¡1/2 ¡ Rate ¡= ¡2/3 ¡ LOCALITY ¡= ¡1 ¡ LOCALITY ¡= ¡2 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-13
SLIDE 13

Locally ¡repairable ¡codes ¡(Gopalan, ¡ Huang, ¡Simitci, ¡Yekhanin, ¡2011) ¡

Minimize ¡number ¡of ¡parJcipaJng ¡servers ¡

1. Each ¡Symbol: ¡Stored ¡at ¡a ¡different ¡node ¡of ¡network ¡ 2. Each ¡Symbol: ¡Represents ¡a ¡packet ¡or ¡block ¡of ¡bits ¡of ¡arbitrary ¡size ¡ 3. n: ¡Number ¡of ¡servers ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡k: ¡amount ¡of ¡informaJon ¡ ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-14
SLIDE 14

Local ¡repair ¡

  • Gopalan, ¡Yekhanin ¡et ¡al. ¡(r: ¡locality) ¡
  • ConstrucJons ¡

– Gopalan ¡et ¡al. ¡; ¡Dimakis ¡et ¡al. ¡(existence) ¡ ¡ – Barg ¡and ¡Tamo ¡ ¡ ¡

  • Server ¡size: ¡any ¡role? ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-15
SLIDE 15

New ¡fundamental ¡limits: ¡with ¡server ¡size ¡ ¡

q q: ¡size ¡of ¡the ¡node ¡ q Uses ¡the ¡opJmal ¡(unknown) ¡dimension ¡of ¡error-­‑correcJng ¡ codes ¡ q The ¡last ¡bound ¡(Gopalan ¡et ¡al., ¡Dimakis ¡et ¡al.) ¡is ¡a ¡special ¡ case ¡ q Tight ¡construcJons ¡are ¡possible ¡at ¡various ¡points ¡ ¡ ¡

CadambeMazumdar2013 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-16
SLIDE 16

New ¡bounds ¡.. ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-17
SLIDE 17

Local ¡Recovery ¡ CooperaJve ¡Local ¡Recovery? ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-18
SLIDE 18

CooperaJve ¡local ¡repair ¡

  • Systems ¡may ¡encounter ¡mulJple ¡node ¡failures ¡in ¡

quick ¡succession ¡[Ford ¡et ¡al. ¡2010] ¡. ¡

– Deliberately ¡accumulate ¡failures ¡and ¡repair ¡them ¡

  • simultaneously. ¡

– [Shum ¡and ¡Hu ¡2011] ¡ ¡show ¡that ¡cooperaJve ¡repair ¡ ¡may ¡ lead ¡to ¡smaller ¡repair ¡bandwidth ¡. ¡

  • We ¡propose ¡the ¡cooperaJve ¡repair ¡with ¡small ¡

locality ¡ ¡as ¡performance ¡metric. ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-19
SLIDE 19

CooperaJve ¡repair ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-20
SLIDE 20

Hadamard ¡(Simplex) ¡codes ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-21
SLIDE 21

Hadamard ¡codes ¡

MazumdarRawatVishwanath2014 ¡ What ¡about ¡general ¡codes? ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-22
SLIDE 22

First: ¡What ¡is ¡possible ¡ ¡

  • How ¡many ¡codewords ¡can ¡have ¡the ¡same ¡prefix? ¡
  • Codewords ¡with ¡same ¡prefix: ¡subcode ¡with ¡same ¡distance ¡
  • Use ¡bounds ¡on ¡codes ¡

CadambeMazumdar2013 ¡ MazumdarRawatVishwanath2014 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-23
SLIDE 23

Limit ¡of ¡cooperaJve ¡repair ¡

Also ¡have: ¡bounds ¡with ¡server ¡size ¡as ¡an ¡argument ¡ ¡ ¡ MazumdarRawatVishwanath2014 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-24
SLIDE 24

ConstrucJons ¡

  • ParJJon ¡MDS ¡codes ¡

¡

MazumdarRawatVishwanath2014 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-25
SLIDE 25

Tightness ¡of ¡the ¡bounds ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-26
SLIDE 26

Random ¡failures: ¡Capacity ¡of ¡local ¡ repair ¡

MazumdarChandarWornell2013 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-27
SLIDE 27

ConcentraJon ¡of ¡output ¡entropy ¡

q Entropy ¡of ¡the ¡unerased ¡variables: ¡1-­‑Lipschitz ¡(of ¡random ¡ erasures ¡by ¡the ¡channel) ¡ q Average ¡ ¡(output ¡entropy ¡= ¡#unerased ¡variables ¡– ¡#useless ¡ variables) ¡ q Useless ¡variables ¡= ¡Non-­‑erased ¡but ¡the ¡recovery ¡sets ¡ erased ¡(esJmate ¡this) ¡ q Use ¡the ¡esJmated ¡output ¡entropy ¡in ¡(say) ¡Fano’s ¡ inequality ¡

MazumdarChandarWornell2013 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-28
SLIDE 28

Update-­‑efficiency ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-29
SLIDE 29

A ¡Code: ¡Mapping ¡from ¡Messages ¡to ¡ Codewords ¡(encoding) ¡

0 ¡à ¡00 ¡ 1 ¡à ¡11 ¡ RepeJJon ¡ 00 ¡à ¡000 ¡ 01 ¡à ¡011 ¡ 10 ¡à ¡101 ¡ 11 ¡à ¡110 ¡ A, ¡B, ¡A+B ¡Code ¡ 0000 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0000000 ¡ 0001 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0001111 ¡ 0010 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0010110 ¡ 0011 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0011001 ¡ 0100 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0100101 ¡ 0101 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0101010 ¡ 0110 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0110011 ¡ 0111 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0111100 ¡ 1000 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1000011 ¡ 1001 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1001100 ¡ 1010 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1010101 ¡ 1011 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1011010 ¡ 1100 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1100110 ¡ 1101 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1101001 ¡ 1110 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1110000 ¡ 1111 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1111111 ¡ ¡ [7,4,3] ¡Hamming ¡Code ¡(Corrects ¡2 ¡erasures) ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-30
SLIDE 30

Update-­‑efficient ¡codes ¡for ¡distributed ¡ storage ¡

Message ¡ Codewords ¡ Slight ¡change ¡in ¡message ¡ Not ¡much ¡change ¡in ¡the ¡codeword ¡ ¡

Good ¡update-­‑efficient ¡codes ¡that ¡can ¡handle ¡node ¡(disk) ¡failures? ¡

Encoding ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-31
SLIDE 31

Update-­‑efficiency: ¡Why? ¡

— Frequently ¡changing ¡DATABASE ¡ — Social ¡NETWORKS ¡ — Changes ¡are ¡SMALL, ¡but ¡updaJng ¡consumes ¡ ¡

— Bandwidth ¡ — Energy ¡

Measure: ¡Maximum ¡Number ¡of ¡Symbols ¡changed ¡per ¡one ¡ symbol ¡change ¡in ¡message ¡(we ¡want ¡sublinear ¡growth). ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-32
SLIDE 32

Example: ¡

00 ¡à ¡000 ¡ 01 ¡à ¡011 ¡ 10 ¡à ¡101 ¡ 11 ¡à ¡110 ¡ A, ¡B, ¡A+B ¡Code ¡ Update-­‑efficiency ¡= ¡2 ¡ ¡ 0000 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0000000 ¡ 0001 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0001111 ¡ 0010 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0010110 ¡ 0011 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0011001 ¡ 0100 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0100101 ¡ 0101 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0101010 ¡ 0110 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0110011 ¡ 0111 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡0111100 ¡ 1000 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1000011 ¡ 1001 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1001100 ¡ 1010 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1010101 ¡ 1011 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1011010 ¡ 1100 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1100110 ¡ 1101 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1101001 ¡ 1110 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1110000 ¡ 1111 ¡ ¡ ¡ ¡ ¡ ¡à ¡ ¡ ¡1111111 ¡ ¡ [7,4,3] ¡Hamming ¡Code. ¡Update ¡efficiency=3 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-33
SLIDE 33

Minimum ¡distance ¡of ¡codes ¡

d ¡ q Pairwise ¡minimum ¡distance ¡ between ¡any ¡two ¡codewords. ¡ q d= ¡t+1 ¡, ¡t= ¡number ¡of ¡correctable ¡ erasures ¡ q Update-­‑efficiency ¡u ¡≥ ¡d ¡ q We ¡want: ¡ q u ¡small ¡ q t ¡large ¡ q NOT ¡going ¡to ¡happen ¡ q When ¡u ¡= ¡d: ¡The ¡code ¡is ¡OPTIMAL ¡ q Hamming ¡code ¡is ¡OPTIMAL ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-34
SLIDE 34

Linear ¡codes: ¡generator ¡matrix ¡

c ¡= ¡Gx ¡

c= ¡codeword; ¡x= ¡message ¡ c: ¡n ¡dimensional; ¡x: ¡k ¡dimensional; ¡G: ¡n ¡by ¡k ¡matrix ¡ ¡ ¡

q Update-­‑efficiency ¡= ¡Maximum ¡row ¡weight ¡of ¡a ¡generator ¡matrix ¡ q Update-­‑efficient ¡codes ¡must ¡have ¡an ¡LDGM ¡representaJon ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-35
SLIDE 35

ConstrucJon ¡of ¡codes ¡

q [n,k,d] ¡linear ¡code ¡à ¡An ¡update ¡efficient ¡[n,k,d] ¡code ¡with ¡u ¡=d ¡ (Simonis1992) ¡ q How: ¡with ¡an ¡exponenJal ¡Jme ¡algorithm ¡ q Task: ¡Can ¡we ¡do ¡this ¡in ¡polynomial ¡Jme? ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-36
SLIDE 36

Long ¡codes ¡

q n ¡is ¡large ¡ q d ¡= ¡δn ¡ q u ¡is ¡at ¡least ¡d ¡ q Unacceptable ¡ q Assume ¡RANDOM ¡error ¡(like ¡a ¡Binary ¡Erasure ¡Channel) ¡ q Next ¡results ¡hold ¡for ¡larger ¡alphabets ¡as ¡well ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-37
SLIDE 37

Capacity ¡achieving ¡codes ¡

q n ¡is ¡large ¡ q Capacity ¡of ¡BEC ¡= ¡1 ¡-­‑ ¡δ ¡ q Results: ¡ q Can ¡have ¡a ¡family ¡of ¡codes ¡with ¡ ¡ q Rate ¡= ¡1 ¡– ¡δ ¡ q u ¡= ¡O(log ¡n) ¡ q Cannot ¡have ¡a ¡code ¡with ¡ ¡ q Rate ¡> ¡0 ¡ q u ¡ ¡= ¡c ¡log ¡n ¡; ¡c ¡is ¡a ¡constant. ¡

This ¡construcJon ¡is ¡ explicit ¡ Follows ¡from ¡concentraJon ¡

  • utput ¡entropy ¡ ¡

MazumdarChandarWornell2013 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-38
SLIDE 38

Topology ¡of ¡distributed ¡storage ¡ network ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-39
SLIDE 39

A ¡recoverable ¡distributed ¡storage ¡network ¡

q All ¡servers ¡are ¡not ¡connected ¡to ¡each ¡other ¡ q Some ¡links ¡are ¡easy ¡to ¡establish ¡ q ConsideraJon ¡for ¡ ¡ q Physical ¡Proximity ¡ q Architecture ¡ q Plaporm ¡ q ConnecJons ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-40
SLIDE 40

How ¡much ¡storage ¡is ¡possible? ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-41
SLIDE 41

Formally ¡… ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-42
SLIDE 42

Results! ¡

How ¡much ¡storage ¡is ¡possible? ¡Answer: ¡Don’t ¡even ¡ know ¡the ¡hardness ¡ ¡ ¡ But ¡say ¡the ¡answer ¡is ¡= ¡RDSS ¡ ¡ ¡ Explicit ¡code: ¡with ¡storage ¡at ¡least ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡RDSS/ ¡log ¡(#Servers) ¡log ¡log ¡(#Servers) ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-43
SLIDE 43

Sketch ¡

RDSS ¡≤ ¡Feedback ¡Vertex ¡Set ¡ ¡ ¡ ¡ ¡ ¡ ¡ Construct ¡a ¡vertex ¡disjoint ¡cycle ¡packing ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-44
SLIDE 44

However, ¡more ¡interesJngly ¡… ¡

The ¡Recoverable ¡ Distributed ¡ Storage ¡Problem ¡ Index ¡Coding ¡Problem ¡ An ¡approximate ¡ ReducJon ¡ Use ¡exisJng ¡algorithms ¡from ¡the ¡Index ¡coding ¡problem! ¡

n ¡-­‑ ¡RDSS(G) ¡ ¡≤ ¡ ¡INDEX(G) ¡≤ ¡ ¡n ¡-­‑ ¡RDSS(G) ¡+ ¡O(log ¡n) ¡

Mazumdar2014 ¡Also ¡see ¡ShanmugamDimakis2014 ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-45
SLIDE 45

ReducJon ¡to ¡a ¡dual ¡problem! ¡Index ¡coding ¡

q A ¡set ¡of ¡n ¡users ¡{1,2, ¡… ¡,n} ¡ q Each ¡want ¡some ¡informaJon ¡{x1, ¡x2, ¡… ¡, ¡xn} ¡ q Each ¡has ¡some ¡informaJon ¡{S1, ¡S2, ¡… ¡, ¡Sn} ¡(side ¡ informaJon ¡graph ¡G) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Si ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡{x1, ¡x2, ¡… ¡, ¡xn} ¡ ¡ How ¡many ¡bits ¡should ¡be ¡ ¡ BROADCAST ¡so ¡that ¡everyone ¡ gets ¡what ¡they ¡need? ¡INDEX(G) ¡ Bar-­‑Yossef, ¡Birk, ¡Jayram, ¡Kol, ¡‘06 ¡ ¡ ¡ Alon, ¡Hasidim, ¡Lubetzky, ¡Stav, ¡Weinstein, ¡‘08 ¡ ¡ ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-46
SLIDE 46

RDSS ¡ ¡ ¡≠ ¡ ¡n ¡-­‑ ¡INDEX ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-47
SLIDE 47

RDSS ¡and ¡INDEX ¡

Mazumdar2014 ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-48
SLIDE 48

Network ¡informaJon ¡flow ¡

q Index ¡coding ¡is ¡the ¡hardest ¡instance ¡of ¡network ¡coding ¡ [RouayhebEtAl2010, ¡LangbergEtAl2012, ¡ BlasiakKleinbergLubetzky2011] ¡ q For ¡general ¡network ¡coding, ¡only ¡linear ¡funcJon ¡capacity ¡is ¡ known ¡to ¡be ¡NP ¡Hard ¡[LehmanRasala2004] ¡ q RDSS ¡is ¡coding ¡theoreJc ¡dual ¡of ¡INDEX ¡: ¡A ¡Basic ¡problem ¡ q Example ¡of ¡one ¡instance ¡which ¡is ¡not ¡that ¡hard ¡to ¡solve ¡

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡

slide-49
SLIDE 49

Arya ¡Mazumdar ¡-­‑ ¡Univ. ¡of ¡Minnesota ¡