Autonomous Storage Management for Personal Devices with - - PowerPoint PPT Presentation

▶
autonomous storage management for personal devices with
SMART_READER_LITE
LIVE PREVIEW

Autonomous Storage Management for Personal Devices with - - PowerPoint PPT Presentation

Mar 18, 2023 301 likes •548 views

Autonomous Storage Management for Personal Devices with PodBase Ansley Post Petr Kuznetsov Juan Navarro Peter Druschel MPI-SWS TU Berlin/Deutsche

slide-1
SLIDE 1

Autonomous ¡Storage ¡Management ¡ for ¡Personal ¡Devices ¡with ¡PodBase ¡

Ansley ¡Post ¡ ¡Petr ¡Kuznetsov ¡ ¡ Juan ¡Navarro ¡Peter ¡Druschel ¡

1 ¡ MPI-­‑SWS ¡ ¡ ¡TU ¡Berlin/Deutsche ¡Telekom ¡Labs ¡ ¡ TU ¡Munich ¡

slide-2
SLIDE 2

Outline ¡

2 ¡

  • MoGvaGon ¡
  • Problem ¡Statement ¡
  • System: ¡PodBase ¡
  • EvaluaGon ¡
  • Conclusion ¡
slide-3
SLIDE 3

Enterprise ¡ ¡Data ¡Management ¡

3 ¡ Redundancy ¡ Offline ¡Storage ¡ Offsite ¡Storage ¡

All ¡professionally ¡managed! ¡

slide-4
SLIDE 4

Personal ¡Data ¡Management ¡

  • ¡Heterogeneous ¡devices, ¡connecGvity, ¡ ¡use ¡

cases ¡

  • User ¡are ¡inexperienced ¡and ¡reluctant ¡

administrators ¡

4 ¡ Cloud ¡Storage ¡

slide-5
SLIDE 5

Personal ¡Data ¡Management ¡

  • Use ¡available ¡storage/connecGvity ¡to ¡replicate ¡

for ¡durability ¡

5 ¡ Cloud ¡Storage ¡

slide-6
SLIDE 6

Personal ¡Data ¡Management ¡

  • Use ¡available ¡storage/connecGvity ¡to ¡replicate ¡

for ¡availability ¡

6 ¡

slide-7
SLIDE 7

Outline ¡

7 ¡

  • MoGvaGon ¡
  • Problem ¡Statement ¡
  • System: ¡PodBase ¡
  • EvaluaGon ¡
  • Conclusion ¡
slide-8
SLIDE 8

PodBase ¡

  • Automated, ¡transparent ¡data ¡management ¡for ¡

personal ¡devices ¡

  • OS ¡and ¡vendor ¡neutral. ¡ ¡ ¡ ¡
  • Transparent ¡replicaGon ¡for ¡durability, ¡availability ¡ ¡ ¡ ¡
  • Seeks ¡to ¡opportunisGcally ¡and ¡transparently ¡

exploit ¡available ¡resources ¡while ¡requiring ¡ minimal ¡user ¡a^enGon ¡ ¡

  • Linear ¡programming ¡approach ¡allows ¡the ¡system ¡

to ¡adapt ¡to ¡changing ¡condiGons ¡

8 ¡

slide-9
SLIDE 9

System ¡Goals ¡

  • On ¡a ¡set ¡of ¡intermi^ently ¡connected ¡personal ¡

devices: ¡

  • OpportunisGcally ¡propagate ¡informaGon ¡
  • Replicate ¡for ¡availability ¡and ¡durability ¡

– Files ¡should ¡be ¡k ¡durable: ¡ ¡durability ¡= ¡min|{d ¡∈ ¡D ¡: ¡f ¡∈ ¡store-­‑files(d)}| ¡. ¡f∈F ¡ – Files ¡should ¡be ¡available ¡on ¡all ¡devices ¡where ¡it ¡might ¡ be ¡useful ¡

Availability ¡= ¡∑ ¡|like-­‑files(d) ¡∩ ¡store-­‑files(d)| ¡. ¡d∈D ¡

9 ¡

slide-10
SLIDE 10

Minimal ¡User ¡InteracGon ¡

  • Add ¡new ¡device ¡
  • Report ¡loss ¡of ¡device ¡(opGonal) ¡
  • Restore ¡data ¡
  • Low ¡storage ¡warning ¡
  • Device ¡and ¡type ¡specific ¡funcGonality ¡through ¡

plug-­‑ins ¡

– Archive ¡data ¡ – SynchronizaGon/reconciliaGon ¡

10 ¡

slide-11
SLIDE 11

Metadata ¡

  • Each ¡storage ¡device ¡contains: ¡

– User ¡files ¡ – Metadata ¡ – Replicas ¡

  • PodBase ¡data ¡is ¡stored ¡securely ¡in ¡device’s ¡file ¡

system ¡

Replicas ¡

Storage ¡Devices ¡

11 ¡

slide-12
SLIDE 12
  • Reconciles ¡approximate ¡global ¡view ¡
  • Works ¡even ¡when ¡devices ¡are ¡very ¡small ¡

Device ¡InteracGon ¡

12 ¡ Version ¡Vector ¡ ConnecGon ¡History ¡ Files ¡Stored ¡ Free ¡Space ¡ Version ¡Vector ¡ ConnecGon ¡History ¡ Files ¡Stored ¡ Free ¡Space ¡

slide-13
SLIDE 13

AdapGve ¡ReplicaGon ¡

13 ¡ 13 ¡

LP ¡Solver ¡

Copy ¡A-­‑>B ¡50 ¡ Copy ¡C-­‑>B ¡100 ¡ Delete ¡ABC ¡3 ¡ Copy ¡A-­‑>D ¡50 ¡ Copy ¡A-­‑>C ¡100 ¡ Reconciled ¡Metadata ¡ Goals ¡ AcGons ¡

1 ¡ 2 ¡

slide-14
SLIDE 14

Example: ¡AutomaGc ¡Sneakernets ¡

Office ¡ Home ¡ 14 ¡

slide-15
SLIDE 15

Outline ¡

15 ¡

  • MoGvaGon ¡
  • Problem ¡Statement ¡
  • System: ¡PodBase ¡
  • EvaluaGon ¡
  • Conclusion ¡
slide-16
SLIDE 16

Podbase: ¡ImplementaGon ¡

  • ImplementaGon ¡in ¡Java ¡

– Small ¡customizaGon ¡required ¡per ¡supported ¡OS ¡ (Windows, ¡OS ¡X, ¡Linux) ¡

  • Use ¡off ¡the ¡shelf ¡linear ¡programming ¡solver ¡

16 ¡

slide-17
SLIDE 17

EvaluaGon ¡ ¡

  • Performed ¡both ¡a ¡controlled ¡evaluaGon ¡and ¡

two ¡user ¡studies ¡

  • Controlled ¡evaluaGon ¡validates ¡basic ¡

funcGonality ¡

  • User ¡study ¡

– 10 ¡household ¡deployed ¡PodBase ¡on ¡a ¡majority ¡of ¡ the ¡storage ¡devices ¡ – System ¡designed ¡to ¡unobtrusively ¡provide ¡ availability ¡and ¡durability ¡

17 ¡

slide-18
SLIDE 18

User ¡Study: ¡Summary ¡

0.5 1 1.5 2 2.5 1 2 3 4 5 6 7 8 9 10 Storage Space (TB) Household Number Additional Space Free Space Used Space

  • 10 ¡Households, ¡25 ¡devices, ¡30 ¡days ¡

18 ¡

slide-19
SLIDE 19

0.2 0.4 0.6 0.8 1 1 2 3 4 5 6 7 8 9 10 Fraction of Files Household Number 4x+ 3x 2x 1x

ReplicaGon ¡Results ¡

  • PodBase ¡successfully ¡replicates ¡data ¡without ¡user ¡

a^enGon ¡

  • AdapGve ¡replicaGon ¡improves ¡durability ¡

19 ¡

slide-20
SLIDE 20

Bandwidth ¡Results ¡

20 ¡

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 100 200 300 400 500 CDF Time to Replicate Files (hours)

  • H. 1
  • H. 2
  • H. 4
  • H. 7
  • H. 9
slide-21
SLIDE 21

EvaluaGon ¡Summary ¡

  • PodBase ¡transparently ¡provides ¡increased ¡

durability ¡and ¡availability ¡for ¡personal ¡devices ¡

– Availability ¡in ¡the ¡paper ¡

  • User ¡study ¡shows ¡that ¡the ¡system ¡is ¡deployable ¡

and ¡useful ¡

  • Adapts ¡and ¡takes ¡advantage ¡of ¡free ¡space ¡and ¡

high ¡bandwidth ¡device ¡connecGons ¡

21 ¡

slide-22
SLIDE 22

Conclusions ¡

  • Podbase: ¡Automated ¡storage ¡management ¡

– Transparently ¡increase ¡the ¡durability ¡and ¡ availability ¡of ¡data ¡ – Uses ¡free ¡storage ¡space ¡and ¡opportunisGc ¡ connecGvity ¡

  • Prototype ¡evaluated ¡in ¡user ¡study ¡

22 ¡

slide-23
SLIDE 23

QuesGons? ¡

23 ¡