Origins Figure from G.W. Hart, Nonintrusive Applica1on Load - - PowerPoint PPT Presentation

▶
origins
SMART_READER_LITE
LIVE PREVIEW

Origins Figure from G.W. Hart, Nonintrusive Applica1on Load - - PowerPoint PPT Presentation

Aug 11, 2023 40 likes •350 views

NILM Beyond Event Detec1on J. Zico Kolter MIT CSAIL NILM Workshop - 5/7/12 In collabora1on with: Tommi Jaakkola Origins Figure from G.W. Hart,

slide-1
SLIDE 1

NILM ¡Beyond ¡Event ¡Detec1on ¡

  • J. ¡Zico ¡Kolter ¡

MIT ¡CSAIL ¡ ¡ NILM ¡Workshop ¡-­‑ ¡5/7/12 ¡

In ¡collabora1on ¡with: ¡Tommi ¡Jaakkola ¡

slide-2
SLIDE 2
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Origins ¡

Figure ¡from ¡G.W. ¡Hart, ¡“Nonintrusive ¡Applica1on ¡Load ¡Monitoring.” ¡ ¡ Proceedings ¡of ¡the ¡IEEE, ¡Vol ¡80 ¡(12), ¡1992. ¡ ¡

slide-3
SLIDE 3
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Origins ¡

Figure ¡from ¡G.W. ¡Hart, ¡ “Nonintrusive ¡Applica1on ¡Load ¡ Monitoring.” ¡ ¡Proceedings ¡of ¡the ¡ IEEE, ¡Vol ¡80 ¡(12), ¡1992. ¡ ¡

  • A. ¡Bouloutas, ¡G.W. ¡Hart, ¡M. ¡Schwartz. ¡

“Two ¡extensions ¡of ¡the ¡Viterbi ¡ Algorithm.” ¡ ¡IEEE ¡Transac1ons ¡on ¡ Informa1on ¡Theory, ¡Vol ¡37 ¡(3), ¡1991 ¡ G.W. ¡Hart, ¡A. ¡Bouloutas. ¡“Correc1ng ¡ Dependent ¡Errors ¡in ¡Sequences ¡ Generated ¡by ¡Finite-­‑State ¡ Processes.” ¡ ¡IEEE ¡Transac1ons ¡on ¡ Informa1on ¡Theory, ¡Vol ¡39 ¡(4), ¡1991 ¡

slide-4
SLIDE 4
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡

  • 1. ¡Specify ¡model ¡
  • ¡For ¡each ¡device: ¡ ¡
slide-5
SLIDE 5
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡

  • 1. ¡Specify ¡model ¡
  • 2. ¡Learning ¡

(supervised) ¡

  • ¡Turn ¡each ¡device ¡
  • n/off, ¡record ¡

power ¡delta ¡

  • ¡For ¡each ¡device: ¡ ¡

Turned ¡on ¡dryer ¡

slide-6
SLIDE 6
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡

  • 1. ¡Specify ¡model ¡
  • 2. ¡Learning ¡

(supervised) ¡

  • 3. ¡Inference ¡
  • ¡Turn ¡each ¡device ¡
  • n/off, ¡record ¡

power ¡delta ¡

  • ¡For ¡each ¡device: ¡ ¡
  • ¡For ¡each ¡change ¡in ¡

power, ¡find ¡nearest ¡ device ¡match ¡

Dryer? ¡Fridge? ¡ Coffee ¡Maker? ¡ Noise? ¡

slide-7
SLIDE 7
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡

  • 1. ¡Specify ¡model ¡
  • 2. ¡Learning ¡

(supervised) ¡

  • 3. ¡Inference ¡
  • ¡Turn ¡each ¡device ¡
  • n/off, ¡record ¡

power ¡delta ¡

  • ¡For ¡each ¡device: ¡ ¡
  • ¡For ¡each ¡change ¡in ¡

power, ¡find ¡nearest ¡ device ¡match ¡

Dryer? ¡Fridge? ¡ Coffee ¡Maker? ¡ Noise? ¡

Fundamental ¡Problem: ¡Looking ¡at ¡energy ¡ “events” ¡only ¡in ¡isola9on ¡ My ¡Work: ¡A ¡“global” ¡view ¡of ¡home ¡energy ¡

  • 1. More ¡complex ¡models ¡that ¡look ¡at ¡the ¡en1re ¡

power ¡signal ¡jointly ¡

  • 2. Learn ¡devices ¡models ¡in ¡unsupervised ¡ ¡fashion ¡

Key ¡challenge: ¡More ¡complex ¡learning/inference ¡

slide-8
SLIDE 8
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Problem ¡Formula1on ¡

Given: ¡ whole-­‑home ¡power ¡ consump1on ¡over ¡1me ¡ Find: ¡ power ¡consump1ons ¡ for ¡each ¡device ¡

slide-9
SLIDE 9
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Work ¡on ¡Disaggrega1on ¡

  • Ini1al ¡work ¡using ¡discrimina1ve ¡sparse ¡

coding, ¡hourly ¡power ¡data ¡ ¡ [Kolter, ¡Batra ¡and ¡Ng, ¡NIPS ¡2010] ¡

  • Data ¡collec1on, ¡compression, ¡and ¡a ¡

public ¡dataset ¡ ¡ [Kolter ¡and ¡Johnson, ¡KDDSUST ¡2011] ¡

  • Factorial ¡HMM ¡modeling ¡and ¡efficient ¡

approximate ¡inference ¡ ¡ [Kolter ¡and ¡Jaakkola, ¡AISTATS ¡2012] ¡

slide-10
SLIDE 10
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡

Power ¡ Time ¡

  • 1. ¡Specify ¡model ¡
slide-11
SLIDE 11
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡

Power ¡ Time ¡

  • 1. ¡Specify ¡model ¡
slide-12
SLIDE 12
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡

Power ¡ Time ¡

  • ff ¡
  • ff ¡
  • ff ¡
  • n ¡
  • n ¡
  • n ¡
  • 1. ¡Specify ¡model ¡
slide-13
SLIDE 13
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡

Power ¡ Time ¡

  • ff ¡
  • ff ¡
  • ff ¡
  • n ¡
  • n ¡
  • 1. ¡Specify ¡model ¡

trans ¡

slide-14
SLIDE 14
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Factorial ¡HMMs ¡ + ¡ = ¡

  • 1. ¡Specify ¡model ¡

[Ghahramani ¡and ¡Jordan, ¡1997] ¡

slide-15
SLIDE 15
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Learning ¡Device ¡Models ¡

  • 2. ¡Learning ¡

(unsupervised) ¡

Intui9on: ¡we ¡do ¡ some1mes ¡observe ¡ devices ¡events ¡in ¡ isola1on ¡

Extract ¡all ¡poten1al ¡ device ¡snippets ¡from ¡ signal ¡(power ¡coming ¡

  • n ¡and ¡going ¡off) ¡ ¡

Compute ¡similari1es ¡ between ¡snippets ¡and ¡ use ¡spectral ¡clustering ¡

slide-16
SLIDE 16
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Learning ¡with ¡Spectral ¡Clustering ¡

  • 2. ¡Learning ¡

(unsupervised) ¡

slide-17
SLIDE 17
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Inference ¡in ¡Factorial ¡HMMs ¡

  • 3. ¡Inference ¡

Exact ¡inference ¡is ¡intractable ¡

¡

¡ (9 ¡devices, ¡ ¡~10 ¡states ¡each ¡→ ¡ 109 ¡total ¡states) ¡

My ¡work: ¡ ¡ A ¡new ¡approach ¡to ¡ approximate ¡inference ¡in ¡ Factorial ¡HMMs ¡based ¡ upon ¡convex ¡op2miza2on ¡ ¡

slide-18
SLIDE 18
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Addi1on ¡#1: ¡Signal ¡Differences ¡

  • Rather ¡that ¡look ¡only ¡at ¡absolute ¡signal, ¡look ¡

at ¡differences ¡between ¡successive ¡levels ¡

  • 1. ¡Specify ¡model ¡

Would ¡expect ¡this ¡be ¡useful ¡ when ¡devices ¡change ¡state ¡

  • ne ¡at ¡a ¡1me ¡
  • 3. ¡Inference ¡
slide-19
SLIDE 19
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Addi1on ¡#2: ¡Robust ¡HMM ¡

  • Not ¡going ¡to ¡have ¡a ¡model ¡for ¡every ¡device ¡in ¡

the ¡home, ¡allow ¡unassigned ¡power ¡

  • 1. ¡Specify ¡model ¡

Total ¡Varia8on ¡penalty, ¡allows ¡for ¡ arbitrary ¡unknown ¡power, ¡but ¡favors ¡ piecewise-­‑constant ¡signals ¡

  • 3. ¡Inference ¡
slide-20
SLIDE 20
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Enforce ¡one-­‑at-­‑a-­‑1me ¡ ¡ in ¡posterior ¡

Inference ¡as ¡Op1miza1on ¡

  • Most ¡likely ¡assignment ¡(MAP ¡inference) ¡can ¡

now ¡be ¡cast ¡as ¡mixed-­‑integer ¡QP ¡

QP ¡

Addi9ve ¡FHMM ¡ Difference ¡FHMM ¡ Drop ¡integer ¡constraint ¡

MILP ¡ LP ¡ Solve ¡Jointly ¡

Drop ¡integer ¡constraint ¡

  • 3. ¡Inference ¡

End ¡result: ¡convex ¡ approximate ¡inference ¡ method, ¡can ¡be ¡solved ¡ quickly ¡for ¡hundreds ¡of ¡ thousands ¡of ¡variables ¡

slide-21
SLIDE 21
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Summary ¡

  • 1. ¡Specify ¡model ¡
  • 2. ¡Learning ¡

(unsupervised) ¡

  • 3. ¡Inference ¡

Factorial ¡HMM ¡+ ¡2 ¡new ¡addi1ons: ¡ difference ¡signal ¡and ¡robust ¡component ¡ New ¡learning ¡approach ¡based ¡upon ¡ spectral ¡clustering ¡of ¡device ¡snippets ¡ New ¡inference ¡procedure ¡based ¡on ¡ convex ¡op1miza1on, ¡relaxa1ons ¡

slide-22
SLIDE 22
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡

Total ¡Power ¡

slide-23
SLIDE 23
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡

True ¡Breakdown ¡

slide-24
SLIDE 24
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡

Our ¡Method ¡

slide-25
SLIDE 25
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡

True ¡Breakdown ¡ Our ¡Method ¡

slide-26
SLIDE 26
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡

True ¡Breakdown ¡ Event ¡Based ¡

slide-27
SLIDE 27
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡

True ¡Breakdown ¡ Structured ¡Mean ¡Field ¡

slide-28
SLIDE 28
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡Over ¡Two ¡Weeks ¡

Circuit ¡ Our ¡ Method ¡ Structured ¡ Mean ¡Field ¡ Event-­‑based ¡ Microwave ¡ 98% ¡/ ¡66% ¡ 97% ¡/ ¡4% ¡ 98% ¡/ ¡28% ¡ Bath ¡GFI ¡ 83% ¡/ ¡71% ¡ 50% ¡/ ¡9% ¡ 23% ¡/ ¡21% ¡ Kitchen ¡Outlets ¡ 38% ¡/ ¡13% ¡ 10% ¡/ ¡48% ¡ 57% ¡/ ¡15% ¡ Furnace ¡ 92% ¡/ ¡71% ¡ 13% ¡/ ¡15% ¡ 25% ¡/ ¡71% ¡ Kitchen ¡Outlets ¡ 45% ¡/ ¡16% ¡ 13% ¡/ ¡24% ¡ 27% ¡/ ¡11% ¡ Washer ¡/ ¡Dryer ¡ 99% ¡/ ¡73% ¡ 89% ¡/ ¡77% ¡ 95% ¡/ ¡64% ¡ Total ¡ 87% ¡/ ¡60% ¡ 36% ¡/ ¡45% ¡ 49% ¡/ ¡53% ¡

Performance ¡measured ¡by ¡ per-­‑circuit ¡precision/recall ¡

slide-29
SLIDE 29
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡Over ¡Two ¡Weeks ¡

Circuit ¡ Our ¡ Method ¡ Structured ¡ Mean ¡Field ¡ Event-­‑based ¡ Microwave ¡ 98% ¡/ ¡66% ¡ 97% ¡/ ¡4% ¡ 98% ¡/ ¡28% ¡ Bath ¡GFI ¡ 83% ¡/ ¡71% ¡ 50% ¡/ ¡9% ¡ 23% ¡/ ¡21% ¡ Kitchen ¡Outlets ¡ 38% ¡/ ¡13% ¡ 10% ¡/ ¡48% ¡ 57% ¡/ ¡15% ¡ Furnace ¡ 92% ¡/ ¡71% ¡ 13% ¡/ ¡15% ¡ 25% ¡/ ¡71% ¡ Kitchen ¡Outlets ¡ 45% ¡/ ¡16% ¡ 13% ¡/ ¡24% ¡ 27% ¡/ ¡11% ¡ Washer ¡/ ¡Dryer ¡ 99% ¡/ ¡73% ¡ 89% ¡/ ¡77% ¡ 95% ¡/ ¡64% ¡ Total ¡ 87% ¡/ ¡60% ¡ 36% ¡/ ¡45% ¡ 49% ¡/ ¡53% ¡

Performance ¡measured ¡by ¡ per-­‑circuit ¡precision/recall ¡

slide-30
SLIDE 30
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡Over ¡Two ¡Weeks ¡

Circuit ¡ Our ¡ Method ¡ Structured ¡ Mean ¡Field ¡ Event-­‑based ¡ Microwave ¡ 98% ¡/ ¡66% ¡ 97% ¡/ ¡4% ¡ 98% ¡/ ¡28% ¡ Bath ¡GFI ¡ 83% ¡/ ¡71% ¡ 50% ¡/ ¡9% ¡ 23% ¡/ ¡21% ¡ Kitchen ¡Outlets ¡ 38% ¡/ ¡13% ¡ 10% ¡/ ¡48% ¡ 57% ¡/ ¡15% ¡ Furnace ¡ 92% ¡/ ¡71% ¡ 13% ¡/ ¡15% ¡ 25% ¡/ ¡71% ¡ Kitchen ¡Outlets ¡ 45% ¡/ ¡16% ¡ 13% ¡/ ¡24% ¡ 27% ¡/ ¡11% ¡ Washer ¡/ ¡Dryer ¡ 99% ¡/ ¡73% ¡ 89% ¡/ ¡77% ¡ 95% ¡/ ¡64% ¡ Total ¡ 87% ¡/ ¡60% ¡ 36% ¡/ ¡45% ¡ 49% ¡/ ¡53% ¡

Performance ¡measured ¡by ¡ per-­‑circuit ¡precision/recall ¡

slide-31
SLIDE 31
  • J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Direc1ons ¡for ¡Future ¡Work ¡

  • Iterated ¡learning ¡and ¡inference, ¡using ¡ini1al ¡

models ¡as ¡priors ¡

  • Integrate ¡with ¡supervised ¡learning ¡procedures ¡

to ¡automaically ¡classify ¡devices ¡

  • Integrate ¡with ¡state-­‑of-­‑the-­‑art ¡sensing ¡and ¡

feature ¡extrac1on ¡

  • Tes1ng ¡on ¡addi1onal ¡homes ¡(expanding ¡REDD ¡

to ¡50 ¡homes: ¡hup://redd.csail.mit.edu) ¡ ¡