Submodularity in Machine Learning - New Direc9ons - - PowerPoint PPT Presentation

Submodularity ¡ ¡ in ¡Machine ¡Learning ¡ -­‑ ¡New ¡Direc9ons ¡-­‑ ¡ Andreas ¡Krause ¡ Stefanie ¡Jegelka ¡

Network ¡Inference ¡ How ¡learn ¡who ¡influences ¡whom? ¡ 2 ¡

Summarizing ¡Documents ¡ How ¡select ¡representa9ve ¡sentences? ¡ 3 ¡

MAP ¡inference ¡ sky ¡ tree ¡ house ¡ grass ¡ max p ( x | z ) x How ¡find ¡the ¡MAP ¡labeling ¡in ¡discrete ¡graphical ¡models ¡ ¡ efficiently ? ¡ 4 ¡

What’s ¡common? ¡ � Formaliza9on: ¡ ¡Op9mize ¡a ¡set ¡func9on ¡F(S) ¡ ¡under ¡constraints ¡ ¡ ¡ � generally ¡very ¡hard ¡ ¡ � but: ¡structure ¡helps! ¡ ¡ ¡ ¡ ¡ ¡ … ¡if ¡F ¡is ¡submodular, ¡we ¡can ¡… ¡ � solve ¡op9miza9on ¡problems ¡with ¡strong ¡guarantees ¡ � solve ¡some ¡learning ¡problems ¡ 5 ¡

Outline ¡ many ¡new ¡ � What ¡is ¡submodularity? ¡ results! ¡ J ¡ Part ¡I ¡ � Op9miza9on ¡ � Minimiza9on ¡ ¡ Break ¡ � Maximiza9on ¡ Part ¡II ¡ � Learning ¡ � Learning ¡for ¡Op9miza9on: ¡new ¡seXngs ¡ 6 ¡

Outline ¡ many ¡new ¡ � What ¡is ¡submodularity? ¡ results! ¡ J ¡ Part ¡I ¡ � Op9miza9on ¡ � Minimiza9on: ¡new ¡algorithms, ¡constraints ¡ ¡ � Maximiza9on: ¡new ¡algorithms ¡(unconstrained) ¡ Part ¡II ¡ � Learning ¡ � Learning ¡for ¡Op9miza9on: ¡new ¡seXngs ¡ … ¡and ¡many ¡new ¡applica9ons! ¡ 7 ¡

submodularity.org ¡ slides, ¡links, ¡references, ¡workshops, ¡… ¡ 8 ¡

Example: ¡placing ¡sensors ¡ OF F ICE OF F ICE QUIE T PHONE CONF E RENCE STO R AGE LA B ELEC COPY SE R VER KITCHE N Place ¡sensors ¡to ¡monitor ¡temperature ¡ 9 ¡

Set ¡func9ons ¡ � finite ¡ground ¡set ¡ V = { 1 , 2 , . . . , n } � set ¡func9on ¡ ¡ ¡ OF F ICE OF F ICE QUIE T PHONE F : 2 V → R CONF E RENCE STO R AGE LA B ELEC COPY ¡ SE R V ER KITCHE N ¡ � will ¡assume ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ (w.l.o.g.) ¡ F ( ∅ ) = 0 � assume ¡black ¡box ¡that ¡can ¡evaluate ¡ F ( A ) for ¡any ¡ ¡ A ⊆ V 10 ¡

Example: ¡placing ¡sensors ¡ U9lity ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡of ¡having ¡sensors ¡at ¡subset ¡ ¡ ¡ ¡ ¡of ¡all ¡loca9ons ¡ F ( A ) A OF F ICE OF F ICE QUIE T PHONE OF F ICE OF F ICE QUIE T PHONE X 4 CONF E RENCE CONF E RENCE X 1 STO R AGE STO R AGE X 1 X 3 LA B LA B X 5 ELEC COPY ELEC COPY SE R VER SE R VER X 2 KITCHE N KITCHE N A={1,4,5}: ¡Redundant ¡info ¡ A={1,2,3}: ¡Very ¡informa9ve ¡ Low ¡value ¡F(A) ¡ High ¡value ¡F(A) ¡ 11 ¡

Marginal ¡gain ¡ � Given ¡set ¡func9on ¡ F : 2 V → R ¡ ¡ ¡ � Marginal ¡gain: ¡ ∆ F ( s | A ) = F ( { s } ∪ A ) − F ( A ) ¡ OF F ICE OF F ICE QUIE T PHONE X 2 X 1 CONF E RENCE STO R AGE LA B ELEC COPY SE R VER KITCHE N X s ¡ ¡ ¡ new ¡sensor ¡s ¡ 12 ¡

Decreasing ¡gains: ¡submodularity ¡ placement ¡A ¡= ¡{1,2} ¡ placement ¡B ¡= ¡{1,…,5} ¡ OF F ICE OF F ICE QUIE T PHONE OF F ICE OF F ICE QUIE T PHONE X 2 X 2 ¡ X 1 CONF E RENCE X 1 ¡ CONF E RENCE STO R AGE X 3 ¡ STO R AGE LA B LA B ELEC COPY ELEC COPY SE R VER SE R VER X 5 ¡ KITCHE N X 4 ¡ KITCHE N Big ¡gain ¡ Adding ¡ s ¡helps ¡a ¡lot! ¡ X s ¡ ¡ ¡ Adding ¡ s ¡doesn’t ¡help ¡much ¡ small ¡gain ¡ new ¡sensor ¡s ¡ A ¡ B ¡ + ¡ ¡ ¡ ¡ ¡ ¡ s ¡ + ¡ ¡ ¡ ¡ ¡ ¡ s ¡ A ⊆ B F ( A ∪ s ) − F ( A ) F ( B ∪ s ) − F ( B ) ≥ ∆ ( s | A ) ∆ ( s | B ) ≥ 13 ¡

Equivalent ¡characteriza9ons ¡ � Diminishing ¡gains: ¡ ¡for ¡all ¡ A ⊆ B A ¡ B ¡ + ¡ ¡ ¡ ¡s ¡ + ¡ ¡ ¡ ¡s ¡ F ( A ∪ s ) − F ( A ) F ( B ∪ s ) − F ( B ) ≥ � Union-­‑Intersec9on: ¡for ¡all ¡ ¡ A, B ⊆ V ¡ A A A ∪ B B B F ( A ∪ B ) + F ( A ∩ B ) F ( A ) + F ( B ) ≥ A ∩ B 14 ¡

Ques9ons ¡ How ¡do ¡I ¡prove ¡my ¡problem ¡is ¡ submodular? ¡ Why ¡is ¡submodularity ¡useful? ¡ 15 ¡

Example: ¡Set ¡cover ¡ place sensors goal: cover floorplan with discs in building Possible OFFICE OFFICE QUIET PHONE locations CONFERENCE STO R AGE V LAB ELEC COPY SERVER KITCHEN ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡: ¡ ¡ F ( A ) = A ⊆ V Node ¡predicts ¡ “area ¡covered ¡by ¡sensors ¡placed ¡at ¡A” ¡ values ¡of ¡posi9ons ¡ with ¡some ¡radius ¡ Formally: ¡ ¡ Finite ¡set ¡ ¡ ¡ ¡ ¡, ¡collec9on ¡of ¡n ¡subsets ¡ W S i ⊆ W For ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡define ¡ F ( A ) = A ⊆ V � [ � � i ∈ A S i � 16 ¡

Set ¡cover ¡is ¡submodular ¡ A={s 1 ,s 2 } OFFICE OFFICE QUIET PHONE CONFERENCE S 1 S 2 STO R AGE LAB ELEC COPY SERVER S ’ KITCHEN F(A U {s’}) – F(A) ≥ OFFICE OFFICE QUIET PHONE CONFERENCE F(B U {s ’ }) – F(B) S 1 S 2 STO R AGE LAB ELEC COPY S 3 SERVER S 4 KITCHEN S ’ B = {s 1 ,s 2 ,s 3 ,s 4 } 17 ¡

More ¡complex ¡model ¡for ¡sensing ¡ OF F ICE OF F ICE QUIE T PHONE Y s : ¡temperature ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ CONF E RENCE at ¡loca9on ¡s ¡ STO R AGE X 1 ¡ X 3 ¡ LA B X 2 ¡ ELEC COPY X s : ¡sensor ¡value ¡ Y 6 ¡ at ¡loca9on ¡s ¡ SE R VER Y 4 ¡ KITCHE N Y 5 ¡ X s ¡= ¡Y s ¡+ ¡noise ¡ X 6 ¡ X 4 ¡ X 5 ¡ Joint ¡probability ¡distribu9on ¡ ¡ P(X 1 ,…,X n ,Y 1 ,…,Y n ) ¡ ¡= ¡P(Y 1 ,…,Y n ) ¡P(X 1 ,…,X n ¡| ¡Y 1 ,…,Y n ) ¡ Prior ¡ Likelihood ¡ 18 ¡

Example: ¡Sensor ¡placement ¡ U9lity ¡of ¡having ¡sensors ¡at ¡subset ¡A ¡of ¡all ¡loca9ons ¡ ¡ F ( A ) = H ( Y ) − H ( Y | X A ) Uncertainty ¡ Uncertainty ¡ about ¡temperature ¡Y ¡ about ¡temperature ¡Y ¡ a7er ¡ sensing ¡ before ¡ sensing ¡ OF F ICE OF F ICE QUIE T PHONE OF F ICE OF F ICE QUIE T PHONE X 4 CONF E RENCE CONF E RENCE X 1 STO R AGE STO R AGE X 1 X 3 LA B LA B X 5 ELEC COPY ELEC COPY SE R VER SE R VER X 2 KITCHE N KITCHE N A={1,2,3}: ¡High ¡value ¡F(A) ¡ A={1,4,5}: ¡Low ¡value ¡F(A) ¡ 19 ¡

Submodularity ¡of ¡Informa9on ¡Gain ¡ ¡Y 1 ,…,Y m , ¡X 1 , ¡…, ¡X n ¡discrete ¡RVs ¡ ¡F(A) ¡= ¡I(Y; ¡X A ) ¡= ¡H(Y)-­‑H(Y ¡| ¡X A ) ¡ � F(A) ¡is ¡ ¡NOT ¡always ¡submodular ¡ ¡ If ¡X i ¡are ¡all ¡condi9onally ¡independent ¡given ¡Y, ¡ then ¡F(A) ¡is ¡submodular! ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[Krause ¡& ¡Guestrin ¡`05] ¡ Y 1 Y 2 Y 3 Proof: ¡ “informa9on ¡never ¡hurts” ¡ X 1 X 2 X 3 X 4 20 ¡

Example: ¡costs ¡ cost: ¡ Market ¡3 ¡ 9me ¡to ¡reach ¡shop ¡ + ¡price ¡of ¡items ¡ breakfast?? ¡ t 3 ¡ ground ¡set ¡ ¡ ¡ ¡ ¡ V t 1 ¡ t 2 ¡ Market ¡1 ¡ Market ¡2 ¡ each ¡item ¡ 1 ¡$ ¡ 21 ¡

Example: ¡costs ¡ cost: ¡ Market ¡3 ¡ 9me ¡to ¡shop ¡ + ¡price ¡of ¡items ¡ breakfast?? ¡ F( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡ ¡cost( ¡ ¡ ¡ ¡ ¡ ¡) ¡+ ¡cost( ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ = ¡ ¡t 1 ¡+ ¡1 ¡ ¡ ¡+ ¡ ¡ ¡ ¡t 2 ¡ ¡ ¡ ¡ + ¡2 ¡ ¡ = ¡ ¡#shops ¡ ¡+ ¡ ¡#items ¡ Market ¡1 ¡ Market ¡2 ¡ submodular? ¡ 22 ¡

Shared ¡fixed ¡costs ¡ A ¡ ∆ ( b | A ) = 1 + t 3 B ¡ ∆ ( b | B ) = 1 marginal ¡cost: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡#new ¡shops ¡ ¡+ ¡#new ¡items ¡ decreasing ¡ ¡ è ¡ ¡cost ¡is ¡submodular! ¡ shops: ¡ ¡ ¡ ¡ ¡shared ¡fixed ¡cost ¡ • economies ¡of ¡scale ¡ • 23 ¡

Another ¡example: ¡Cut ¡func9ons ¡ 1 2 3 V={a,b,c,d,e,f,g,h} a c e g 2 3 2 2 2 3 3 3 X F ( A ) = w s,t b d f h 2 1 3 s ∈ A,t/ ∈ A Cut ¡func9on ¡is ¡submodular! ¡ 24 ¡