credal networks under epistemic irrelevance Jasper De Bock - - PowerPoint PPT Presentation

Jasper ¡De ¡Bock ¡

credal ¡networks ¡under ¡ epistemic ¡irrelevance ¡

7 ¡September ¡2013, ¡Lugano ¡ WPMSIIP ¡2013 ¡

Jasper ¡De ¡Bock ¡ ¡ Gert ¡de ¡Cooman ¡ Research ¡group ¡

SYSTeMS ¡

Márcio ¡A. ¡Diniz ¡ Erik ¡Quaeghebeur ¡ Stavros ¡Lopatatzidis ¡ Arthur ¡Van ¡Camp ¡

? ¡

Credal ¡networks: ¡basic ¡setup ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡ x4 ¡ kX4 ¡ ¡

∈

Every ¡variable ¡Xs ¡takes ¡values ¡xs ¡ in ¡some ¡finite ¡non-­‑empty ¡set ¡Xs ¡ ¡ A ¡finite ¡ number ¡of ¡ variables ¡

Credal ¡networks: ¡basic ¡setup ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡ Graphical ¡structure: ¡ Directed ¡Acyclic ¡Network ¡(DAG) ¡ G={1,2,3,4,5,6,7} ¡

Credal ¡networks: ¡basic ¡setup ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡

∀ ∈

Graphical ¡structure: ¡ Directed ¡Acyclic ¡Network ¡(DAG) ¡ G={1,2,3,4,5,6,7} ¡

Credal ¡networks: ¡local ¡uncertainty ¡models ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡ credal ¡set ¡ lower ¡prevision ¡ set ¡of ¡desirable ¡gambles ¡

Credal ¡networks: ¡epistemic ¡irrelevance ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

Credal ¡networks: ¡a ¡joint ¡model ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

? ¡

Credal ¡networks: ¡a ¡joint ¡model ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

! ¡

not ¡unique ¡

Credal ¡networks: ¡a ¡joint ¡model ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

! ¡

The ¡most ¡conservaGve ¡one ¡ irrelevant ¡ ¡natural ¡extension ¡

Credal ¡networks ¡using ¡credal ¡sets ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

! ¡

The ¡most ¡conservaGve ¡one ¡ irrelevant ¡ ¡natural ¡extension ¡ Introduced ¡by ¡Cozman ¡(2000) ¡under ¡the ¡ assump_on ¡of ¡posi_ve ¡lower ¡probability. ¡ ¡

Credal ¡networks ¡using ¡credal ¡sets ¡

X1 ¡ X3 ¡ X2 ¡

! ¡

The ¡most ¡conservaGve ¡one ¡ irrelevant ¡ ¡natural ¡extension ¡ Introduced ¡by ¡Cozman ¡(2000) ¡under ¡the ¡ assump_on ¡of ¡posi_ve ¡lower ¡probability. ¡ Descrip_on ¡in ¡terms ¡of ¡linear ¡constraints! ¡ ¡

Credal ¡networks ¡using ¡credal ¡sets ¡

X1 ¡ x3 ¡ X2 ¡ § Inference ¡problems ¡can ¡be ¡reduced ¡to ¡solving ¡a ¡ (poten_aly ¡large) ¡linear ¡program! ¡ Evidence ¡nodes ¡ Query ¡nodes ¡ § Lots ¡of ¡poten_al ¡to ¡derive ¡both ¡outer ¡and ¡inner ¡ approxima_ons ¡

?

Credal ¡networks ¡using ¡lower ¡previsions ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

! ¡

The ¡most ¡conservaGve ¡one ¡ irrelevant ¡ ¡natural ¡extension ¡ Introduced ¡for ¡trees ¡by ¡de ¡Cooman ¡et ¡al. ¡(2010) ¡ and ¡extended ¡to ¡general ¡networks ¡by ¡De ¡Bock ¡& ¡ de ¡Cooman ¡(2013), ¡without ¡posi_vity ¡assump_ons. ¡ The ¡joint ¡is ¡s_ll ¡described ¡by ¡the ¡same ¡linear ¡constraints! ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ X9 ¡ X10 ¡ x3 ¡ x4 ¡ X7 ¡ X11 ¡ Evidence ¡nodes ¡ Query ¡nodes ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ X9 ¡ X10 ¡ x3 ¡ x4 ¡ X7 ¡ X11 ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ X9 ¡ x3 ¡ x4 ¡ X7 ¡ X11 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

Barren ¡nodes ¡ can ¡be ¡removed ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ X9 ¡ x3 ¡ x4 ¡ X7 ¡ X11 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

Barren ¡nodes ¡ can ¡be ¡removed ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ x3 ¡ x4 ¡ X7 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

Barren ¡nodes ¡ can ¡be ¡removed ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ x3 ¡ x4 ¡ X7 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

X6 ¡ X5 ¡ x1 ¡ X2 ¡ X8 ¡ x3 ¡ X4 ¡ X7 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

X6 ¡ X5 ¡ x1 ¡ X2 ¡ X8 ¡ x3 ¡ X4 ¡ X7 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

X5 ¡ x1 ¡ X2 ¡ x3 ¡ X7 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

X5 ¡ x1 ¡ X2 ¡ x3 ¡ X7 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

X5 ¡ x1 ¡ X2 ¡ x3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

X5 ¡ x1 ¡ X2 ¡ x3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

x1 ¡ X2 ¡ x3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡

CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

x1 ¡ X2 ¡ x3 ¡ CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡

Credal ¡networks: ¡useful ¡properGes ¡? ¡

Credal ¡networks: ¡useful ¡properGes ¡? ¡

CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡ Credal ¡networks ¡under ¡ epistemic ¡irrelevance ¡

?

✔

?

graphoid ¡ axioms ¡

(Cozman ¡2000) ¡

Credal ¡networks ¡using ¡SDGs ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ X5 ¡ X6 ¡ X7 ¡

! ¡

The ¡most ¡conservaGve ¡one ¡ irrelevant ¡ ¡natural ¡extension ¡ Introduced ¡by ¡De ¡Bock ¡& ¡de ¡Cooman ¡(2013) ¡ § Simplifies ¡coherence ¡proofs ¡for ¡LPs ¡ § (condi_onal) ¡marginalisa_on ¡proper_es ¡ § AD-­‑separa_on ¡implies ¡irrelevance ¡

AD-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡ CondiGonal ¡ marginalisaGon ¡ properGes ¡

Credal ¡networks: ¡useful ¡properGes ¡

✔ ✔

Credal ¡networks ¡under ¡ epistemic ¡irrelevance ¡ graphoid ¡ axioms ¡

✔

✔

(Cozman ¡2000) ¡ (De ¡Bock ¡& ¡ ¡ tde ¡Cooman ¡2013) ¡

Credal ¡networks: ¡useful ¡properGes ¡ ✔

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x8 ¡ X9 ¡ X10 ¡ x3 ¡ x4 ¡ X7 ¡ X11 ¡ Evidence ¡nodes ¡ Query ¡nodes ¡

AD-­‑separated ¡ evidence ¡is ¡ not ¡relevant ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡ CondiGonal ¡ marginalisaGon ¡ properGes ¡ x4 ¡

Credal ¡networks: ¡useful ¡properGes ¡

X2 ¡ x1 ¡ x3 ¡

✔

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

x6 ¡ X5 ¡ x1 ¡ X2 ¡ x7 ¡ X8 ¡ X9 ¡ x3 ¡ x4 ¡ Evidence ¡ Query ¡ Single ¡query ¡node ¡

(de ¡Cooman ¡et ¡al. ¡2010) ¡ (In ¡trees, ¡the ¡joint ¡can ¡be ¡constructed ¡ recursively ¡by ¡applying ¡marginal ¡extension ¡ and ¡independent ¡natural ¡extension) ¡

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

x6 ¡ x5 ¡ X1 ¡ X2 ¡ x7 ¡ x8 ¡ X3 ¡ X4 ¡ Evidence ¡ Query ¡ Single ¡query ¡node ¡

(de ¡Cooman ¡et ¡al. ¡2010) ¡

Example: ¡ ¡ kalman ¡filtering ¡ ¡

(Benavoli ¡et ¡al. ¡2011) ¡

?

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

x6 ¡ X5 ¡ X1 ¡ X2 ¡ x7 ¡ X8 ¡ X9 ¡ x3 ¡ X4 ¡ Evidence ¡ Query ¡ Query ¡nodes ¡on ¡ ¡ a ¡directed ¡path ¡ ¡

(unpublished ¡work) ¡ (In ¡trees, ¡the ¡joint ¡can ¡be ¡constructed ¡ recursively ¡by ¡applying ¡marginal ¡extension ¡ and ¡independent ¡natural ¡extension) ¡

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

x6 ¡ x5 ¡ X1 ¡ X2 ¡ x7 ¡ x8 ¡ X3 ¡ X4 ¡ Evidence ¡ Query ¡ Example: ¡finding ¡maximin ¡ solu_on ¡in ¡imprecise ¡Viterbi ¡ Query ¡nodes ¡on ¡ ¡ a ¡directed ¡path ¡ ¡

(unpublished ¡work) ¡

?

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

X6 ¡ X5 ¡ X1 ¡ X2 ¡ X7 ¡ X8 ¡ X9 ¡ X3 ¡ X4 ¡ Gambles ¡ Sum ¡of ¡gambles ¡

(unpublished ¡work) ¡ (In ¡trees, ¡the ¡joint ¡can ¡be ¡constructed ¡ recursively ¡by ¡applying ¡marginal ¡extension ¡ and ¡independent ¡natural ¡extension) ¡

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

X1 ¡ X2 ¡ X3 ¡ X4 ¡ Example: ¡_me ¡averages ¡in ¡ queueing ¡systems ¡

?

Sum ¡of ¡gambles ¡

(unpublished ¡work) ¡

Gambles ¡

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡

X6 ¡ X5 ¡ X1 ¡ X2 ¡ X7 ¡ X8 ¡ X9 ¡ X3 ¡ X4 ¡ Non-­‑negaGve ¡gambles ¡ Gambles ¡ Product ¡of ¡gambles ¡

(unpublished ¡work) ¡

?

(In ¡trees, ¡the ¡joint ¡can ¡be ¡constructed ¡ recursively ¡by ¡applying ¡marginal ¡extension ¡ and ¡independent ¡natural ¡extension) ¡

? ¡