credal networks under epistemic irrelevance Jasper De Bock - PowerPoint PPT Presentation

WPMSIIP ¡2013 ¡ credal ¡networks ¡under ¡ epistemic ¡irrelevance ¡ Jasper ¡De ¡Bock ¡ 7 ¡September ¡2013, ¡Lugano ¡

Research ¡group ¡ SYSTeMS ¡ Jasper ¡De ¡Bock ¡ ¡ Gert ¡de ¡Cooman ¡ ? ¡ Stavros ¡Lopatatzidis ¡ Arthur ¡Van ¡Camp ¡ Erik ¡Quaeghebeur ¡ Márcio ¡A. ¡Diniz ¡

Credal ¡networks: ¡basic ¡setup ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ A ¡finite ¡ X 4 ¡ number ¡of ¡ X 2 ¡ x 4 ¡ k X 4 ¡ ¡ ∈ variables ¡ Every ¡ variable ¡X s ¡ takes ¡values ¡x s ¡ X 1 ¡ in ¡some ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡

Credal ¡networks: ¡basic ¡setup ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ G ={1,2,3,4,5,6,7} ¡ X 4 ¡ X 2 ¡ Graphical ¡structure: ¡ X 1 ¡ D irected ¡ A cyclic ¡ N etwork ¡( DAG ) ¡

Credal ¡networks: ¡basic ¡setup ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ G={1,2,3,4,5,6,7} ¡ X 4 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 2 ¡ Graphical ¡structure: ¡ X 1 ¡ D irected ¡ A cyclic ¡ N etwork ¡( DAG ) ¡

Credal ¡networks: ¡local ¡uncertainty ¡models ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ X 4 ¡ X 2 ¡ credal ¡set ¡ X 1 ¡ lower ¡prevision ¡ set ¡of ¡desirable ¡gambles ¡

Credal ¡networks: ¡epistemic ¡irrelevance ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ X 4 ¡ X 2 ¡ X 1 ¡

Credal ¡networks: ¡a ¡joint ¡model ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ X 4 ¡ ? ¡ X 2 ¡ X 1 ¡

Credal ¡networks: ¡a ¡joint ¡model ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ X 4 ¡ ! ¡ X 2 ¡ not ¡unique ¡ X 1 ¡

Credal ¡networks: ¡a ¡joint ¡model ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ irrelevant ¡ ¡natural ¡extension ¡ X 4 ¡ ! ¡ X 2 ¡ The ¡most ¡conservaGve ¡one ¡ X 1 ¡

Credal ¡networks ¡using ¡credal ¡sets ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ irrelevant ¡ ¡natural ¡extension ¡ X 4 ¡ ! ¡ X 2 ¡ The ¡most ¡conservaGve ¡one ¡ X 1 ¡ Introduced ¡by ¡Cozman ¡(2000) ¡under ¡the ¡ assump_on ¡of ¡posi_ve ¡lower ¡probability. ¡ ¡

Credal ¡networks ¡using ¡credal ¡sets ¡ X 2 ¡ X 1 ¡ irrelevant ¡ ¡natural ¡extension ¡ X 3 ¡ ! ¡ The ¡most ¡conservaGve ¡one ¡ Introduced ¡by ¡Cozman ¡(2000) ¡under ¡the ¡ assump_on ¡of ¡posi_ve ¡lower ¡probability. ¡ Descrip_on ¡in ¡terms ¡of ¡linear ¡constraints! ¡ ¡

Credal ¡networks ¡using ¡credal ¡sets ¡ X 2 ¡ X 1 ¡ Query ¡nodes ¡ ? Evidence ¡nodes ¡ x 3 ¡ § Inference ¡problems ¡can ¡be ¡reduced ¡to ¡solving ¡a ¡ (poten_aly ¡large) ¡ linear ¡program! ¡ § Lots ¡of ¡poten_al ¡to ¡derive ¡both ¡outer ¡and ¡inner ¡ approxima_ons ¡

Credal ¡networks ¡using ¡lower ¡previsions ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ irrelevant ¡ ¡natural ¡extension ¡ X 4 ¡ ! ¡ X 2 ¡ The ¡most ¡conservaGve ¡one ¡ Introduced ¡for ¡trees ¡by ¡de ¡Cooman ¡et ¡al. ¡(2010) ¡ X 1 ¡ and ¡extended ¡to ¡general ¡networks ¡by ¡De ¡Bock ¡& ¡ de ¡Cooman ¡(2013), ¡without ¡posi_vity ¡assump_ons. ¡ The ¡joint ¡is ¡s_ll ¡described ¡by ¡the ¡same ¡linear ¡constraints! ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 11 ¡ X 7 ¡ x 8 ¡ X 10 ¡ x 1 ¡ X 9 ¡ Query ¡nodes ¡ X 2 ¡ Evidence ¡nodes ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 11 ¡ X 7 ¡ x 8 ¡ X 10 ¡ x 1 ¡ X 9 ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 11 ¡ X 7 ¡ x 8 ¡ x 1 ¡ X 9 ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 11 ¡ X 7 ¡ x 8 ¡ x 1 ¡ X 9 ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 7 ¡ x 8 ¡ x 1 ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 7 ¡ x 8 ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 7 ¡ X 8 ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ X 4 ¡ X 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 7 ¡ X 8 ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡ X 4 ¡ X 6 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 7 ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ X 7 ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ X 5 ¡ x 3 ¡

Bayesian ¡networks: ¡useful ¡properGes ¡ CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ x 3 ¡

Credal ¡networks: ¡useful ¡properGes ¡? ¡ CondiGonal ¡ marginalisaGon ¡ properGes ¡ D-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ x 3 ¡

Credal ¡networks: ¡useful ¡properGes ¡? ¡ CondiGonal ¡ ? marginalisaGon ¡ properGes ¡ D-­‑separated ¡ ? evidence ¡is ¡ not ¡relevant ¡ graphoid ¡ axioms ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡ ✔ (Cozman ¡2000) ¡ Credal ¡networks ¡under ¡ epistemic ¡irrelevance ¡

Credal ¡networks ¡using ¡SDGs ¡ X 7 ¡ X 5 ¡ X 3 ¡ X 6 ¡ irrelevant ¡ ¡natural ¡extension ¡ X 4 ¡ ! ¡ X 2 ¡ The ¡most ¡conservaGve ¡one ¡ Introduced ¡by ¡De ¡Bock ¡& ¡de ¡Cooman ¡(2013) ¡ X 1 ¡ § Simplifies ¡coherence ¡proofs ¡for ¡LPs ¡ § (condi_onal) ¡marginalisa_on ¡proper_es ¡ § AD-­‑separa_on ¡implies ¡irrelevance ¡

Credal ¡networks: ¡useful ¡properGes ¡ ✔ CondiGonal ¡ (De ¡Bock ¡& ¡ ¡ ✔ marginalisaGon ¡ tde ¡Cooman ¡2013) ¡ properGes ¡ AD-­‑separated ¡ evidence ¡is ¡ ✔ not ¡relevant ¡ graphoid ¡ axioms ¡ Barren ¡nodes ¡ can ¡be ¡removed ¡ ✔ (Cozman ¡2000) ¡ Credal ¡networks ¡under ¡ epistemic ¡irrelevance ¡

Credal ¡networks: ¡useful ¡properGes ¡ ✔ X 11 ¡ X 7 ¡ x 8 ¡ X 10 ¡ x 1 ¡ X 9 ¡ Query ¡nodes ¡ X 2 ¡ Evidence ¡nodes ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Credal ¡networks: ¡useful ¡properGes ¡ ✔ CondiGonal ¡ marginalisaGon ¡ properGes ¡ AD-­‑separated ¡ evidence ¡is ¡ x 1 ¡ not ¡relevant ¡ Barren ¡nodes ¡ X 2 ¡ can ¡be ¡removed ¡ x 3 ¡ x 4 ¡

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡ (In ¡trees, ¡the ¡joint ¡can ¡be ¡constructed ¡ Evidence ¡ recursively ¡by ¡applying ¡marginal ¡extension ¡ and ¡independent ¡natural ¡extension) ¡ Query ¡ x 7 ¡ X 9 ¡ X 8 ¡ x 1 ¡ Single ¡query ¡node ¡ X 2 ¡ (de ¡Cooman ¡et ¡al. ¡2010) ¡ X 5 ¡ x 3 ¡ x 4 ¡ x 6 ¡

Credal ¡trees: ¡efficient ¡(linear!) ¡algorithms ¡ ¡ Evidence ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ Query ¡ x 7 ¡ x 6 ¡ x 8 ¡ x 5 ¡ ? Single ¡query ¡node ¡ (de ¡Cooman ¡et ¡al. ¡2010) ¡ Example: ¡ ¡ kalman ¡filtering ¡ ¡ (Benavoli ¡et ¡al. ¡2011) ¡