Jasper ¡De ¡Bock ¡ Credal ¡Networks ¡under ¡ Epistemic ¡Irrelevance: ¡ Theory ¡and ¡Algorithms ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
Credal Networks under Epistemic Irrelevance: Theory and - - PowerPoint PPT Presentation
Credal Networks under Epistemic Irrelevance: Theory and Algorithms Jasper De Bock 13 May 2015, Ghent, Belgium Credal Networks under Epistemic Irrelevance:
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
§ Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡ § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡ § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡ § Local ¡uncertainty ¡models ¡ § Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
§ Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ Example: ¡ X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
§ Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
§ Independence ¡assumpLons ¡ § Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ pscxP (s) § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
§ Independence ¡assumpLons: ¡ § Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ pscxP (s) ∀s ∈ G: I(N(s), s |P(s)) § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
§ Independence ¡assumpLons: ¡ § Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ pscxP (s) ∀s ∈ G: I(N(s), s |P(s)) § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
§ Independence ¡assumpLons: ¡ ∀s ∈ G: I(N(s), s |P(s)) p(xscxP (s), xN(s)) = p(xscxP (s)) = pscxP (s)(xs)
§ Independence ¡assumpLons: ¡ § Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ pscxP (s) ∀s ∈ G: I(N(s), s |P(s)) p(xscxP (s), xN(s)) = p(xscxP (s)) = pscxP (s)(xs)
§ Independence ¡assumpLons: ¡ § Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ pscxP (s) ∀s ∈ G: I(N(s), s |P(s)) p(xscxP (s), xN(s)) = p(xscxP (s)) = pscxP (s)(xs)
p(xscxP (s), xN(s)) = p(xscxP (s)) = pscxP (s)(xs) p(xG) = Y
s2G
pscxP (s)(xs)
p(xG) = Y
s2G
pscxP (s)(xs)
p(xG) = Y
s2G
pscxP (s)(xs) p(xS) = X
xG\S
p(xS, xG\S)
p(xG) = Y
s2G
pscxP (s)(xs) p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S)
p(xG) = Y
s2G
pscxP (s)(xs) p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S) Decision ¡making ¡
X6 ¡ X5 ¡ X1 ¡ X2 ¡ X8 ¡ X9 ¡ X3 ¡ X4 ¡ X7 ¡ Evidence ¡nodes ¡ Query ¡nodes ¡
p(xQcxE) = p(xQ∪E) p(xE)
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
A ¡real ¡medical ¡example ¡
A ¡real ¡example ¡from ¡ automobile ¡ ¡ insurance ¡
A ¡real ¡example ¡in ¡ adverLsement, ¡ ¡ used ¡to ¡opLmise ¡and ¡ individualise ¡the ¡ adverLsments ¡that ¡ are ¡shown ¡on ¡ websites ¡
§ Local ¡uncertainty ¡models: ¡ mass ¡funcLons ¡ X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
What ¡if ¡we ¡don’t ¡ know ¡them ¡exactly? ¡
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
A ¡real ¡medical ¡example ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡
§ Local ¡uncertainty ¡models: ¡ credal ¡sets ¡ § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
FscxP (s)
Flu ¡ Muscle ¡Pain ¡ CongesLon ¡ Hayfever ¡ Itchy ¡nose ¡ Season ¡
§ Independence ¡assumpLons: ¡ § Local ¡uncertainty ¡models: ¡ credal ¡sets ¡ § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡ FscxP (s)
§ Independence ¡assumpLons: ¡ § Local ¡uncertainty ¡models: ¡ credal ¡sets ¡ ∀s ∈ G: I(N(s), s |P(s)) § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
pscxP (s)
∈
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡ FscxP (s)
p(xG) = Y
s2G
pscxP (s)(xs)
∈ FscxP (s)
p(xG) = Y
s2G
pscxP (s)(xs) p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S)
∈
FscxP (s)
p(xG) = Y
s2G
pscxP (s)(xs) p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S)
∈
Lower ¡and ¡ upper ¡bounds! ¡ FscxP (s)
p(xG) = Y
s2G
pscxP (s)(xs) p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S) Decision ¡making ¡
∈
FscxP (s) Lower ¡and ¡ upper ¡bounds! ¡
p(xG) = Y
s2G
pscxP (s)(xs) p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S) Decision ¡making ¡
∈
MulLple ¡ decisions! ¡ Lower ¡and ¡ upper ¡bounds! ¡ FscxP (s)
A ¡real ¡medical ¡example ¡
Are ¡you ¡sure ¡they ¡ are ¡completely ¡ independent? ¡ § Independence ¡assumpLons: ¡ ∀s ∈ G: I(N(s), s |P(s)) Maybe ¡they ¡are ¡almost ¡ independent? ¡ What ¡does ¡ `almost’ ¡ mean? ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
§ Epistemic ¡irrelevance: ¡ § Local ¡uncertainty ¡models: ¡ credal ¡sets ¡ § Variables ¡Xs ¡take ¡values ¡xs ¡in ¡ a ¡finite ¡non-‑empty ¡set ¡ ¡ ¡
§ Graphical ¡structure: ¡DAG ¡
∀s ∈ G: P(s), D(s), N(s)
X2 ¡ X1 ¡ X4 ¡ X6 ¡ X7 ¡ X5 ¡ X3 ¡ X8 ¡ ∀s ∈ G: IR(N(s), s |P(s)) FscxP (s)
§ Epistemic ¡irrelevance: ¡ ∀s ∈ G: IR(N(s), s |P(s))
p(xscxP (s), xN(s)) = p(xscxP (s))
Almost ¡independence! ¡
p(xscxP (s), xN(s)) = p(xscxP (s))
Almost ¡independence! ¡ What ¡is ¡ independence? ¡ What ¡is ¡ probability? ¡ What ¡is ¡ uncertainty? ¡
What ¡is ¡ independence? ¡ What ¡is ¡ probability? ¡ What ¡is ¡ uncertainty? ¡
p(xscxP (s), xN(s)) = p(xscxP (s))
Almost ¡independence! ¡
p(xscxP (s), xN(s)) = p(xscxP (s))
p(xG) = Y
s2G
pscxP (s)(xs)
∈ FscxP (s)
p(xscxP (s), xN(s)) = p(xscxP (s))
the ¡set ¡of ¡all ¡global ¡probability ¡ mass ¡funcLons ¡that ¡are ¡compaLble ¡ with ¡our ¡assessments ¡
p(xQcxE) = p(xQ∪E) p(xE) p(xS) = X
xG\S
p(xS, xG\S) Decision ¡making ¡ MulLple ¡ decisions! ¡ Lower ¡and ¡ upper ¡bounds! ¡
the ¡set ¡of ¡all ¡global ¡probability ¡ mass ¡funcLons ¡that ¡are ¡compaLble ¡ with ¡our ¡assessments ¡
Inference ¡can ¡be ¡performed ¡ using ¡linear ¡programming ¡ techniques ¡ (Cozman, ¡2000) ¡
Inference ¡can ¡be ¡performed ¡ using ¡linear ¡programming ¡ techniques ¡ (Cozman, ¡2000) ¡
Inference ¡can ¡be ¡performed ¡ using ¡linear ¡programming ¡ techniques ¡ (Cozman, ¡2000) ¡ # ¡constraints ¡is ¡exponenGal ¡ ¡in ¡the ¡size ¡of ¡the ¡network! ¡
13 ¡May ¡2015, ¡Ghent, ¡Belgium ¡
For ¡trees: ¡(Cooman ¡et ¡al., ¡2010) ¡
Scan ¡and ¡apply ¡ OpGcal ¡Character ¡ RecogniGon ¡ soNware ¡
Scan ¡and ¡apply ¡ OpGcal ¡Character ¡ RecogniGon ¡ soNware ¡
DOCTORAAT ¡ DOCTQRAAT ¡
Scan ¡and ¡apply ¡ OpGcal ¡Character ¡ RecogniGon ¡ soNware ¡
Bayesian ¡or ¡credal ¡networks ¡ Correct ¡errors ¡ DOCTORAAT ¡ DOCTQRAAT ¡
Evidence ¡nodes ¡ Query ¡nodes ¡
p1 p2cx1 p3cx2 p4cx1 p5cx2 p6cx3
Bayesian ¡ network ¡
Credal ¡ network ¡
F1 F2cx1 F4cx1 F5cx2 F3cx2 F6cx3
Data ¡is ¡scarce ¡(or ¡expensive) ¡ Obtaining ¡accurate ¡ probabiliLes ¡is ¡unrealisLc ¡
correctly ¡read ¡ digital ¡
SoluGon ¡Bayesian ¡network ¡
SoluGon(s) ¡credal ¡network ¡
incorrectly ¡read ¡ digital ¡ SoluGon ¡Bayesian ¡network ¡ SoluGon(s) ¡credal ¡network ¡
incorrectly ¡read ¡ digital ¡ SoluGon ¡Bayesian ¡network ¡ SoluGon(s) ¡credal ¡network ¡
correctly ¡read ¡ SoluGon ¡Bayesian ¡network ¡ SoluGon(s) ¡credal ¡network ¡
digital ¡
TOTAL ¡ Credal ¡network ¡ Includes ¡correct ¡answer ¡ Only ¡wrong ¡answers ¡ Bayesian ¡network ¡ Correct ¡answer ¡ Wrong ¡answer ¡ TOTAL ¡ OCR ¡correct ¡ OCR ¡wrong ¡ OCR ¡ Bayesian ¡or ¡credal ¡networks ¡
TOTAL ¡ Credal ¡network ¡ Includes ¡correct ¡answer ¡ Only ¡wrong ¡answers ¡ Bayesian ¡network ¡ Correct ¡answer ¡ Wrong ¡answer ¡ TOTAL ¡ OCR ¡correct ¡ OCR ¡wrong ¡ Words ¡for ¡which ¡the ¡credal ¡network ¡suggests ¡mulLple ¡answers ¡