Applications of Variational Bayes & DAGs in Neuroimaging - - PowerPoint PPT Presentation

applications of variational bayes dags
SMART_READER_LITE
LIVE PREVIEW

Applications of Variational Bayes & DAGs in Neuroimaging - - PowerPoint PPT Presentation

Applications of Variational Bayes & DAGs in Neuroimaging ECE 6504: Advanced Topics in Machine Learning Rosalyn Moran rosalynj@vtc.vt.edu


slide-1
SLIDE 1

Applications ¡of ¡Variational ¡Bayes ¡& ¡DAGs ¡ in ¡Neuroimaging ¡

ECE ¡6504: ¡ ¡ Advanced ¡Topics ¡in ¡Machine ¡Learning ¡ ¡ ¡ ¡ Rosalyn ¡Moran ¡ rosalynj@vtc.vt.edu ¡

slide-2
SLIDE 2

ì ¡

Overview ¡

  • 1. Dynamics ¡in ¡Dynamic ¡Causal ¡Modeling ¡
  • 2. Graphical ¡Model ¡
  • ­‑ VariaFonal ¡Inversion ¡
  • ­‑ ¡StaFsFcal ¡Inference ¡from ¡VB ¡
  • 3. Examples ¡ ¡
  • ­‑ ¡ANenFon ¡in ¡the ¡Human ¡Brain ¡
  • ­‑ ¡Synesthesia ¡
slide-3
SLIDE 3

Dynamic ¡Causal ¡Modelling ¡

Friston ¡et ¡al ¡2003; ¡Stephan ¡et ¡al ¡2008 ¡ Kiebel ¡et ¡al, ¡2006; ¡Garrido ¡et ¡al, ¡2007 ¡ David ¡et ¡al, ¡2006; ¡Moran ¡et ¡al, ¡2007 ¡ ¡

dx dt

Time ¡Series ¡ DCM ¡is ¡not ¡intended ¡for ¡‘modelling’ ¡ ¡ ¡ DCM ¡is ¡an ¡analysis ¡framework ¡for ¡empirical ¡data ¡ ¡ DCM ¡uses ¡a ¡Fmes ¡series ¡to ¡test ¡mechanisFc ¡hypotheses ¡ ¡ Hypotheses ¡are ¡constrained ¡by ¡the ¡underlying ¡dynamic ¡ generaFve ¡(biological) ¡model ¡

slide-4
SLIDE 4

) , , ( θ u x F dt dx =

Neural state equation: Electromagnetic forward model:
 neural activity→EEG
 MEG LFP simple neuronal model complicated forward model complicated neuronal model simple forward model

fMRI EEG/MEG

Hemodynamic
 forward model:
 neural activity→BOLD

Dynamic ¡Causal ¡Modelling ¡(DCM) ¡

slide-5
SLIDE 5

DCM ¡for ¡fMRI ¡

u1 ¡

A(1,1) ¡ ¡ ¡ ¡ A(2,1) ¡ ¡ ¡ ¡ A(1,2) ¡ ¡ ¡ ¡ A(2,2) ¡ ¡ ¡ ¡

x1 ¡

 x = (A+uB)x +Cu y = g(x, H)+ε ε ~ N(0,σ )

u2 ¡

B(1,2) ¡ ¡ ¡ ¡

H{1} ¡

y ¡

H{2} ¡

y ¡ x2 ¡

C(1) ¡

slide-6
SLIDE 6

) , , ( θ u x F dt dx =

x1 ¡ x2 ¡ x3 ¡

System ¡states ¡xt ¡ ConnecFvity ¡parameters ¡θ ¡ Inputs ¡ut ¡

Aim: ¡model ¡temporal ¡evoluFon ¡of ¡a ¡set ¡of ¡neuronal ¡states ¡xt ¡

Neuronal ¡model ¡

State ¡changes ¡are ¡dependent ¡

  • n: ¡

– the ¡current ¡state ¡x ¡ – external ¡inputs ¡u ¡ – its ¡connecFvity ¡θ ¡

slide-7
SLIDE 7

Example: ¡a ¡linear ¡model ¡of ¡interacFng ¡visual ¡regions ¡

Visual ¡input ¡in ¡the ¡ ¡visual ¡field ¡ ¡-­‑ ¡le\ ¡(LVF) ¡ ¡-­‑ ¡right ¡(RVF) ¡ ¡ LG ¡= ¡lingual ¡gyrus ¡ FG ¡= ¡fusiform ¡gyrus ¡

LG ¡ le\ ¡ LG ¡ right ¡

RVF ¡ LVF ¡

FG ¡ right ¡ FG ¡ le\ ¡

x1 ¡ x2 ¡ x4 ¡ x3 ¡ u2 ¡ u1 ¡

 x3 = a31x1 +a33x3 +a34x4  x1 = a11x1 +a12x2 +a13x3 +c12u2  x4 = a42x2 +a43x3 +a44x4  x2 = a21x1 +a22x2 +a24x4 +c21u1

slide-8
SLIDE 8

Example: ¡a ¡linear ¡model ¡of ¡interacFng ¡visual ¡regions ¡

 x1 = a11x1 + a12x2 + a13x3 + c12u2  x2 = a21x1 + a22x2 + a24x4 + c21u1  x3 = a31x1 + a33x3 + a34x4  x4 = a42x2 + a43x3 + a44x4

Visual ¡input ¡in ¡the ¡ ¡visual ¡field ¡ ¡-­‑ ¡le\ ¡(LVF) ¡ ¡-­‑ ¡right ¡(RVF) ¡ ¡ LG ¡= ¡lingual ¡gyrus ¡ FG ¡= ¡fusiform ¡gyrus ¡

LG ¡ le\ ¡ LG ¡ right ¡

RVF ¡ LVF ¡

FG ¡ right ¡ FG ¡ le\ ¡

x1 ¡ x2 ¡ x4 ¡ x3 ¡ u2 ¡ u1 ¡

slide-9
SLIDE 9

Visual ¡input ¡in ¡the ¡ ¡ visual ¡field ¡ ¡-­‑ ¡le\ ¡(LVF) ¡ ¡-­‑ ¡right ¡(RVF) ¡ ¡ LG ¡= ¡lingual ¡gyrus ¡ FG ¡= ¡fusiform ¡gyrus ¡

Example: ¡a ¡linear ¡model ¡of ¡interacFng ¡visual ¡regions ¡

state 
 changes effective connectivity external
 inputs system
 state input parameters

 x1  x2  x3  x4 ! " # # # # # # $ % & & & & & & = a11 a12 a13 a21 a22 a24 a31 a33 a34 a42 a43 a44 ! " # # # # # # $ % & & & & & & x1 x2 x3 x4 ! " # # # # # # $ % & & & & & & + c21 c12 ! " # # # # # $ % & & & & & u1 u2 ! " # # $ % & &

 x = Ax +Cu

} , { C A = θ

LG ¡ le\ ¡ LG ¡ right ¡

RVF ¡ LVF ¡

FG ¡ right ¡ FG ¡ le\ ¡

x1 ¡ x2 ¡ x4 ¡ x3 ¡ u2 ¡ u1 ¡

slide-10
SLIDE 10

Example: ¡a ¡linear ¡model ¡of ¡interacFng ¡visual ¡regions ¡

LG ¡ le\ ¡ LG ¡ right ¡

RVF ¡ LVF ¡

FG ¡ right ¡ FG ¡ le\ ¡

x1 ¡ x2 ¡ x4 ¡ x3 ¡ u2 ¡ u1 ¡

ATTENTION ¡

u3 ¡

 x = (A+ u jB( j)

j=1 m

)x +Cu

 x1  x2  x3  x4 ! " # # # # # # $ % & & & & & & = a11 a12 a13 a21 a22 a24 a31 a33 a34 a42 a43 a44 ! " # # # # # # $ % & & & & & & +u3 b

12 (3)

b34

(3)

! " # # # # # $ % & & & & & ' ( ) ) ) * ) ) ) + , ) ) )

  • )

) ) x1 x2 x3 x4 ! " # # # # # # $ % & & & & & & + c21 c12 ! " # # # # # $ % & & & & & u1 u2 u3 ! " # # # # $ % & & & &

slide-11
SLIDE 11

DeterminisFc ¡Bilinear ¡DCM ¡

Cu x B u A dt dx

m i i i

+ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ + =

=1 ) (

Bilinear state equation: driving input modulation

... ) , ( ) , (

2

+ ∂ ∂ ∂ + ∂ ∂ + ∂ ∂ + ≈ = ux u x f u u f x x f x f u x f dt dx

Simply a two-dimensional taylor expansion (around x0=0, u0=0):

A = ∂f ∂x u=0 C = ∂f ∂u x=0 B = ∂

2 f

∂x∂u

slide-12
SLIDE 12

u2 u1 x1 x2

stimulus u1 context u2

x1 x

2

21

a

Context-­‑dependent ¡enhancement ¡

( ) ( )

⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ + ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ + ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ + + =

2 1 11 2 1 2 21 2 2 1 22 21 11 2 1 2 2

u u c x x b u x x a a a x x Cu x B u Ax x   

slide-13
SLIDE 13

endogenous ¡ connecFvity ¡ direct ¡inputs ¡ modulaFon ¡of ¡ connecFvity ¡ Neural ¡state ¡equaFon ¡

Cu x B u A x

j j

+ + =

) (

) (

u x C x x u B x x A

j j

∂ ∂ = ∂ ∂ ∂ ∂ = ∂ ∂ =   

) (

hemodynamic ¡ model ¡

H ¡ x ¡ y ¡

integraFon ¡

Stephan & Friston (2007), Handbook of Brain Connectivity

BOLD ¡ y ¡ y ¡ y ¡

ac#vity ¡ x1(t) ¡ ac#vity ¡ x2(t) ¡ ac#vity ¡ x3(t) ¡

Neuronal ¡ states ¡

t ¡

driving ¡ input ¡u1(t) ¡ modulatory ¡ input ¡u2(t) ¡

t ¡

DCM ¡for ¡fMRI: ¡the ¡full ¡picture ¡

slide-14
SLIDE 14

ì

Cognitive system is modelled at its underlying neuronal level (not directly accessible for fMRI).

ì

The modelled neuronal dynamics (x) are transformed into area-specific BOLD signals (y) by a hemodynamic model (λ).

ì

Overcomes regional variability at the hemodynamic level

ì

DCM not based on temporal precedence at measurement level

DCM: ¡Neuronal ¡and ¡hemodynamic ¡level ¡

hemodynamic ¡ model ¡

H ¡ x ¡ y ¡

integraFon ¡

slide-15
SLIDE 15

The ¡hemodynamic ¡“Balloon” ¡model ¡

ì

3 ¡ hemodynamic ¡ parameters ¡

ì

Region-­‑specific ¡ HRFs ¡

ì

Important ¡for ¡ model ¡fibng, ¡ but ¡of ¡no ¡ interest ¡

slide-16
SLIDE 16

Hemodynamic ¡model ¡

Z: neuronal activity Y: BOLD response y ¡represents ¡the ¡simulated ¡

  • bservaFon ¡of ¡the ¡bold ¡response, ¡

including ¡noise, ¡i.e. ¡ ¡ y ¡= ¡h(u,θ)+e ¡

BOLD (with noise added) BOLD (with noise added)

y1 y2

u1 u2

z1 z2

20 40 60 2 4 20 40 60 2 4 seconds

blue: neuronal

  

slide-17
SLIDE 17

ì ¡

Overview ¡

  • 1. Dynamics ¡in ¡Dynamic ¡Causal ¡Modeling ¡
  • 2. Graphical ¡Model ¡
  • ­‑ Varia#onal ¡Inversion ¡
  • ­‑ ¡Bayesian ¡Sta#s#cal ¡Inference ¡from ¡VB ¡
  • 3. Examples ¡ ¡
  • ­‑ ¡ANenFon ¡in ¡the ¡Human ¡Brain ¡
  • ­‑ ¡Synesthesia ¡
slide-18
SLIDE 18

y1 y2

u1 u2

x1 x2

¡EsFmate ¡neural ¡& ¡ ¡hemodynamic ¡ parameters ¡such ¡that ¡the ¡ MODELLED ¡and ¡MEASURED ¡BOLD ¡ signals ¡are ¡similar ¡(model ¡evidence ¡ is ¡opFmised), ¡using ¡variaFonal ¡bayes ¡ under ¡mean ¡field: ¡ ¡P(X, ¡λ, ¡A, ¡B, ¡C ¡| ¡Y) ¡ ¡

Parameter ¡estimation: ¡Bayesian ¡inversion ¡

slide-19
SLIDE 19

Recall ¡from ¡Tuesday ¡ Main ¡Issues ¡in ¡PGMs ¡ ¡

  • Representa#on ¡
  • ­‑

How ¡do ¡we ¡store ¡P(X1, ¡ ¡X2, ¡…, ¡XN) ¡

  • ­‑

What ¡does ¡my ¡model ¡mean/imply/assume? ¡(SemanFcs) ¡ ¡

  • Inference ¡
  • ­‑

How ¡do ¡I ¡answer ¡quesFons/queries ¡with ¡my ¡model, ¡such ¡as ¡

  • ­‑

Marginal ¡EsFmaFon: ¡P(X5 ¡| ¡X1, ¡X4) ¡

  • ­‑

Most ¡Probable ¡ExplanaFon: ¡argmax ¡P(X1, ¡ ¡X2, ¡…, ¡XN) ¡ ¡

  • Learning ¡
  • ­‑

How ¡do ¡we ¡learn ¡parameters ¡and ¡structure ¡of ¡P(X1, ¡ ¡X2, ¡…, ¡XN) ¡from ¡data ¡

  • ­‑

¡What ¡is ¡the ¡right ¡model ¡for ¡my ¡data? ¡ VB: ¡A ¡procedure ¡to ¡do ¡inference: ¡ ¡ That ¡implicitly ¡‘does ¡double ¡duty’ ¡in ¡Directed ¡Graphs! ¡ ¡

slide-20
SLIDE 20

Key ¡Results ¡for ¡VB ¡

  • ¡Approximate ¡Inference ¡using ¡constrained ¡opFmizaFon ¡ ¡ ¡

¡

  • Where: ¡The ¡approximaFon ¡arises ¡from ¡construcFng ¡an ¡approximaFng ¡

distribuFon ¡over ¡X: ¡ ¡q(X) ¡which ¡is ¡closest ¡in ¡p(X) ¡“in ¡the ¡KL ¡sense” ¡ ¡ ¡

  • Derived ¡a ¡cost ¡funcFon ¡

Which ¡can ¡be ¡maximized ¡

¡ ¡

  • And ¡is ¡equivalent ¡to ¡minimizing ¡KL(q|p) ¡

¡ ¡

) | ( ln p q KL Z F − =

[ ]

q H F

q +

=∑

φ

φ ln

  • Z: ¡ParFFon ¡FuncFon; ¡a ¡normalizaFon ¡funcFon ¡

equal ¡to ¡the ¡probability ¡of ¡the ¡evidence ¡in ¡directed ¡graphs ¡

slide-21
SLIDE 21

Key ¡Result ¡for ¡Mean-­‑Field, ¡Structured ¡VB ¡

  • The ¡structured ¡variaFonal ¡approach ¡aims ¡to ¡opFmize ¡F ¡over ¡a ¡coherent ¡distribuFon ¡

q ¡ ¡(ie. ¡giving ¡a ¡proper ¡joint ¡distribuFon), ¡at ¡the ¡expense ¡of ¡capturing ¡all ¡the ¡ informaFon ¡in ¡p. ¡ ¡

  • Assume ¡the ¡approximaFng ¡or ¡proposal ¡density ¡factorizes ¡over ¡groups ¡of ¡

parameters ¡-­‑ ¡where ¡this ¡factorizaFon ¡is ¡a ¡relaxaBon ¡(a ¡superspace) ¡of ¡the ¡space ¡of ¡ true ¡marginals. ¡ ¡ ¡ ¡

  • Approximate ¡q ¡using ¡a ¡factorizaFon ¡

¡ ¡

  • Found ¡iteraFve ¡update ¡equaFons ¡for ¡q ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡using ¡fixed ¡point ¡soluFons ¡ ¡ ¡

  • F ¡is ¡a ¡guaranteed ¡lower ¡bound ¡on ¡ln(Z) ¡

¡

=

i i

x q X q ) ( ) (

Z x I x q

i i

)] ( exp[ ) ( = ) | ( ln p q KL Z F − =

slide-22
SLIDE 22

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

Dynamics ¡

slide-23
SLIDE 23

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1(t) ¡ x1(t) ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y1(t+1) ¡ x1(t+1) ¡ y1(t+2) ¡ y2(t) ¡ y2(t+1) ¡ y2(t+2) ¡ x1(t+2) ¡ x2(t+1) ¡ x2(t+2) ¡ x2(t) ¡ Dynamics ¡

Causal ¡Links ¡expressed ¡through ¡implicit ¡delays, ¡ ¡ which ¡makes ¡the ¡graph ¡a ¡Directed ¡Acyclic ¡Graph ¡

DAG ¡

slide-24
SLIDE 24

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡ x ¡

Dynamics ¡

A ¡ B ¡ H ¡ C ¡ λ ¡

) ), , , , , ( ( ) , , , , ( I H X C B A f N H X C B A y p λ →

N ¡ N ¡ N ¡=Time ¡steps ¡ ¡x ¡# ¡Regions ¡ DAG ¡

slide-25
SLIDE 25

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡

Dynamics ¡

A ¡ B ¡ H ¡ C ¡ λ ¡

) ), , , , , ( ( ) , , , , ( I H X C B A f N H X C B A y p λ →

N ¡ N ¡=Time ¡steps ¡ ¡x ¡# ¡Regions ¡ Bayes ¡Net: ¡PGM ¡

slide-26
SLIDE 26

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡

Dynamics ¡

A ¡ B ¡ H ¡ C ¡ λ ¡

) ), , , , , ( ( ) , , , , ( I H X C B A f N H X C B A y p λ →

N ¡ N ¡=Time ¡steps ¡ ¡x ¡# ¡Regions ¡ ¡Bayes ¡Net: ¡ ¡ ProbabilisFc ¡Graphical ¡Model ¡

slide-27
SLIDE 27

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡

Dynamics ¡

θ ¡ λ ¡

Goal: ¡Find ¡the ¡set ¡of ¡latent ¡ variables ¡θ, ¡given ¡y: ¡p(θ|y) ¡

  • Ie. ¡inference ¡or ¡

Query ¡for ¡the ¡marginal ¡ distribuFon ¡of ¡the ¡ connecFvity ¡parameters ¡given ¡ data, ¡marginalized ¡w.r.t ¡noise ¡ parameter ¡

slide-28
SLIDE 28

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡

Dynamics ¡

θ ¡ λ ¡ Given ¡this ¡type ¡of ¡graph ¡we ¡know: ¡

) ( ) , ( ) ( ) ( ) , ( y p y p p p y p λ θ λ θ λ θ =

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡θ ¡ ¡ ¡ ¡λ ¡|y ¡

Goal: ¡Find ¡the ¡set ¡of ¡latent ¡ variables ¡θ, ¡given ¡y: ¡p(θ|y) ¡

  • Ie. ¡inference ¡or ¡

Query ¡for ¡the ¡marginal ¡ distribuFon ¡of ¡the ¡ connecFvity ¡parameters ¡given ¡ data, ¡marginalized ¡w.r.t ¡noise ¡ parameter ¡

slide-29
SLIDE 29

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡

Dynamics ¡

θ ¡ λ ¡ Given ¡this ¡type ¡of ¡graph ¡we ¡know: ¡

) ( ) , ( ) ( ) ( ) , ( y p y p p p y p λ θ λ θ λ θ =

and ¡θ ¡ ¡ ¡ ¡λ ¡|y ¡ But ¡Employ ¡ApproximaFng ¡Density ¡q, ¡ ¡ Using ¡the ¡mean ¡field ¡structure: ¡ Where: ¡

Goal: ¡Find ¡the ¡set ¡of ¡latent ¡ variables ¡θ, ¡given ¡y: ¡p(θ|y) ¡

  • Ie. ¡inference ¡or ¡

Query ¡for ¡the ¡marginal ¡ distribuFon ¡of ¡the ¡ connecFvity ¡parameters ¡given ¡ data, ¡marginalized ¡w.r.t ¡noise ¡ parameter ¡

slide-30
SLIDE 30

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

y ¡

Dynamics ¡

θ ¡ λ ¡ But ¡Employ ¡ApproximaFng ¡Density ¡q, ¡ ¡ Using ¡the ¡mean ¡field ¡structure: ¡ Given ¡this ¡type ¡of ¡graph ¡we ¡know: ¡ Where: ¡ ) ( ) , ( ) ( ) ( ) , ( y p y p p p y p λ θ λ θ λ θ =

) ( ) ( ) , ( y q y q y p λ θ λ θ =

) , ( ) ( ) , ( ) ( I N y q N y q λ λ µ θ → ∑ →

Goal: ¡Find ¡the ¡set ¡of ¡latent ¡ variables ¡θ, ¡given ¡y: ¡p(θ|y) ¡

  • Ie. ¡inference ¡or ¡

Query ¡for ¡the ¡marginal ¡ distribuFon ¡of ¡the ¡ connecFvity ¡parameters ¡given ¡ data, ¡marginalized ¡w.r.t ¡noise ¡ parameter ¡

slide-31
SLIDE 31

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y1 y2

u1 u2

x1 x2

b12 ¡ a12 ¡

Dynamics ¡

y ¡

θ ¡ λ ¡ But ¡Employ ¡ApproximaFng ¡Density ¡q, ¡ ¡ Using ¡the ¡mean ¡field ¡structure: ¡ Given ¡this ¡type ¡of ¡graph ¡we ¡know: ¡ Where: ¡ ) ( ) , ( ) ( ) ( ) , ( y p y p p p y p λ θ λ θ λ θ =

) ( ) ( ) , ( y q y q y p λ θ λ θ =

) , ( ) ( ) , ( ) ( I N y q N y q λ λ µ θ → ∑ →

Goal: ¡Find ¡the ¡set ¡of ¡latent ¡ variables ¡θ, ¡given ¡y: ¡p(θ|y) ¡

  • Ie. ¡inference ¡or ¡

Query ¡for ¡the ¡marginal ¡ distribuFon ¡of ¡the ¡ connecFvity ¡parameters ¡given ¡ data, ¡marginalized ¡w.r.t ¡noise ¡ parameter ¡

slide-32
SLIDE 32

DCM: ¡Probabilistic ¡Graphical ¡Model ¡Representation ¡

y ¡

θ ¡ λ ¡ Goal: ¡Find ¡the ¡set ¡of ¡ latent ¡variables ¡θ, ¡ given ¡y, ¡

Daunizeau ¡et ¡al. ¡2009 ¡

) , ( y p λ θ ) ( ) ( y q y q λ θ

  • Assuming ¡Independence ¡of ¡parameters ¡& ¡hyperparameters ¡
  • And ¡a ¡Gaussian ¡form ¡on ¡the ¡PDF ¡

) ( y q θ ) ( y q λ

slide-33
SLIDE 33

VB ¡with ¡a ¡mean-­‑field ¡approximaFon ¡

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )

exp exp ln , , exp exp ln , ,

q q

q I p y q I p y

θ λ λ θ

θ θ λ λ θ λ ⎡ ⎤ ∝ = ⎣ ⎦ ⎡ ⎤ ∝ = ⎣ ⎦

 ¡ ¡IteraFve ¡updaFng ¡of ¡sufficient ¡staFsFcs ¡of ¡approx. ¡posteriors ¡by ¡ gradient ¡ascent. ¡  ¡ ¡Mean ¡field ¡approx. ¡ Œ ¡ ¡Free-­‑energy ¡approx. ¡ to ¡model ¡evidence. ¡ Ž Fixed ¡point ¡soluFons ¡ for ¡two ¡factors ¡ ¡ ¡

) ) | , ( ) | , ( ( ) , , ( ln y p y q KL y p F

q

λ θ λ θ λ θ − = ) ( ) ( ) , ( y q y q y p λ θ λ θ =

slide-34
SLIDE 34

5 10 15 20 25 30 35 40 5 10 15 20 25 30 35 40

  • 1
  • 0.8
  • 0.6
  • 0.4
  • 0.2

0.2 0.4 0.6 0.8 1

A ¡ B ¡ C ¡ θh ¡ ε

Stephan et al. (2007) NeuroImage

How ¡independent ¡are ¡neural ¡and ¡hemodynamic ¡parameter ¡ esFmates? ¡

) , ( ) ( Σ → µ θ N y q

slide-35
SLIDE 35

Regional ¡responses ¡ Specify ¡generaFve ¡forward ¡model ¡ ¡ (with ¡prior ¡distribuFons ¡of ¡parameters) ¡ ¡ VariaFonal ¡ExpectaFon-­‑MaximizaFon ¡algorithm ¡ IteraFve ¡procedure: ¡

  • 1. Compute ¡model ¡response ¡using ¡

¡current ¡set ¡of ¡parameters ¡

  • 2. Compare ¡model ¡response ¡with ¡data ¡
  • 3. Improve ¡parameters, ¡if ¡possible ¡
  • 1. Gaussian ¡posterior ¡distribuFons ¡of ¡

parameters ¡ ¡

  • 2. Model ¡evidence ¡ ¡

) | ( m y p ) , | ( m y p θ

µθ|y

Roadmap ¡inversion ¡

slide-36
SLIDE 36

ì Gaussian ¡assumpFons ¡about ¡the ¡posterior ¡distribuFons ¡of ¡the ¡

parameters ¡

ì posterior ¡probability ¡that ¡a ¡certain ¡parameter ¡(or ¡contrast ¡of ¡

parameters) ¡is ¡above ¡a ¡chosen ¡threshold ¡γ: ¡

ì By ¡default, ¡γ ¡is ¡chosen ¡as ¡zero ¡– ¡the ¡prior ¡("does ¡the ¡effect ¡exist?"). ¡

Inference ¡about ¡DCM ¡parameters: ¡Bayesian ¡single ¡ subject ¡analysis ¡

slide-37
SLIDE 37

N i i N i N

y y N i y y y y N i y y y ,..., | 1 | 1 | ,..., | 1 1 | 1 ,..., |

1 1 1

θ θ θ θ θ θ

µ µ Σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ Σ = Σ = Σ

∑ ∑

= − = − −

group posterior covariance individual posterior covariances group posterior mean individual posterior covariances and means

FFX ¡group ¡analysis ¡

ì

Likelihood ¡distribuFons ¡from ¡different ¡subjects ¡are ¡independent ¡

ì

Under ¡Gaussian ¡assumpFons, ¡this ¡is ¡easy ¡to ¡compute ¡

ì

Simply ¡‘weigh’ ¡each ¡subject’s ¡contribuFon ¡by ¡your ¡certainty ¡of ¡the ¡parameter ¡

Inference ¡about ¡DCM ¡parameters: ¡Bayesian ¡parameter ¡ averaging ¡

slide-38
SLIDE 38

Separate ¡fibng ¡of ¡idenFcal ¡ models ¡for ¡each ¡subject ¡ SelecFon ¡of ¡parameters ¡of ¡ interest ¡

  • ne-­‑sample ¡t-­‑test: ¡

¡ parameter ¡> ¡0 ¡? ¡ paired ¡t-­‑test: ¡ ¡ parameter ¡1 ¡> ¡ ¡ parameter ¡2 ¡? ¡ rmANOVA: ¡ ¡ e.g. ¡in ¡case ¡of ¡mulFple ¡ sessions ¡per ¡subject ¡

Inference ¡about ¡DCM ¡parameters: ¡RFX ¡analysis ¡(frequentist) ¡

ì ‘Summary ¡StaFsFc ¡Approach’ ¡

slide-39
SLIDE 39

∑ ∑

− =

k k

m y p m y p BF ) ( ln ) ( ln

2 1 2 , 1

Fixed Effects Model selection via log Group Bayes factor: accounts ¡for ¡both ¡accuracy ¡and ¡complexity ¡of ¡the ¡model ¡ allows ¡for ¡inference ¡about ¡structure ¡(generalisability) ¡of ¡the ¡model ¡

( | , ) p r y α

Random Effects Model selection via Model probability:

) (

1 K k q k

r α α α + + = …

ì Prior ¡/ ¡instead ¡of ¡to ¡inference ¡on ¡parameters ¡ ì Which ¡of ¡various ¡mechanisms ¡/ ¡models ¡best ¡

explains ¡my ¡data ¡

ì Use ¡model ¡evidence ¡

Inference ¡about ¡models: ¡Bayesian ¡model ¡comparison ¡

slide-40
SLIDE 40

Bayes ¡factors ¡

) | ( ) | (

2 1 12

m y p m y p B =

For ¡a ¡given ¡dataset, ¡to ¡compare ¡two ¡models, ¡we ¡compare ¡their ¡

  • evidences. ¡

B12 p(m1|y) Evidence

1 to 3 50-75% weak 3 to 20 75-95% positive 20 to 150 95-99% strong ≥ 150 ≥ 99% Very strong

Kass ¡& ¡Ra\ery ¡classificaFon: ¡

Kass ¡& ¡Ra\ery ¡1995, ¡J. ¡Am. ¡Stat. ¡Assoc. ¡

  • r ¡their ¡log ¡evidences ¡

2 1 12)

ln( F F B − ≈

Ketamine ¡modulates: ¡

  • 1. All ¡extrinsic ¡connecFons, ¡ ¡
  • 2. Intrinsic ¡NMDA ¡and ¡
  • 3. Inhibitory ¡/ ¡Modulatory ¡processes ¡(one ¡of ¡the ¡red ¡

arrows) ¡: ¡use ¡log ¡bayes ¡factors ¡

slide-41
SLIDE 41

Bayesian ¡Model ¡Comparison ¡ ¡

¡

One ¡other ¡way ¡to ¡view ¡F!! ¡ ¡

( ) ( ) [ ]

m y p q KL m y p F , | , ) | ( log θ θ − =

[ ]

( ) ( )

θ θ θ θ θ θ θ

µ µ µ µ θ θ − Σ − + Σ − Σ =

− y T y y

m p q KL

| 1 | |

2 1 ln 2 1 ln 2 1 ) | ( ), (

Accuracy ¡ ¡ ¡-­‑ ¡ ¡ ¡Complexity ¡

The ¡complexity ¡term ¡of ¡F ¡is ¡higher ¡

the ¡more ¡independent ¡the ¡prior ¡parameters ¡(↑ ¡effective ¡DFs) ¡ the ¡more ¡dependent ¡the ¡posterior ¡parameters ¡ the ¡more ¡the ¡posterior ¡mean ¡deviates ¡from ¡the ¡prior ¡mean ¡

¡

y1 y2

u1 u2

z1 z2

slide-42
SLIDE 42

ì ¡

Overview ¡

  • 1. Dynamics ¡in ¡Dynamic ¡Causal ¡Modeling ¡
  • 2. Graphical ¡Model ¡
  • ­‑ VariaFonal ¡Inversion ¡
  • ­‑ ¡StaFsFcal ¡Inference ¡from ¡VB ¡
  • 3. Examples ¡ ¡
  • ­‑ ¡ANenFon ¡in ¡the ¡Human ¡Brain ¡
  • ­‑ ¡Synesthesia ¡
slide-43
SLIDE 43

Example: ¡Attention ¡to ¡motion ¡ ¡

Friston et al. (2003) NeuroImage

V1 V5 SPC

Photic Motion

Time [s]

Attention

We used this model to assess the site of attention modulation during visual motion processing in an fMRI paradigm reported by Büchel & Friston.

iston et al. 2003, roImage

  • fixation only
  • observe static dots

+ photic  V1

  • observe moving dots

+ motion  V5

  • task on moving dots

+ attention  V5 + parietal cortex

?

slide-44
SLIDE 44

m1 m2

V1 V5 stim PPC Modulation By attention V1 V5 External stim PPC Modulation By attention

m3

V1 V5 stim PPC Modulation By attention

m4

V1 V5 stim PPC Modulation By attention

V1 V5

stim

PPC

attention

1.25 0.13 0.46 0.39 0.26 0.26 0.10

estimated effective synaptic strengths for best model (m4) models marginal likelihood ln p y m

( )

Bayesian ¡model ¡selection ¡

slide-45
SLIDE 45

V1 V5 stim PPC attention motion

  • 2
  • 1

1 2 3 4 5 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

% 1 . 99 ) | (

1 , 5

= > y D p

PPC V V 1.25 0.13 0.46 0.39 0.26 0.50 0.26 0.10

MAP = 1.25

Parameter ¡inference ¡

Stephan et al. 2008, NeuroImage

slide-46
SLIDE 46

V1 ¡ V5 ¡ PPC ¡

  • bserved ¡

fiNed ¡ moFon ¡& ¡ aNenFon ¡ moFon ¡& ¡ no ¡aNenFon ¡ staFc ¡ ¡ dots ¡

Data ¡fits ¡

slide-47
SLIDE 47

ì

Specific ¡sensory ¡sFmuli ¡lead ¡to ¡unusual, ¡addiFonal ¡experiences ¡

ì

Grapheme-­‑color ¡synesthesia: ¡color ¡ ¡

ì

Involuntary, ¡automaFc; ¡stable ¡over ¡Fme, ¡prevalence ¡~4% ¡

ì

PotenFal ¡cause: ¡aberrant ¡cross-­‑ac#va#on ¡between ¡brain ¡areas ¡

ì

grapheme ¡encoding ¡area ¡

ì

color ¡area ¡V4 ¡ ¡

ì

superior ¡parietal ¡lobule ¡(SPL) ¡

Example ¡2: ¡Brain ¡Connectivity ¡in ¡Synesthesia ¡

Hubbard, 2007

Can ¡changes ¡in ¡effecFve ¡connecFvity ¡explain ¡synesthesia ¡acFvity ¡ in ¡V4? ¡

slide-48
SLIDE 48

DCM ¡of ¡Synesthesia ¡

Models ¡

Hubbard, 2007

Van Leeuwen, den Ouden, Hagoort (2011) JNeurosci

slide-49
SLIDE 49

DCM ¡of ¡Synesthesia ¡

Van Leeuwen, den Ouden, Hagoort (2011) JNeurosci

Model ¡Evidence: ¡ ¡F ¡≤ ¡Z ¡

slide-50
SLIDE 50

Relative ¡model ¡evidence ¡predicts ¡sensory ¡experience ¡

Van Leeuwen, den Ouden, Hagoort (2011) JNeurosci

slide-51
SLIDE 51

DCM ¡Roadmap ¡

fMRI ¡data ¡ posterior ¡ ¡ parameters ¡ neuronal ¡ ¡ dynamics ¡ haemodynamics ¡ model ¡ ¡ comparison ¡ ¡ Bayesian ¡Model ¡ ¡ Inversion ¡ ¡ ¡ state-­‑space ¡ ¡ model ¡ priors ¡

slide-52
SLIDE 52

Some ¡useful ¡references ¡

  • 10 ¡Simple ¡Rules ¡for ¡DCM ¡(2010). ¡Stephan ¡et ¡al. ¡NeuroImage ¡52. ¡
  • The ¡first ¡DCM ¡paper: ¡Dynamic ¡Causal ¡Modelling ¡(2003). ¡ ¡Friston ¡et ¡al. ¡NeuroImage ¡19:1273-­‑1302. ¡ ¡
  • Physiological ¡validaFon ¡of ¡DCM ¡for ¡fMRI: ¡IdenFfying ¡neural ¡drivers ¡with ¡funcFonal ¡MRI: ¡an ¡

electrophysiological ¡validaFon ¡(2008). ¡David ¡et ¡al. ¡PLoS ¡Biol. ¡6 ¡2683–2697 ¡

  • Hemodynamic ¡model: ¡Comparing ¡hemodynamic ¡models ¡with ¡DCM ¡(2007). ¡Stephan ¡et ¡al. ¡NeuroImage ¡

38:387-­‑401 ¡

  • Nonlinear ¡DCM:Nonlinear ¡Dynamic ¡Causal ¡Models ¡for ¡FMRI ¡(2008). ¡Stephan ¡et ¡al. ¡NeuroImage ¡42:649-­‑662 ¡
  • Two-­‑state ¡DCM: ¡Dynamic ¡causal ¡modelling ¡for ¡fMRI: ¡A ¡two-­‑state ¡model ¡(2008). ¡Marreiros ¡et ¡al. ¡NeuroImage ¡

39:269-­‑278 ¡

  • StochasFc ¡DCM: ¡Generalised ¡filtering ¡and ¡stochasFc ¡DCM ¡for ¡fMRI ¡(2011). ¡Li ¡et ¡al. ¡NeuroImage ¡58:442-­‑457. ¡
  • Bayesian ¡model ¡comparison: ¡Comparing ¡families ¡of ¡dynamic ¡causal ¡models ¡(2010). ¡Penny ¡et ¡al. ¡PLoS ¡Comput ¡
  • Biol. ¡6(3):e1000709. ¡
slide-53
SLIDE 53

5 10 15 20 25 30 35 40 5 10 15 20 25 30 35 40

  • 1
  • 0.8
  • 0.6
  • 0.4
  • 0.2

0.2 0.4 0.6 0.8 1

A ¡ B ¡ C ¡ θh ¡ ε

Stephan et al. (2007) NeuroImage

How ¡independent ¡are ¡neural ¡and ¡hemodynamic ¡parameter ¡ esFmates? ¡