Helena Lindgren Department of Computing Science Ume University Oral - - PowerPoint PPT Presentation

Limitations in physicians’ knowledge when assessing dementia diseases – an evaluation study of a decision-support system

Helena Lindgren

Department of Computing Science Umeå University

Oral presentation at MIE Oslo August 29, 2011

DMSS-R

Dementia Management and Support System – Revised Version

MIE 2011 Helena Lindgren

!

• Guideline-based
• Integrates an outline for a context-based argumentation

framework

• Production rules
• Two lines of inferences: for supporting the assessment
• f “simple” cases, and for “atypical” cases (less common

dementia types are integrated)

and contradicting arguments for diagnosis e x p l a n a t i

• n

s

GOAL: provide an overview of the strength of possibly conflicting hypothetical diagnoses according to a set of guidelines

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Purpose of DMSS-R

To ¡improve ¡the ¡care ¡that ¡a ¡pa.ent ¡receives: ¡ ¡ ¡ ¡ by ¡providing ¡aid ¡to ¡less ¡experienced ¡ physicians ¡in ¡the ¡process ¡of ¡diagnosing ¡a ¡ suspected ¡demen8a ¡disease ¡for ¡the ¡ pa8ent ¡to ¡receive ¡a ¡correct ¡diagnosis ¡(to ¡ the ¡extent ¡the ¡domain ¡knowledge ¡supports ¡ this), ¡leading ¡to ¡appropriate ¡interven8ons ¡ ¡ To ¡support ¡a ¡con.nuing ¡medical ¡educa.on: ¡ physician ¡should ¡develop ¡his ¡or ¡her ¡ knowledge ¡and ¡skills ¡in ¡the ¡process ¡of ¡use ¡ ¡

MIE 2011 Helena Lindgren August 29, 2011 3

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Participants

MIE 2011 Helena Lindgren

• 21 physicians (three

experts) from 12 clinics in four countries

• 218 patient cases

(convenient sample)

August 29, 2011 4

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Methods

• Quan8ta8ve ¡analysis ¡of ¡the ¡results ¡based ¡on ¡clinical ¡

guidelines ¡and ¡the ¡physician’s ¡assessment ¡

• Observa8on ¡of ¡physician’s ¡use ¡of ¡DMSS-­‑R ¡in ¡50 ¡cases ¡
• Interviews ¡with ¡physician ¡in ¡these ¡50 ¡cases ¡and ¡in ¡

addi8onal ¡38 ¡cases ¡to ¡explore ¡reasons ¡for ¡conflic8ng ¡ views ¡and ¡physician’s ¡sa8sfac8on ¡with ¡the ¡results ¡

• Recorded ¡pa8ent ¡data ¡was ¡re-­‑analyzed ¡using ¡the ¡system ¡

in ¡each ¡case, ¡and ¡a ¡qualita8ve ¡assessment ¡of ¡cases ¡were ¡ made ¡in ¡order ¡to ¡inves8gate ¡reasons ¡for ¡conflicts ¡or ¡ missing ¡data ¡

MIE 2011 Helena Lindgren 5 August 29, 2011

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Results: Agreement

• vascular ¡demen8a ¡(VaD) ¡6,4%, ¡ ¡

– 115 ¡of ¡218 ¡(52,8%) ¡received ¡a ¡specific ¡demen8a ¡diagnosis ¡ ¡

• combined ¡AD ¡and ¡VaD ¡2%, ¡ ¡
• Alzheimer’s ¡disease ¡(AD) ¡72%, ¡ ¡
• Lewy ¡body ¡demen8a ¡(DLB) ¡8,0%, ¡ ¡
• vascular ¡demen8a ¡(VaD) ¡6,4%, ¡ ¡
• frontotemporal ¡demen8a ¡(FTD) ¡5,6%, ¡ ¡
• combined ¡AD ¡and ¡VaD ¡2%, ¡ ¡
• demen8a ¡due ¡to ¡alcohol ¡abuse ¡2,4% ¡

available ¡to ¡come ¡to ¡a ¡conclusion ¡about ¡which ¡cogni8ve ¡ – 26 ¡of ¡218 ¡(11,9%) ¡did ¡not ¡have ¡a ¡cogni8ve ¡disease ¡ disease ¡was ¡present ¡(s8ll ¡agreement) ¡ – In ¡19 ¡of ¡218 ¡(8,7%) ¡there ¡were ¡not ¡sufficient ¡informa8on ¡ available ¡to ¡come ¡to ¡a ¡conclusion ¡about ¡which ¡cogni8ve ¡ disease ¡was ¡present ¡(s8ll ¡agreement) ¡

MIE 2011 Helena Lindgren 6 August 29, 2011

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Results: Disagreement and missing data

• Physician ¡and ¡DMSS-­‑R ¡did ¡not ¡agree ¡in ¡16 ¡(7,3%) ¡cases: ¡

– Four ¡cases ¡were ¡caused ¡by ¡the ¡system’s ¡failure ¡to ¡assess ¡ demen8a ¡due ¡to ¡excessive ¡alcohol ¡consump8on ¡(when ¡ DMSS-­‑R ¡was ¡adjusted, ¡the ¡compliance ¡between ¡physician ¡ and ¡the ¡system ¡rose ¡to ¡86,7%) ¡ ¡ – In ¡10 ¡cases ¡Alzheimer’s ¡disease ¡were ¡assessed ¡by ¡ physicians ¡based ¡on ¡faulty ¡set ¡of ¡data ¡considering ¡the ¡ clinical ¡guidelines ¡

• E.g., ¡intact ¡episodic ¡memory ¡
• Remaining ¡17 ¡cases ¡were ¡incomplete ¡and ¡the ¡system ¡

provided ¡informa8on ¡about ¡what ¡informa8on ¡is ¡needed ¡ to ¡proceed ¡towards ¡diagnosis. ¡

– the ¡physicians ¡unavailable ¡for ¡interviews ¡

MIE 2011 Helena Lindgren 7 August 29, 2011

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Conclusions

DMSS-­‑R ¡provided ¡acer ¡adjustments ¡sa8sfactory ¡results ¡in ¡ 86,7% ¡of ¡the ¡cases ¡(DMSS-­‑R ¡and ¡physician ¡agreed), ¡

– However, ¡in ¡8,7% ¡the ¡informa8on ¡was ¡incomplete ¡due ¡to ¡ different ¡(mainly ¡environmental) ¡reasons ¡

¡

In ¡addi8onal ¡7,8% ¡the ¡system ¡highlighted ¡which ¡missing ¡ data ¡is ¡needed ¡in ¡order ¡to ¡reach ¡a ¡diagnosis, ¡which ¡is ¡ also ¡considered ¡sa8sfactory ¡results ¡(although ¡we ¡do ¡not ¡ know ¡the ¡physician’s ¡opinion), ¡

– However, ¡what ¡if ¡the ¡system ¡failed ¡in ¡guiding ¡the ¡ physician ¡in ¡how ¡collec8ng ¡the ¡missing ¡data ¡in ¡these ¡ cases? ¡

In ¡4,6% ¡there ¡were ¡an ¡obvious ¡need ¡for ¡addi8onal ¡support ¡ for ¡assessing ¡basic ¡cogni8ve ¡dysfunc8ons ¡

MIE 2011 Helena Lindgren 8 August 29, 2011

The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

Ongoing and Future Work

• Model ¡and ¡integrate ¡also ¡support ¡for ¡assessing ¡

basic ¡func8ons ¡and ¡phenomenon ¡(cogni8ve ¡ func8ons ¡in ¡par8cular) ¡ ¡

• Proac8ve ¡behaviour: ¡Desired? ¡Acceptable ¡by ¡

physicians? ¡

– Detect ¡pagerns ¡of ¡reasoning ¡and ¡challenge ¡ physician’s ¡conclusions ¡in ¡cases ¡of ¡conflicts ¡with ¡ guidelines ¡ – Develop ¡situated ¡and ¡personalised ¡dialogue-­‑based ¡ support ¡

MIE 2011 Helena Lindgren 9 August 29, 2011

Thank You for Your Attention

Helena Lindgren

helena@cs.umu.se