Challenges of visually represen2ng rich temporal informa2on - PowerPoint PPT Presentation

Challenges ¡of ¡visually ¡represen2ng ¡ rich ¡temporal ¡informa2on ¡of ¡the ¡ clinical ¡narra2ve ¡ Sean ¡Finan ¡ Boston ¡Children’s ¡Hospital ¡ Harvard ¡Medical ¡School ¡

Challenges ¡of ¡visually ¡represen2ng ¡rich ¡ temporal ¡informa2on ¡of ¡the ¡clinical ¡ narra2ve ¡ • Clinical ¡Narra2ve: ¡Not ¡structured ¡data. ¡ ¡“Free ¡ text” ¡wriDen ¡or ¡dictated ¡by ¡the ¡physician ¡ • Rich ¡Temporal ¡Informa2on: ¡Not ¡only ¡Events ¡ • Challenges: ¡Not ¡solu2ons ¡

Clinical ¡Narra2ve ¡ The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡ Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Narra2ve ¡Times ¡ The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡ Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Narra2ve ¡Events ¡ The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡ Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Narra2ve ¡Temporal ¡Rela2ons ¡ The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡ ? ¡ ? ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡ Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Temporal ¡Rela2ons ¡ • An ¡Event ¡alone ¡is ¡impossible ¡to ¡place ¡on ¡a ¡ 2meline ¡ • An ¡Event ¡that ¡has ¡reference ¡to ¡a ¡specific ¡2me ¡ can ¡be ¡placed ¡on ¡a ¡2meline ¡ • There ¡is ¡a ¡large ¡… ¡degree ¡of ¡freedom ¡… ¡

Rela2on ¡Types ¡ • Before ¡ • Contains ¡ • Overlap ¡ • Begins-­‑on ¡ • Ends-­‑on ¡

Rela2on ¡Types ¡(cont.) ¡ • Before ¡ – Order ¡of ¡two ¡events ¡or ¡2mes ¡… ¡in ¡2me ¡ – “He ¡visited ¡Dr. ¡Smith ¡aJer ¡the ¡biopsy” ¡ – “biopsy” ¡is ¡Before ¡“visited” ¡ • Contains ¡ – Composi2on ¡of ¡two ¡events ¡or ¡2mes ¡… ¡in ¡2me ¡ – “Nurse ¡Bob ¡applied ¡sponging ¡during ¡surgery” ¡ – “surgery” ¡Contains ¡“sponging” ¡

Rela2on ¡Types ¡(cont.) ¡ • Overlap ¡ – Simultaneous ¡or ¡Similar ¡in ¡2me ¡ – “The ¡pa2ent ¡experienced ¡bleeding, ¡mostly ¡last ¡ night” ¡ – “bleeding” ¡Overlaps ¡“last ¡night” ¡

Rela2on ¡Types ¡(cont.) ¡ • Begins-­‑On ¡ – Begins ¡at ¡(the ¡end?) ¡of ¡another ¡Event ¡or ¡Time ¡ – “There ¡has ¡been ¡itching ¡since ¡the ¡scab ¡formed” ¡ – “itching” ¡Begins-­‑On ¡“scab ¡formed” ¡ • Ends-­‑On ¡ – Ends ¡at ¡(the ¡beginning?) ¡of ¡another ¡Event ¡or ¡Time ¡ – “Once ¡the ¡gauze ¡was ¡removed, ¡pressure ¡stopped” ¡ – “pressure” ¡Ends-­‑On ¡“gauze ¡was ¡removed” ¡

Rela2on ¡Coverage ¡ • Not ¡all ¡Events ¡will ¡be ¡in ¡a ¡Rela2on ¡ • Not ¡all ¡Events ¡will ¡be ¡in ¡a ¡Rela2on ¡with ¡a ¡Time ¡ – Can ¡have ¡Event ¡A ¡Before ¡Event ¡B ¡ • We ¡aDempt ¡to ¡“close” ¡such ¡gaps ¡and ¡infer ¡all ¡ possible ¡Rela2ons ¡between ¡Events ¡and ¡Times ¡ – given ¡Event ¡A ¡Before ¡Event ¡B, ¡and ¡ – given ¡Event ¡B ¡Before ¡Time ¡X, ¡ ¡ – infer ¡ ¡Event ¡A ¡Before ¡Time ¡X ¡

Rela2on ¡Reciprocals ¡ • We ¡want ¡Rela2ons ¡of ¡Events ¡to ¡Times ¡ – “Tuesday” ¡Before ¡“Surgery” ¡ – “Surgery” ¡AJer ¡“Tuesday” ¡ • Leads ¡to ¡reciprocal ¡Rela2on ¡types ¡ – AJer, ¡Contained-­‑By ¡

Document ¡Rela2ve ¡Time ¡ • Not ¡all ¡Events ¡have ¡Rela2ons ¡to ¡a ¡Time ¡ • We ¡always ¡have ¡a ¡Document ¡Time ¡ • All ¡Events ¡are ¡given ¡a ¡Rela2on ¡to ¡the ¡ Document ¡Time ¡ – Before, ¡AJer, ¡Overlap, ¡Before-­‑Overlap ¡

Representa2on ¡ • Can’t ¡directly ¡represent ¡an ¡Event ¡on ¡a ¡2meline ¡ • Must ¡represent ¡an ¡Event’s ¡Rela2on ¡to ¡a ¡Time ¡ • Represent ¡Time ¡Spans ¡(Intervals), ¡not ¡Points ¡

Representa2on ¡(cont.) ¡ Tuesday ¡ • Before ¡ • AJer ¡ • Contains ¡ • Contained-­‑By ¡ • Overlap ¡ • Begins-­‑On ¡ • Ends-­‑On ¡ • Before-­‑Overlap ¡

Combina2on ¡Complica2on ¡ • Pain ¡Before ¡Surgery ¡ • Tuesday ¡Contains ¡Surgery ¡ • Pain ¡Before ¡Surgery ¡Contained-­‑by ¡Tuesday ¡ • How ¡do ¡we ¡display ¡the ¡complex ¡rela2on ¡of ¡ Pain ¡to ¡Tuesday? ¡

Combina2on ¡Complica2on ¡ Tuesday ¡ • Pain ¡Before ¡Tuesday ¡ • Pain ¡Contained-­‑by ¡Tuesday ¡ • Pain ¡Overlaps ¡Tuesday ¡

Combina2on ¡Complica2on ¡ Tuesday ¡ • Pain ¡Before ¡Contained-­‑by ¡ • Pain ¡Before ¡Contained-­‑by ¡ • Pain ¡Before ¡Contained-­‑by ¡ • Pain ¡Before ¡Contained-­‑by ¡ • Pain ¡Before ¡Contained-­‑by ¡ • Pain ¡Before ¡Contained-­‑by ¡

Time ¡Types ¡ • Date ¡ • Time ¡ • Dura2on ¡ • Quan2fier ¡ • Pre-­‑ ¡Post-­‑ ¡Expression ¡ • Set ¡

Rela2ons ¡and ¡Time ¡Types ¡ Tuesday ¡ • Before ¡Tuesday, ¡ ¡ ¡for ¡an ¡hour ¡ • Contained-­‑by ¡Tuesday, ¡ ¡ ¡twice ¡an ¡hour ¡ • Overlaps ¡Tuesday, ¡ ¡ ¡twice ¡

Shading ¡ • Just ¡add ¡shading ¡to ¡indicate ¡uncertainty ¡in ¡ Event’s ¡actual ¡Time! ¡ • We ¡are ¡already ¡using ¡shading ¡for ¡fuzzy ¡Times ¡

Time ¡Expressions ¡ • Before ¡“A ¡year ¡ago” ¡ • Contained-­‑by ¡“Winter” ¡ • Overlaps ¡“lately” ¡

Coloring ¡ • Just ¡use ¡a ¡color ¡for ¡each ¡Rela2on ¡type ¡and ¡mix ¡ colors ¡as ¡appropriate ¡… ¡ • We ¡are ¡already ¡using ¡colors ¡for ¡Event ¡ Modifiers ¡

Event ¡Modifiers ¡ • Negated ¡ The ¡Pa2ent ¡had ¡no ¡pain. ¡ • Hedged ¡(Uncertain) ¡ The ¡Pa2ent ¡might ¡have ¡had ¡pain. ¡ • Hypothe2cal ¡ The ¡pa2ent ¡was ¡warned ¡of ¡possible ¡post-­‑opera2ve ¡ pain. ¡ • Generic ¡(“Textbook”) ¡ Post-­‑opera2ve ¡pain ¡is ¡normal. ¡

Modifier ¡Coloring ¡ Tuesday ¡ • Negated ¡ • Hedged, ¡Hypothe2cal ¡ • Generic ¡ • “might ¡not ¡have ¡pain” ¡

Good ¡grief, ¡there’s ¡more? ¡ Tuesday ¡ • Orphan ¡Time ¡Span ¡ – No ¡Related ¡Events ¡

Summary ¡ • Trying ¡to ¡display ¡[Events ¡on ¡a ¡Timeline ¡by ¡way ¡ of ¡their ¡Rela2ons ¡to ¡Times] ¡ ¡ • ADemp2ng ¡to ¡fully ¡u2lize ¡ – Symbols ¡(shapes), ¡ – Shading ¡(transparency), ¡ – Colors ¡ • Desiring ¡a ¡vehicle ¡that ¡conveys ¡non-­‑trivial ¡ informa2on ¡in ¡an ¡intui2ve ¡manner ¡ • Gegng ¡a ¡tad ¡frustrated ¡

I ¡want ¡feedback! ¡ Sean ¡Finan ¡ Sean.finan@tch.harvard.edu ¡ Natural ¡Language ¡Processing ¡Lab ¡ hDp://chip.org ¡ NLP ¡SoJware: ¡Apache ¡cTAKES ¡ ctakes.apache.org ¡