Challenges of visually represen2ng rich temporal informa2on - - PowerPoint PPT Presentation

Challenges ¡of ¡visually ¡represen2ng ¡ rich ¡temporal ¡informa2on ¡of ¡the ¡ clinical ¡narra2ve ¡

Sean ¡Finan ¡ Boston ¡Children’s ¡Hospital ¡ Harvard ¡Medical ¡School ¡

Challenges ¡of ¡visually ¡represen2ng ¡rich ¡ temporal ¡informa2on ¡of ¡the ¡clinical ¡ narra2ve ¡

• Clinical ¡Narra2ve: ¡Not ¡structured ¡data. ¡ ¡“Free ¡

text” ¡wriDen ¡or ¡dictated ¡by ¡the ¡physician ¡

• Rich ¡Temporal ¡Informa2on: ¡Not ¡only ¡Events ¡
• Challenges: ¡Not ¡solu2ons ¡

Clinical ¡Narra2ve ¡

The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡

The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡

The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡

• Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Narra2ve ¡Times ¡

The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡

The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡

The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡

• Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Narra2ve ¡Events ¡

The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡

The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡

The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡

• Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

Narra2ve ¡Temporal ¡Rela2ons ¡

The ¡pa2ent ¡had ¡anesthesia ¡before ¡surgery. ¡ ¡ The ¡pa2ent ¡had ¡no ¡pain ¡aJer ¡surgery. ¡ ¡ The ¡pa2ent ¡started ¡taking ¡Vicodin. ¡

The ¡pa2ent ¡experienced ¡bleeding ¡during ¡surgery. ¡ ¡

The ¡pa2ent ¡had ¡surgery ¡last ¡Tuesday. ¡ ¡

• Dr. ¡Geico ¡Caveman, ¡12/20/2000 ¡

? ¡ ? ¡

Temporal ¡Rela2ons ¡

• An ¡Event ¡alone ¡is ¡impossible ¡to ¡place ¡on ¡a ¡

2meline ¡

• An ¡Event ¡that ¡has ¡reference ¡to ¡a ¡specific ¡2me ¡

can ¡be ¡placed ¡on ¡a ¡2meline ¡

• There ¡is ¡a ¡large ¡… ¡degree ¡of ¡freedom ¡… ¡

Rela2on ¡Types ¡

• Before ¡
• Contains ¡
• Overlap ¡
• Begins-­‑on ¡
• Ends-­‑on ¡

Rela2on ¡Types ¡(cont.) ¡

• Before ¡

– Order ¡of ¡two ¡events ¡or ¡2mes ¡… ¡in ¡2me ¡ – “He ¡visited ¡Dr. ¡Smith ¡aJer ¡the ¡biopsy” ¡ – “biopsy” ¡is ¡Before ¡“visited” ¡

• Contains ¡

– Composi2on ¡of ¡two ¡events ¡or ¡2mes ¡… ¡in ¡2me ¡ – “Nurse ¡Bob ¡applied ¡sponging ¡during ¡surgery” ¡ – “surgery” ¡Contains ¡“sponging” ¡

Rela2on ¡Types ¡(cont.) ¡

• Overlap ¡

– Simultaneous ¡or ¡Similar ¡in ¡2me ¡ – “The ¡pa2ent ¡experienced ¡bleeding, ¡mostly ¡last ¡ night” ¡ – “bleeding” ¡Overlaps ¡“last ¡night” ¡

Rela2on ¡Types ¡(cont.) ¡

• Begins-­‑On ¡

– Begins ¡at ¡(the ¡end?) ¡of ¡another ¡Event ¡or ¡Time ¡ – “There ¡has ¡been ¡itching ¡since ¡the ¡scab ¡formed” ¡ – “itching” ¡Begins-­‑On ¡“scab ¡formed” ¡

• Ends-­‑On ¡

– Ends ¡at ¡(the ¡beginning?) ¡of ¡another ¡Event ¡or ¡Time ¡ – “Once ¡the ¡gauze ¡was ¡removed, ¡pressure ¡stopped” ¡ – “pressure” ¡Ends-­‑On ¡“gauze ¡was ¡removed” ¡

Rela2on ¡Coverage ¡

• Not ¡all ¡Events ¡will ¡be ¡in ¡a ¡Rela2on ¡
• Not ¡all ¡Events ¡will ¡be ¡in ¡a ¡Rela2on ¡with ¡a ¡Time ¡

– Can ¡have ¡Event ¡A ¡Before ¡Event ¡B ¡

• We ¡aDempt ¡to ¡“close” ¡such ¡gaps ¡and ¡infer ¡all ¡

possible ¡Rela2ons ¡between ¡Events ¡and ¡Times ¡

– given ¡Event ¡A ¡Before ¡Event ¡B, ¡and ¡ – given ¡Event ¡B ¡Before ¡Time ¡X, ¡ ¡ – infer ¡ ¡Event ¡A ¡Before ¡Time ¡X ¡

Rela2on ¡Reciprocals ¡

• We ¡want ¡Rela2ons ¡of ¡Events ¡to ¡Times ¡

– “Tuesday” ¡Before ¡“Surgery” ¡ – “Surgery” ¡AJer ¡“Tuesday” ¡

• Leads ¡to ¡reciprocal ¡Rela2on ¡types ¡

– AJer, ¡Contained-­‑By ¡

Document ¡Rela2ve ¡Time ¡

• Not ¡all ¡Events ¡have ¡Rela2ons ¡to ¡a ¡Time ¡
• We ¡always ¡have ¡a ¡Document ¡Time ¡
• All ¡Events ¡are ¡given ¡a ¡Rela2on ¡to ¡the ¡

Document ¡Time ¡

– Before, ¡AJer, ¡Overlap, ¡Before-­‑Overlap ¡

Representa2on ¡

• Can’t ¡directly ¡represent ¡an ¡Event ¡on ¡a ¡2meline ¡
• Must ¡represent ¡an ¡Event’s ¡Rela2on ¡to ¡a ¡Time ¡
• Represent ¡Time ¡Spans ¡(Intervals), ¡not ¡Points ¡

Representa2on ¡(cont.) ¡

• Before ¡
• AJer ¡
• Contains ¡
• Contained-­‑By ¡
• Overlap ¡
• Begins-­‑On ¡
• Ends-­‑On ¡
• Before-­‑Overlap ¡

Tuesday ¡

Combina2on ¡Complica2on ¡

• Pain ¡Before ¡Surgery ¡
• Tuesday ¡Contains ¡Surgery ¡
• Pain ¡Before ¡Surgery ¡Contained-­‑by ¡Tuesday ¡
• How ¡do ¡we ¡display ¡the ¡complex ¡rela2on ¡of ¡

Pain ¡to ¡Tuesday? ¡

Combina2on ¡Complica2on ¡

• Pain ¡Before ¡Tuesday ¡
• Pain ¡Contained-­‑by ¡Tuesday ¡
• Pain ¡Overlaps ¡Tuesday ¡

Tuesday ¡

Combina2on ¡Complica2on ¡

• Pain ¡Before ¡Contained-­‑by ¡
• Pain ¡Before ¡Contained-­‑by ¡
• Pain ¡Before ¡Contained-­‑by ¡
• Pain ¡Before ¡Contained-­‑by ¡
• Pain ¡Before ¡Contained-­‑by ¡
• Pain ¡Before ¡Contained-­‑by ¡

Tuesday ¡

Time ¡Types ¡

• Date ¡
• Time ¡
• Dura2on ¡
• Quan2fier ¡
• Pre-­‑ ¡Post-­‑ ¡Expression ¡
• Set ¡

Rela2ons ¡and ¡Time ¡Types ¡

• Before ¡Tuesday, ¡ ¡

¡for ¡an ¡hour ¡

• Contained-­‑by ¡Tuesday, ¡ ¡

¡twice ¡an ¡hour ¡

• Overlaps ¡Tuesday, ¡ ¡

¡twice ¡

Tuesday ¡

Shading ¡

• Just ¡add ¡shading ¡to ¡indicate ¡uncertainty ¡in ¡

Event’s ¡actual ¡Time! ¡

• We ¡are ¡already ¡using ¡shading ¡for ¡fuzzy ¡Times ¡

Time ¡Expressions ¡

• Before ¡“A ¡year ¡ago” ¡
• Contained-­‑by ¡“Winter” ¡
• Overlaps ¡“lately” ¡

Coloring ¡

• Just ¡use ¡a ¡color ¡for ¡each ¡Rela2on ¡type ¡and ¡mix ¡

colors ¡as ¡appropriate ¡… ¡

• We ¡are ¡already ¡using ¡colors ¡for ¡Event ¡

Modifiers ¡

Event ¡Modifiers ¡

• Negated ¡

The ¡Pa2ent ¡had ¡no ¡pain. ¡

• Hedged ¡(Uncertain) ¡

The ¡Pa2ent ¡might ¡have ¡had ¡pain. ¡

• Hypothe2cal ¡

The ¡pa2ent ¡was ¡warned ¡of ¡possible ¡post-­‑opera2ve ¡

• pain. ¡
• Generic ¡(“Textbook”) ¡

Post-­‑opera2ve ¡pain ¡is ¡normal. ¡

Modifier ¡Coloring ¡

• Negated ¡
• Hedged, ¡Hypothe2cal ¡
• Generic ¡
• “might ¡not ¡have ¡pain” ¡

Tuesday ¡

Good ¡grief, ¡there’s ¡more? ¡

• Orphan ¡Time ¡Span ¡

– No ¡Related ¡Events ¡

Tuesday ¡

Summary ¡

• Trying ¡to ¡display ¡[Events ¡on ¡a ¡Timeline ¡by ¡way ¡
• f ¡their ¡Rela2ons ¡to ¡Times] ¡ ¡
• ADemp2ng ¡to ¡fully ¡u2lize ¡

– Symbols ¡(shapes), ¡ – Shading ¡(transparency), ¡ – Colors ¡

• Desiring ¡a ¡vehicle ¡that ¡conveys ¡non-­‑trivial ¡

informa2on ¡in ¡an ¡intui2ve ¡manner ¡

• Gegng ¡a ¡tad ¡frustrated ¡

I ¡want ¡feedback! ¡

Sean ¡Finan ¡ Sean.finan@tch.harvard.edu ¡ Natural ¡Language ¡Processing ¡Lab ¡ hDp://chip.org ¡ NLP ¡SoJware: ¡Apache ¡cTAKES ¡ ctakes.apache.org ¡