O BSERVATIONAL Are Observational Studies Any M EDICAL Good? O - PowerPoint PPT Presentation

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ O BSERVATIONAL ¡ ¡ Are Observational Studies Any M EDICAL ¡ Good? O UTCOMES ¡ David Madigan, Columbia University P ARTNERSHIP ¡ on behalf of the OMOP research team ¡ “The sole cause and root of almost every defect in the sciences is this: that whilst we falsely admire and extol the powers of the human mind, we do not search for its real helps.” — Novum Organum: Aphorisms [Book One], 1620, Sir Francis Bacon 1 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ Observa:onal ¡Medical ¡Outcomes ¡Partnership ¡ O UTCOMES ¡ P ARTNERSHIP ¡ • Public-­‑Private ¡Research ¡Partnership ¡established ¡to ¡ inform ¡the ¡appropriate ¡use ¡of ¡observa7onal ¡ healthcare ¡databases ¡for ¡studying ¡the ¡effects ¡of ¡ medical ¡products: ¡ – Conduc:ng ¡methodological ¡research ¡to ¡empirically ¡ evaluate ¡the ¡performance ¡of ¡various ¡analy:cal ¡methods ¡ on ¡their ¡ability ¡to ¡iden:fy ¡true ¡associa:ons ¡and ¡avoid ¡false ¡ findings ¡ – Developing ¡tools ¡and ¡capabili:es ¡for ¡transforming, ¡ characterizing, ¡and ¡analyzing ¡disparate ¡data ¡sources ¡across ¡ the ¡health ¡care ¡delivery ¡spectrum ¡ ¡ ¡ – Establishing ¡a ¡shared ¡resource ¡so ¡that ¡the ¡broader ¡ research ¡community ¡can ¡collabora:vely ¡advance ¡the ¡ science ¡ 2 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ now called … http://www.ohdsi.org 3 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ “Evidence-Based Medicine” as against ??? 4 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ 5 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ “In ¡this ¡dependence ¡on ¡the ¡limited, ¡idiosyncra:c ¡ capaci:es ¡of ¡individuals, ¡medical ¡prac:ce ¡lags ¡centuries ¡ behind ¡the ¡domains ¡of ¡science ¡and ¡commerce.” ¡ -­‑ ¡Lawrence ¡L. ¡Weed ¡ 6 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ BMJ 2010; 341:c4444 7 ¡ 7

O BSERVATIONAL ¡ ¡ BMJ ¡study ¡design ¡choices ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ Data ¡source: ¡ ¡General ¡Prac:ce ¡Research ¡Database ¡ • Study ¡design: ¡ ¡Nested ¡case-­‑control ¡ • Inclusion ¡criteria: ¡Age ¡> ¡40 ¡ • Case: ¡cancer ¡diagnosis ¡between ¡1995-­‑2005 ¡with ¡12-­‑months ¡of ¡follow-­‑up ¡pre-­‑ • diagnosis ¡ 5 ¡controls ¡per ¡case ¡ • Matched ¡on ¡age ¡at ¡index ¡date, ¡sex, ¡prac:ce, ¡observa:on ¡period ¡prior ¡to ¡index ¡ • Exposure ¡defini:on: ¡>=1 ¡prescrip:on ¡during ¡observa:on ¡period ¡ • “RR” ¡es:mated ¡with ¡condi:onal ¡logis:c ¡regression ¡ • Covariates: ¡smoking, ¡alcohol, ¡BMI ¡before ¡ outcome ¡ index ¡date ¡ • Sensi:vity ¡analyses: ¡ • exposure ¡= ¡2+ ¡prescrip:ons ¡ • covariates ¡not ¡missing ¡ • :me-­‑at-­‑risk ¡= ¡>1 ¡yr ¡post-­‑exposure ¡ • Subgroup ¡analyses: ¡ • Short ¡vs. ¡long ¡exposure ¡dura:on ¡ • Age, ¡Sex, ¡smoking, ¡alcohol, ¡BMI ¡ • Osteoporosis ¡or ¡osteopenia ¡ • Fracture ¡pre-­‑exposure ¡ • Prior ¡diagnosis ¡of ¡Upper ¡GI ¡dx ¡pre-­‑exposure ¡ • NSAID, ¡cor:costeroid, ¡H2blocker, ¡PPI ¡u:liza:on ¡pre-­‑exposure ¡ • 8 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ • In ¡the ¡design ¡of ¡observa:onal ¡studies ¡we ¡also ¡rely ¡ heavily ¡on ¡“clinical ¡judgment” ¡ • Even ¡worse, ¡we ¡do ¡so ¡with ¡very ¡limited ¡feedback ¡ • opera:ng ¡characteris:cs? ¡ ¡ • Like ¡early ¡days ¡of ¡lab ¡tes:ng ¡– ¡“trust ¡me, ¡I ¡measured ¡ it ¡myself” ¡ 9 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ Do ¡these ¡choices ¡mager? ¡ 10 ¡

Range ¡of ¡es:mates ¡across ¡high-­‑dimensional ¡propensity ¡ O BSERVATIONAL ¡ ¡ M EDICAL ¡ score ¡incep:on ¡cohort ¡(HDPS) ¡parameter ¡sejngs ¡ O UTCOMES ¡ P ARTNERSHIP ¡ True - False - False + True + Parameter ¡se+ngs ¡explored ¡in ¡OMOP: ¡ Washout ¡period ¡ (1): ¡180d ¡ Surveillance ¡window ¡ (3): ¡ ¡30 ¡days ¡from ¡ exposure ¡start; ¡exposure ¡+ ¡30d ¡; ¡all ¡:me ¡ • Each ¡row ¡represents ¡a ¡drug-­‑ from ¡exposure ¡start ¡ outcome ¡pair. ¡ Covariate ¡eligibility ¡window ¡ (3): ¡30 ¡ • The ¡horizontal ¡span ¡reflects ¡the ¡ days ¡prior ¡to ¡exposure, ¡180, ¡all-­‑:me ¡ range ¡of ¡point ¡es:mates ¡observed ¡ pre-­‑exposure ¡ across ¡the ¡parameter ¡sejngs. ¡ # ¡of ¡confounders ¡(2): ¡100, ¡500 ¡ • Ex. ¡Benzodiazepine-­‑Aplas:c ¡ covariates ¡used ¡to ¡es:mate ¡propensity ¡ anemia: ¡HDPS ¡parameters ¡vary ¡in ¡ score ¡ es:mates ¡from ¡RR= ¡0.76 ¡and ¡2.70 ¡ Propensity ¡strata ¡ (2): ¡5, ¡20 ¡strata ¡ Analysis ¡strategy ¡ (3): ¡ ¡Mantel-­‑Haenszel ¡ stra:fica:on ¡(MH), ¡propensity ¡score ¡ adjusted ¡(PS), ¡propensity ¡strata ¡ adjusted ¡(PS2) ¡ Comparator ¡cohort ¡(2): ¡drugs ¡with ¡ same ¡indica:on, ¡not ¡in ¡same ¡class; ¡most ¡ prevalent ¡drug ¡with ¡same ¡indica:on, ¡ not ¡in ¡same ¡class ¡ 11 ¡ 11 Relative risk

Range ¡of ¡es:mates ¡across ¡univariate ¡self-­‑controlled ¡ O BSERVATIONAL ¡ ¡ M EDICAL ¡ case ¡series ¡(USCCS) ¡parameter ¡sejngs ¡ O UTCOMES ¡ P ARTNERSHIP ¡ True - False - False + True + USCCS ¡Parameter ¡se+ngs ¡explored ¡in ¡ OMOP: ¡ • For ¡Bisphosphonates-­‑GI ¡Ulcer ¡hospitaliza:on, ¡ CondiCon ¡type ¡(2): ¡ first ¡occurrence ¡or ¡all ¡ USCCS ¡using ¡incident ¡events, ¡excluding ¡the ¡first ¡day ¡ occurrences ¡of ¡outcome ¡ of ¡exposure, ¡and ¡using ¡large ¡prior ¡of ¡2: ¡ Defining ¡exposure ¡Cme-­‑at-­‑risk: ¡ • When ¡surveillance ¡window ¡= ¡length ¡of ¡ Days ¡from ¡exposure ¡start ¡(2): ¡ ¡ should ¡we ¡ exposure, ¡no ¡associa:on ¡is ¡observed ¡ include ¡the ¡drug ¡start ¡index ¡date ¡in ¡the ¡ • Adding ¡30d ¡of ¡:me-­‑at-­‑risk ¡to ¡the ¡end ¡of ¡ period ¡at ¡risk? ¡ exposure ¡increased ¡to ¡a ¡significant ¡RR=1.14 ¡ Surveillance ¡window ¡(4): ¡ 30 ¡d ¡from ¡exposure ¡start ¡ Dura:on ¡of ¡exposure ¡(drug ¡era ¡start ¡through ¡ drug ¡era ¡end) ¡ Dura:on ¡of ¡exposure ¡+ ¡30 ¡d ¡ Dura:on ¡of ¡exposure ¡+ ¡60 ¡d ¡ Precision ¡of ¡Normal ¡prior ¡(4): ¡ 0.5, ¡0.8, ¡1, ¡2 ¡ 12 ¡ 12 Relative risk

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ Fix ¡everything ¡ except ¡the ¡database… ¡ 13 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ Cohort ¡ O UTCOMES ¡ P ARTNERSHIP ¡ 14 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ SCCS ¡ O UTCOMES ¡ P ARTNERSHIP ¡ 15 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ JAMA 2010; 304(6): 657-663 16 16 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ 17 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ 18 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ SAME DATABASE 19 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ O UTCOMES ¡ P ARTNERSHIP ¡ Does ¡this ¡stuff ¡work ¡at ¡all? ¡ 20 ¡

O BSERVATIONAL ¡ ¡ M EDICAL ¡ OMOP ¡2010/2011 ¡Research ¡Experiment ¡ O UTCOMES ¡ P ARTNERSHIP ¡ OMOP Methods Library • Open-source Inception • Standards-based cohort Case control Logistic regression Common Data Model • 10 data sources • 14 methods • Claims and EHRs • Epidemiology designs • 200M+ lives • Statistical approaches • OSIM adapted for longitudinal data Drug Antibiotics: erythromycins, Tricyclic antidepressants sulfonamides, tetracyclines carbamazepine, phenytoin Typical antipsychotics Bisphosphonates: Benzodiazepines Amphotericin B ACE Inhibitors Antiepileptics: Beta blockers alendronate Warfarin Outcome Angioedema Aplastic Anemia Acute Liver Injury Positives: 9 Bleeding Negatives: 44 Hip Fracture Hospitalization Myocardial Infarction Mortality after MI Renal Failure 21 ¡ GI Ulcer Hospitalization