Research: increasing value and reducing waste Lancet - - PowerPoint PPT Presentation

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

Research: ¡increasing ¡value ¡and ¡ reducing ¡waste ¡

Lancet ¡series ¡on ¡waste ¡in ¡research, ¡2014 ¡

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

Without ¡a ¡complete ¡descrip7on ¡of ¡an ¡ interven7on ¡… ¡

• other ¡researchers ¡cannot ¡replicate ¡or ¡build ¡on ¡

findings ¡

• for ¡effecIve ¡intervenIons, ¡clinicians, ¡paIents, ¡

and ¡other ¡decision ¡makers ¡are ¡leM ¡unclear ¡about ¡ how ¡to ¡reliably ¡implement ¡the ¡intervenIon ¡

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

How ¡big ¡is ¡the ¡problem ¡of ¡inadequate ¡ interven7on ¡repor7ng? ¡

Hoffmann ¡et ¡al. ¡(2013): ¡ ¡

• ­‑ 137 ¡non-­‑pharmacological ¡

intervenIons ¡

• ­‑ Only ¡53 ¡(39%) ¡were ¡

adequately ¡described ¡in ¡trial ¡ reports ¡

• ­‑ Increased ¡to ¡81 ¡(59%) ¡aMer ¡

contacIng ¡authors ¡

Hoffmann ¡et ¡al. ¡(2013). ¡BMJ ¡347:f3755. ¡

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

What ¡about ¡the ¡repor7ng ¡of ¡exercise ¡ interven7ons? ¡

Abell ¡et ¡al. ¡(2015): ¡ ¡

• ­‑ 74 ¡exercise-­‑based ¡cardiac ¡

rehabilitaIon ¡intervenIons ¡

• ­‑ Only ¡11 ¡(15%) ¡were ¡

adequately ¡described ¡in ¡ trial ¡reports ¡

• ­‑ Increased ¡to ¡32 ¡(43%) ¡aMer ¡

contacIng ¡authors ¡

Abell ¡et ¡al. ¡(2015). ¡Circ ¡Cardiovasc ¡Qual ¡Outcomes ¡8:187-­‑194. ¡

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

Supervised ¡exercise ¡training ¡for ¡ peripheral ¡arterial ¡disease ¡(PAD) ¡

NICE ¡(2012): ¡ ¡ “2 ¡hours ¡of ¡supervised ¡exercise ¡a ¡week ¡for ¡a ¡ 3-­‑month ¡period ¡encouraging ¡people ¡to ¡ exercise ¡to ¡the ¡point ¡of ¡maximal ¡pain.” ¡

BeFer ¡repor7ng ¡of ¡interven7ons: ¡template ¡for ¡ interven7on ¡descrip7on ¡and ¡replica7on ¡(TIDieR) ¡

Hoffmann ¡et ¡al. ¡(2014). ¡BMJ ¡348:g1687. ¡

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

Aims ¡of ¡this ¡review ¡

• to ¡use ¡the ¡TIDieR ¡checklist ¡to ¡evaluate ¡the ¡

completeness ¡of ¡intervenIon ¡descripIons ¡in ¡ RCT’s ¡of ¡supervised ¡exercise ¡training ¡in ¡people ¡ with ¡PAD ¡

• to ¡assess ¡if ¡incomplete ¡intervenIon ¡descripIons ¡

could ¡be ¡improved ¡by ¡reviewing ¡addiIonal ¡ published ¡material ¡and ¡contacIng ¡trial ¡authors ¡

FACULTY ¡OF ¡HEALTH ¡AND ¡LIFE ¡SCIENCES ¡

Methods ¡– ¡Search ¡strategy ¡

Eligibility: ¡ P ¡– ¡PAD ¡(not ¡criIcal ¡limb ¡ ischaemia) ¡ I ¡– ¡supervised ¡exercise ¡training ¡ C ¡– ¡anything ¡ ¡ O ¡– ¡walking ¡ability ¡or ¡quality ¡of ¡life ¡ S ¡– ¡randomised ¡trials ¡ ¡ Search ¡strategy: ¡

• Methods ¡of ¡Lauret ¡et ¡al. ¡(2014) ¡
• Three ¡electronic ¡databases ¡

(EMBASE, ¡MEDLINE, ¡CENTRAL) ¡ searched ¡up ¡to ¡June ¡2015 ¡

• Study ¡selecIon ¡was ¡done ¡

independently ¡by ¡two ¡reviewers ¡

Assessment ¡of ¡interven7on ¡descrip7on ¡

Item ¡# ¡ Item ¡name ¡ Item ¡descrip7on ¡

1 ¡ Brief ¡name ¡ A ¡name ¡or ¡a ¡phrase ¡which ¡describes ¡the ¡intervenIon ¡ 2 ¡ Why ¡ Describe ¡the ¡raIonale, ¡theory, ¡or ¡goal ¡of ¡the ¡elements ¡essenIal ¡to ¡the ¡intervenIon ¡ 3 ¡ What: ¡materials ¡ Describe ¡any ¡physical ¡or ¡informaIonal ¡materials ¡used ¡in ¡the ¡intervenIon, ¡including ¡the ¡make ¡ and ¡model ¡of ¡exercise ¡equipment ¡and ¡what ¡materials ¡were ¡provided ¡to ¡parIcipants ¡or ¡used ¡in ¡ intervenIon ¡delivery ¡or ¡in ¡training ¡of ¡intervenIon ¡providers ¡ 4 ¡ What: ¡procedures ¡ Describe ¡each ¡of ¡the ¡procedures, ¡acIviIes, ¡and/or ¡processes ¡used ¡in ¡the ¡intervenIon, ¡including ¡ any ¡enabling ¡or ¡support ¡acIviIes ¡ 5 ¡ Provider ¡ Describes ¡the ¡intervenIon ¡provider(s) ¡and ¡their ¡experIse, ¡background, ¡and ¡any ¡specific ¡training ¡ given ¡ 6 ¡ How ¡ Describe ¡whether ¡the ¡supervised ¡exercise ¡programme ¡was ¡delivered ¡individually ¡or ¡in ¡a ¡group; ¡if ¡ group, ¡then ¡state ¡the ¡maximum ¡number ¡of ¡parIcipants ¡per ¡session ¡ 7 ¡ Where ¡ Describe ¡the ¡type(s) ¡of ¡locaIon(s) ¡where ¡the ¡intervenIon ¡occurred, ¡including ¡any ¡necessary ¡ infrastructure ¡or ¡relevant ¡features ¡ 8 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ When ¡and ¡how ¡much ¡ (a) ¡Intensity ¡ (b) ¡Frequency ¡ (c) ¡Session ¡Ime ¡ (d) ¡Overall ¡duraIon ¡ Describes ¡the ¡dose/schedule ¡of ¡the ¡intervenIon ¡including ¡the ¡following: ¡ The ¡intensity ¡of ¡exercise ¡used ¡in ¡the ¡intervenIon ¡(e.g., ¡target ¡heart ¡rate ¡or ¡walking ¡speed) ¡ The ¡frequency ¡of ¡exercise ¡sessions ¡ The ¡duraIon ¡of ¡each ¡individual ¡exercise ¡session ¡ The ¡overall ¡duraIon ¡of ¡the ¡supervised ¡exercise ¡programme ¡ 9 ¡ Tailoring ¡ If ¡the ¡intervenIon ¡was ¡planned ¡to ¡be ¡personalised, ¡Itrated ¡or ¡adapted, ¡then ¡describe ¡what, ¡ why, ¡when ¡and ¡how ¡ 10 ¡ ModificaIons ¡ Describes ¡any ¡modificaIons ¡to ¡the ¡intervenIon ¡during ¡the ¡course ¡of ¡the ¡study ¡ 11 ¡ ¡ ¡ ¡ ¡ How ¡well: ¡planned ¡ (a) ¡fidelity ¡strategies ¡ (b) ¡fidelity ¡assessment ¡ ¡ ¡ Describe ¡any ¡strategies ¡that ¡were ¡used ¡to ¡maintain ¡or ¡improve ¡intervenIon ¡fidelity ¡ Describe ¡what ¡procedures ¡were ¡used ¡to ¡assess ¡intervenIon ¡adherence ¡or ¡fidelity ¡ 12 ¡ How ¡well: ¡actual ¡ Describe ¡the ¡extent ¡to ¡which ¡the ¡delivered ¡intervenIon ¡varied ¡from ¡the ¡intended ¡intervenIon, ¡ e.g., ¡through ¡the ¡provision ¡of ¡data ¡about ¡how ¡many ¡exercise ¡sessions ¡were ¡completed, ¡and ¡the ¡ duraIon ¡and ¡intensity ¡of ¡those ¡sessions ¡

Data ¡extrac7on ¡process ¡

• Data ¡extracIon ¡was ¡done ¡

in ¡Excel ¡by ¡two ¡ independent ¡reviewers ¡

• Completeness ¡of ¡

intervenIon ¡descripIon ¡ assessed ¡up ¡to ¡3 ¡Imes: ¡

• 1. AMer ¡reviewing ¡main ¡trial ¡

publicaIon ¡

• 2. AMer ¡reviewing ¡addiIonal ¡

published ¡material ¡

• 3. AMer ¡requesIng ¡

informaIon ¡from ¡authors ¡ via ¡email ¡

Author ¡contact ¡process ¡

• Corresponding ¡authors ¡were ¡sent ¡up ¡to ¡3 ¡emails, ¡each ¡a ¡fortnight ¡apart ¡
• Co-­‑authors ¡were ¡contacted ¡where ¡necessary ¡
• We ¡used ¡the ¡authors’ ¡first ¡informaIve ¡response ¡to ¡update ¡our ¡Excel ¡file ¡

Results ¡– ¡summary ¡of ¡included ¡studies ¡

• Final ¡sample ¡comprised ¡

58 ¡RCT’s ¡reporIng ¡on ¡76 ¡ intervenIons ¡

• 43 ¡corresponding ¡authors ¡
• Trials ¡were ¡published ¡

between ¡1973 ¡and ¡2014 ¡ (64% ¡were ¡published ¡in ¡ the ¡last ¡10 ¡years) ¡

• PopulaIon: ¡all ¡but ¡two ¡

studies ¡limited ¡recruitment ¡ to ¡people ¡with ¡intermihent ¡ claudicaIon ¡

• IntervenIon: ¡67% ¡aerobic ¡

(walking ¡most ¡common), ¡ 11% ¡resistance, ¡16% ¡ combined, ¡7% ¡unclear; ¡ DuraIon ¡– ¡2 ¡w ¡to ¡18 ¡m ¡

• Comparator: ¡Usual ¡care ¡

was ¡most ¡common ¡(21 ¡ trials; ¡36%) ¡

Results ¡– ¡completeness ¡of ¡interven7on ¡ descrip7ons ¡(published ¡sources) ¡

• Addi7onal ¡sources ¡of ¡informa7on ¡were ¡found ¡for ¡67% ¡of ¡the ¡trials ¡
• Highlights ¡of ¡insufficient ¡descrip7ons: ¡Mode, ¡20%; ¡ ¡Intensity ¡planned, ¡24%; ¡ ¡

Tailoring/progression, ¡26%; ¡AFendance, ¡62%; ¡Intensity ¡performed, ¡89% ¡

Results ¡– ¡completeness ¡of ¡interven7on ¡ descrip7ons ¡(a^er ¡author ¡contact) ¡

• 11 ¡out ¡of ¡43 ¡authors ¡did ¡not ¡respond ¡(26%) ¡ ¡
• Many ¡responses ¡were ¡incomplete/unhelpful ¡

Examples ¡– ¡The ¡Good, ¡the ¡Bad ¡and ¡the ¡Ugly ¡ ¡

The ¡Good: ¡

• McDermoh ¡et ¡al. ¡(2009) ¡

“. ¡. ¡. ¡. ¡. ¡exercise ¡three ¡=mes ¡a ¡week ¡for ¡ 24 ¡weeks. ¡. ¡. ¡Par=cipants ¡began ¡with ¡15 ¡ minutes ¡of ¡exercise ¡and ¡increased ¡to ¡40 ¡ minutes ¡by ¡week ¡eight ¡. ¡. ¡. ¡Between ¡ weeks ¡eight ¡and ¡24, ¡aGempts ¡to ¡ increase ¡exercise ¡intensity ¡were ¡made ¡at ¡ least ¡weekly ¡either ¡by ¡increasing ¡ treadmill ¡speed ¡or ¡by ¡increasing ¡the ¡ treadmill ¡grade. ¡Par=cipants ¡with ¡leg ¡ symptoms ¡were ¡encouraged ¡to ¡exercise ¡ to ¡near ¡maximal ¡leg ¡symptoms. ¡ Asymptoma=c ¡par=cipants ¡were ¡ encouraged ¡to ¡exercise ¡to ¡a ¡level ¡of ¡12 ¡ to ¡14 ¡. ¡. ¡. ¡. ¡on ¡the ¡Borg ¡ra=ng ¡of ¡ perceived ¡exer=on ¡scale ¡[reference]” ¡

Examples ¡– ¡The ¡Bad ¡ ¡

• Lundgren ¡et ¡al. ¡(1989) ¡

“The ¡training ¡program ¡was ¡ comprised ¡of ¡three ¡sessions ¡per ¡ week ¡of ¡dynamic ¡leg ¡exercise ¡ beyond ¡the ¡appearance ¡of ¡leg ¡pain ¡ due ¡to ¡arterial ¡insufficiency. ¡The ¡ training ¡sessions, ¡supervised ¡by ¡a ¡ physiotherapist, ¡lasted ¡for ¡30 ¡ minutes, ¡and ¡the ¡pa=ents ¡were ¡also ¡ encouraged ¡to ¡perform ¡the ¡ exercises ¡during ¡their ¡leisure-­‑=me. ¡ The ¡pa=ent ¡group ¡randomized ¡to ¡ receive ¡combined ¡treatment ¡started ¡ their ¡training ¡6 ¡weeks ¡aOer ¡the ¡last ¡

• pera=on. ¡The ¡minimum ¡training ¡

period ¡was ¡6 ¡months.” ¡

Examples ¡– ¡The ¡Ugly ¡ ¡

• Murphy ¡et ¡al. ¡(2012) ¡ ¡
• Main ¡paper ¡from ¡influenIal ¡

CLEVER ¡trial ¡published ¡in ¡ CirculaIon ¡(IF ¡= ¡14.43) ¡ “SE ¡consisted ¡of ¡26 ¡weeks ¡of ¡ exercise, ¡3 ¡=mes ¡a ¡week, ¡for ¡1 ¡ hour ¡at ¡a ¡=me. ¡Sites ¡were ¡ trained ¡to ¡provide ¡SE ¡using ¡a ¡ common ¡protocol, ¡and ¡the ¡ progress ¡of ¡each ¡par=cipant ¡ was ¡monitored ¡by ¡an ¡oversight ¡ commiGee.23” ¡

Discussion ¡– ¡How ¡well ¡are ¡exercise-­‑based ¡ interven7ons ¡described ¡in ¡other ¡clinical ¡popula7ons? ¡

• Campbell ¡KL, ¡Neil ¡SE, ¡Winters-­‑Stone ¡KM. ¡Review ¡of ¡exercise ¡studies ¡

in ¡breast ¡cancer ¡survivors: ¡ahenIon ¡to ¡principles ¡of ¡exercise ¡

• training. ¡Br ¡J ¡Sports ¡Med. ¡2012;46: ¡909–916. ¡
• Winters-­‑Stone ¡KM, ¡Neil ¡SE, ¡Campbell ¡KL. ¡AhenIon ¡to ¡principles ¡of ¡

exercise ¡training: ¡a ¡review ¡of ¡exercise ¡studies ¡for ¡survivors ¡of ¡ cancers ¡other ¡than ¡breast. ¡Br ¡J ¡Sports ¡Med. ¡2014;48: ¡987–995. ¡

• Ammann ¡BC, ¡Knols ¡RH, ¡Baschung ¡P, ¡de ¡Bie ¡RA, ¡de ¡Bruin ¡ED. ¡

ApplicaIon ¡of ¡principles ¡of ¡exercise ¡training ¡in ¡sub-­‑acute ¡and ¡ chronic ¡stroke ¡survivors: ¡a ¡systemaIc ¡review. ¡BMC ¡Neurol. ¡ 2014;14: ¡167. ¡ ¡

• Abell ¡B, ¡Glasziou ¡P, ¡Hoffmann ¡T. ¡ReporIng ¡and ¡replicaIng ¡trials ¡of ¡

exercise-­‑based ¡cardiac ¡rehabilita7on: ¡do ¡we ¡know ¡what ¡the ¡ researchers ¡actually ¡did? ¡Circ ¡Cardiovasc ¡Qual ¡Outcomes ¡2015;8: ¡ 187–194. ¡

Discussion ¡– ¡How ¡well ¡are ¡exercise-­‑based ¡ interven7ons ¡described ¡in ¡other ¡clinical ¡popula7ons? ¡

Table ¡– ¡Percentage ¡of ¡intervenIons ¡which ¡completely ¡report ¡the ¡ FITT ¡components ¡in ¡the ¡main ¡trial ¡publicaIon ¡

¡Popula7on ¡

Frequency ¡ Intensity ¡ Time ¡ Type ¡

Breast ¡cancer ¡ (n=29*) ¡ 97% ¡ 79% ¡ 79% ¡ 83% ¡ Other ¡cancer ¡ (n=33*) ¡ 91% ¡ 70% ¡ 85% ¡ 94% ¡ Stroke ¡ (n=37*) ¡ 95% ¡ 60% ¡ 92% ¡ 95% ¡ Cardiac ¡ (n=74**) ¡ 69% ¡ 50% ¡ 58% ¡ 57% ¡ PAD ¡ (n=76**) ¡ 95% ¡ 76% ¡ 97% ¡ 72% ¡ * ¡Number ¡of ¡studies; ¡** ¡Number ¡of ¡intervenIons ¡

Strengths ¡and ¡limita7ons ¡

Strengths ¡

• SystemaIc ¡search ¡strategy ¡
• Duplicate ¡screening ¡and ¡

data ¡extracIon ¡

• TIDieR ¡checklist ¡– ¡

recognised ¡by ¡CONSORT ¡ and ¡EQUATOR ¡

• Author ¡contact ¡process ¡

Limita7ons ¡

• Trials ¡not ¡wrihen ¡in ¡English ¡

excluded ¡

– 8 ¡non-­‑English ¡reports ¡rejected ¡ at ¡full-­‑text ¡screening ¡stage ¡

• Some ¡TIDieR ¡items ¡are ¡open ¡

to ¡interpretaIon ¡

• Checklist ¡was ¡not ¡applied ¡to ¡

comparator ¡

Summary ¡points ¡

• Inadequate ¡reporIng ¡of ¡supervised ¡exercise ¡programmes ¡in ¡

the ¡PAD ¡trial ¡literature ¡is ¡a ¡substanIal ¡problem, ¡with ¡ essenIal ¡informaIon ¡frequently ¡missing, ¡and ¡for ¡almost ¡ two-­‑thirds ¡of ¡all ¡intervenIons, ¡unobtainable ¡aMer ¡ publicaIon ¡

• This ¡has ¡implicaIons ¡for ¡the ¡interpretaIon ¡of ¡outcome ¡

data, ¡the ¡invesIgaIon ¡of ¡dose-­‑response ¡effects, ¡and ¡the ¡ replicaIon ¡of ¡protocols ¡in ¡future ¡studies ¡and ¡clinical ¡ pracIce ¡

• The ¡TIDieR ¡checklist ¡and ¡guide ¡can ¡be ¡used ¡by ¡authors ¡to ¡

structure ¡reports ¡of ¡their ¡intervenIons, ¡by ¡reviewers ¡and ¡ editors ¡to ¡assess ¡completeness ¡of ¡descripIons, ¡and ¡by ¡ readers ¡who ¡want ¡to ¡use ¡the ¡informaIon ¡