Responsible Conduct of Research Susan Porter Jacqui - - PowerPoint PPT Presentation

Responsible ¡Conduct ¡of ¡Research ¡

Susan ¡Porter ¡

Dean ¡and ¡Vice-­‑Provost, ¡ ¡ Graduate ¡& ¡Postdoctoral ¡Studies ¡

Jacqui ¡Brinkman ¡

Manager, ¡Graduate ¡Pathways ¡to ¡Success, ¡ ¡ Graduate ¡& ¡Postdoctoral ¡Studies ¡ (w/ some edits by W. Robinson)

Generate hypothesis Design study Collect data Analyze data/test hypothesis Interpret data Peer review / Publication

Every stage subject to threats/biases:

The ¡classic ¡scien5fic ¡approach ¡

Bias Low power Poor Quality P-hacking Lack of knowledge Conflicting interests Etc.

“Everything ¡that ¡a ¡scienBst ¡does ¡is ¡a ¡funcBon ¡of ¡ what ¡others ¡have ¡done ¡before ¡him; ¡the ¡past ¡is ¡ embodied ¡in ¡every ¡new ¡concepBon ¡and ¡even ¡in ¡ the ¡possibility ¡of ¡its ¡being ¡conceived ¡at ¡all.” ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Peter ¡Medawar ¡

"father of transplantation”

Discipline ¡Norms ¡ Judgment ¡ Sharing ¡of ¡data ¡ ¡ Data ¡interpreta7on ¡ Authorship ¡ Conflicts ¡of ¡interest ¡ Mentorship ¡ ¡ Honesty ¡ ObjecBvity ¡ Efficiency ¡ Accuracy ¡ ConscienBousness ¡ ¡ Societal ¡norms ¡ Shared ¡values ¡ FabricaBon ¡ FalsificaBon ¡ Plagiarism ¡ Misuse ¡of ¡funds ¡ Abuse ¡of ¡students ¡ ¡ Policies ¡ Regula5ons ¡

e.g.

• scholarly integrity (85)
• research (87)
• conflicts of interest (97)

Objec5ves ¡

• ¡have ¡a ¡beSer ¡understanding ¡of ¡norms ¡and ¡rules ¡for ¡

responsible ¡research ¡conduct ¡

• ¡know ¡where ¡and ¡how ¡to ¡ascertain ¡these ¡
• ¡have ¡improved ¡ability ¡to ¡make ¡judgments ¡on ¡the ¡ethics ¡of ¡

the ¡types ¡of ¡acBons ¡and ¡decisions ¡inherent ¡in ¡research ¡ ¡ Students ¡will ¡

¡conduct ¡research ¡responsibly! ¡

• Intro to the Responsible Conduct of Research
• Ethics and the Responsible Researcher
• Research Misconduct
• Data Acquisition and Management
• Publication Practices and Responsible Authorship
• Peer Review: Role and Process in Life Sciences

Research

• Writing with Integrity
• Responsible Mentoring
• Collaborative Research
• Conflicts of Interest in Research
• Human Participants Research and Ethics
• Animal Care and Use

2 hours face to face 1.5 hours face to face

Role ¡Play! ¡

• What are the conflicting interests here?
• How does one differentiate between experiments that

“don’t work” vs. those that have negative or unanticipated results?

• Who are the stakeholders?
• What human factors or supervision practices might

improve scientific rigour in this lab

Third ¡5me ¡“lucky”… ¡

student ¡ insBtuBon ¡ government ¡ supervisor ¡ $$ ¡ granBng ¡ agency ¡ collaborators ¡ industry ¡ society ¡ investors ¡

• ther ¡researchers

¡

Who ¡are ¡we ¡responsible ¡to? ¡

research ¡ subjects ¡

What ¡are ¡we ¡responsible ¡for? ¡

CreaBon ¡of ¡new ¡knowledge ¡that ¡is: ¡

• true ¡(accurate, ¡conclusions ¡are ¡well-­‑jusBfied) ¡
• accessible ¡to ¡other ¡researchers ¡
• able ¡to ¡be ¡independently ¡verified ¡by ¡other ¡researchers ¡
• of ¡benefit ¡to ¡society ¡

Carried ¡out ¡in ¡a ¡manner ¡that: ¡

• makes ¡efficient ¡use ¡of ¡resources ¡
• minimizes ¡impact ¡on ¡people, ¡animals, ¡and ¡the ¡environment ¡ ¡
• involves ¡honest, ¡caring, ¡and ¡fair ¡relaBonships ¡with ¡peers ¡and ¡

mentees ¡

Ethical ¡Dilemma: ¡Conflict ¡between ¡

compeBng ¡moral ¡imperaBves ¡or ¡values ¡

Need ¡and ¡duty ¡to ¡publish ¡ ¡ Need ¡to ¡publish ¡in ¡a ¡Bmely ¡ fashion ¡ ¡ Financial ¡gain ¡ ¡ RecogniBon, ¡tenure, ¡etc. ¡ Duty ¡to ¡facilitate ¡research ¡of ¡

• thers ¡

Need ¡to ¡be ¡thorough ¡and ¡ careful ¡ ¡ ObjecBvity, ¡honesty ¡ ¡ Careful/courageous? ¡ research ¡

Decisions can be difficult, and may be related to individual context

A ¡Framework ¡for ¡Ethical ¡Decision-­‑Making ¡

• IdenBfy ¡the ¡problem(s), ¡determine ¡whether ¡it’s ¡an ¡ethical ¡issue. ¡
• IdenBfy ¡the ¡individuals/groups ¡with ¡a ¡stake ¡in ¡the ¡outcome ¡
• What ¡are ¡their ¡legiBmate ¡rights, ¡responsibiliBes ¡and ¡expectaBons? ¡
• Get ¡the ¡facts ¡and ¡assess ¡the ¡situaBon ¡
• IdenBfy ¡opBons ¡for ¡acBng ¡and ¡evaluate ¡them ¡
• What ¡are ¡the ¡consequences ¡for ¡all ¡affected ¡parBes? ¡
• What ¡if ¡everyone ¡in ¡these ¡circumstances ¡did ¡this? ¡ ¡
• What ¡will ¡do ¡the ¡most ¡good ¡with ¡the ¡least ¡harm? ¡
• Make ¡a ¡decision ¡and ¡test ¡it ¡
• Act ¡and ¡reflect ¡on ¡the ¡outcome ¡

(End Part 1)

Responsible ¡Data.… ¡

Obtaining ¡ Recording ¡ Analyzing ¡ ReporBng ¡ Ownership ¡ Sharing ¡

Obtaining ¡Data ¡

• ¡experimental ¡design ¡is ¡free ¡from ¡bias ¡
• ¡sample ¡is ¡appropriate ¡
• ¡conducted ¡carefully ¡with ¡proper ¡controls ¡ ¡
• ¡understand ¡the ¡staBsBcs ¡to ¡be ¡used ¡from ¡the ¡start ¡
• ¡get ¡independent ¡advice ¡(mentor ¡as ¡well ¡as ¡others) ¡
• ¡consider ¡preregistering ¡study ¡ ¡

“ ¡The ¡first ¡principle ¡is ¡that ¡you ¡ must ¡not ¡fool ¡yourself, ¡and ¡you ¡are ¡ the ¡easiest ¡person ¡to ¡fool… ¡ I'm ¡talking ¡about ¡a ¡specific, ¡extra ¡ type ¡of ¡integrity ¡that ¡is ¡[more ¡than ¡ just] ¡not ¡lying, ¡but ¡bending ¡over ¡ backwards ¡to ¡show ¡how ¡you're ¡ maybe ¡wrong. ¡This ¡is ¡our ¡ responsibility ¡to ¡scienBsts….” ¡ ¡ ¡-­‑ ¡ ¡Richard ¡Feynman, ¡Nobel ¡ Laureate ¡ ¡ ¡

www.thefamouspeople.com/profiles/images/richard-feynman-3.jpg

Study preregistration Open research blog

Recording ¡Data ¡

• ­‑ WHY, ¡WHEN, ¡& ¡HOW ¡ ¡you ¡did ¡the ¡experiment ¡
• ­‑ RESULTS ¡
• ­‑ CONCLUSIONS ¡
• ­‑ ¡ ¡ ¡IDEAS ¡for ¡next ¡steps ¡

Data ¡books ¡should ¡inform: ¡ Legacy ¡for ¡the ¡lab. ¡ Others ¡should ¡be ¡able ¡to ¡repeat ¡what ¡you ¡did! ¡ Provides ¡legal ¡support ¡for ¡patents ¡or ¡defense ¡against ¡fraud. ¡

Notebooks ¡should: ¡

• 1. Be ¡bound ¡with ¡numbered ¡pages ¡
• 2. Be ¡in ¡pen, ¡neat ¡and ¡legible ¡
• 3. Recorded ¡as ¡soon ¡as ¡data ¡collected ¡
• 4. Include ¡all ¡raw ¡data ¡
• 5. Include ¡calculaBons ¡
• 6. Have ¡errors ¡corrected ¡without ¡erasing ¡or ¡obscuring ¡original ¡

recording ¡

• 7. Include ¡correspondence/conversaBons ¡relaBng ¡to ¡experiments ¡
• 8. Include ¡tangible ¡data ¡or ¡its ¡locaBon ¡
• 9. Include ¡interpretaBons ¡

Recording ¡Data: ¡Electronic ¡notebook ¡

https://www.labguru.com/tour

Analyzing ¡and ¡Repor5ng ¡Data: ¡Outliers ¡ ¡

4 8 12 16 5 10 15 20 25

8 15 23 30 38 1 2 3 4 5 6 7 8 9 10 11 12 13

• ­‑

Decide ¡data ¡parameters ¡before ¡hand ¡

• ­‑

Do ¡data ¡QC ¡checks ¡prior ¡to ¡analysis ¡

• ­‑

Use ¡staBsBcal ¡methods ¡to ¡assess ¡ ¡ ¡

• ­‑

Determine ¡likely ¡cause ¡ ¡

• ­‑

If ¡it ¡is ¡clearly ¡due ¡to ¡a ¡measurement/recording ¡ error, ¡can ¡drop, ¡but… ¡

• ­‑

Always ¡disclose ¡basis ¡for ¡dropping ¡or ¡modifying ¡ data ¡ Data trimming: It is NOT acceptable to drop an

• bservation just because it is an outlier!

“Beautification is a form of misrepresentation. Slightly dirty images reflect the real world.”

Nature 439, 891-892(23 February 2006)

“The most dangerous of all falsehoods is a slightly distorted truth.” G.C. Lichtenberg (1742–1799)

Analyzing and Reporting Data

Label graphic data clearly Keep files well organized Take high-resolution pictures from start Don’t doctor image inappropriately!

Analyzing and Reporting Data: Image data

PubPeer is a website that allows users to discuss and review scientific research. It has highlighted shortcomings in several high- profile papers, in some cases leading to retractions and to accusations of scientific fraud,

from ¡Nature* ¡and ¡JCI ¡Guidelines: ¡ ¡

• List ¡all ¡image ¡acquisiBon ¡tools, ¡image ¡processing ¡sovware, ¡and ¡key ¡sewngs ¡

and ¡manipulaBons ¡

• Don’t ¡combine ¡images ¡gathered ¡at ¡different ¡Bmes ¡or ¡from ¡different ¡locaBons ¡

unless ¡stated ¡and ¡borders ¡are ¡clearly ¡indicated. ¡

• Avoid ¡touch-­‑up ¡tools ¡
• Don’t ¡remove ¡“important” ¡data ¡by ¡cropping ¡
• Avoid ¡high ¡contrast ¡sewngs ¡(have ¡grey ¡background) ¡
• Only ¡adjust ¡brightness/contrast ¡equally ¡across ¡image ¡and ¡not ¡such ¡that ¡data ¡
• disappear. ¡
• Do ¡not ¡reuse ¡previously ¡published ¡figures ¡

*Nature 439, 891-892(23 February 2006)

Analyzing ¡and ¡Repor5ng ¡Data: ¡Image ¡data ¡ ¡

http://www.nature.com/authors/policies/image.html

25 50 75 100 125 10 20 50 100 Substance B (uM) Substance A (uM) 70 75 80 85 90 95 100 105 10 20 50 100 Substance B (uM) Substance A (uM) 20 40 60 80 100 120 10 20 50 100 Substance B (uM) Substance A (uM) 100 200 300 400 500 10 20 50 100 Substance B (uM) Substance A (uM)

*

Analyzing ¡and ¡Repor5ng ¡Data: ¡Graphical ¡ ¡data ¡ ¡

"There are three kinds of lies: lies, damned lies, and statistics.”

Analyzing ¡and ¡Repor5ng ¡Data: ¡Sta5s5cs ¡

In today's environment, our talent for jumping to conclusions makes it all too easy to find false patterns in randomness, to ignore alternative explanations for a result or to accept 'reasonable' outcomes without question — that is, to ceaselessly lead ourselves astray without realizing it. –Nusso, Nature 2015

• Use ¡methodologies ¡appropriate ¡to ¡the ¡data ¡ ¡
• Remain ¡current ¡and ¡understand ¡the ¡theory, ¡the ¡data, ¡and ¡the ¡

methods ¡(or ¡enlist ¡staBsBcal ¡help) ¡ ¡

• Consider ¡staBsBcal ¡methods ¡before ¡research ¡is ¡undertaken ¡
• Report ¡all ¡assumpBons ¡and ¡data ¡cleaning/screening ¡procedures ¡used ¡
• Address ¡potenBal ¡confounding ¡variables ¡
• Correct ¡for ¡mul5ple ¡comparisons! ¡

Analyzing ¡and ¡Repor5ng ¡Data: ¡Sta5s5cs ¡

Common ¡errors ¡(honest ¡or ¡otherwise) ¡

• ¡associaBon ¡≠ ¡causaBon ¡ ¡
• ¡a ¡posteriori ¡hypothesis ¡presented ¡as ¡a ¡priori ¡
• ¡not ¡taking ¡into ¡account ¡all ¡data ¡ ¡
• ¡failing ¡to ¡account ¡for ¡technical ¡confounders ¡
• ¡incomplete ¡descripBon ¡of ¡methods ¡or ¡materials ¡
• ¡not ¡considering ¡alternaBve ¡explanaBons ¡

¡ ¡ ¡

Analyzing ¡and ¡Repor5ng ¡Data: ¡Interpreta5on ¡

Analyzing ¡and ¡Repor5ng: ¡Big ¡Data ¡

student ¡ insBtuBon ¡ government ¡ society ¡ supervisor ¡ $$ ¡ granBng ¡ agency ¡ collaborators ¡ industry ¡ investors ¡ human ¡subjects ¡

Ownership ¡of ¡Data ¡& ¡Intellectual ¡Property ¡

• Research ¡data ¡usually ¡belong ¡to ¡the ¡insBtuBon ¡or ¡jointly ¡by ¡the

¡ insBtuBon ¡and ¡researcher(s) ¡ ¡ Norms ¡

• Individual ¡researchers ¡are ¡generally ¡permiSed ¡to ¡have ¡a ¡copy ¡
• f ¡the ¡study ¡data ¡(aver ¡subject ¡idenBfiers ¡are ¡removed) ¡

Ownership ¡of ¡Data ¡& ¡Intellectual ¡Property ¡

Sharing ¡of ¡Data ¡& ¡Materials ¡

“An ¡author’s ¡obligaBon ¡is…to ¡release ¡data ¡and ¡materials ¡to ¡ enable ¡others ¡to ¡verify ¡or ¡replicate ¡published ¡findings” ¡

¡-­‑ ¡ ¡NATIONAL ¡RESEARCH ¡COUNCIL ¡OF ¡THE ¡NATIONAL ¡ACADEMIES ¡ ¡

¡ “Data ¡sharing ¡is ¡essenBal ¡for ¡expedited ¡translaBon ¡of ¡ research ¡results ¡into ¡knowledge, ¡products, ¡and ¡procedures ¡ to ¡improve ¡human ¡Health” ¡ ¡

• ­‑ ¡ ¡NATIONAL ¡INSTITUTES ¡OF ¡HEALTH ¡ ¡STATEMENT ON SHARING RESEARCH DATA

¡ ¡

• In ¡publicaBon, ¡include ¡all ¡data ¡necessary ¡to ¡support ¡claims ¡and ¡enable ¡
• thers ¡to ¡replicate ¡them. ¡ ¡
• If ¡applicable, ¡use ¡publicly ¡accessible ¡repositories ¡by ¡the ¡Bme ¡of ¡publicaBon. ¡
• AnBcipate ¡requests ¡and ¡indicate ¡how ¡to ¡obtain ¡them. ¡
• If ¡integral ¡material ¡is ¡patented, ¡provide ¡under ¡a ¡licence ¡for ¡research ¡use. ¡
• Provider ¡of ¡material ¡cannot ¡demand ¡exclusive ¡license ¡to ¡commercialize ¡a ¡

new ¡substance ¡from ¡the ¡material ¡or ¡require ¡collaboraBon ¡or ¡coauthorship ¡

• Transfer ¡should ¡occur ¡within ¡60 ¡days. ¡If ¡this ¡doesn’t ¡happen, ¡the ¡requestor ¡

may ¡contact ¡the ¡journal, ¡then ¡the ¡author’s ¡insBtuBon ¡or ¡funder. ¡

• Recipients ¡should ¡acknowledge ¡the ¡source ¡in ¡publicaBons ¡

Sharing ¡: ¡principles ¡and ¡recommenda5ons ¡

End Part 2