Too much informa-on: Problems when using mul-ple - - PowerPoint PPT Presentation

Too ¡much ¡informa-on: ¡ ¡ ¡ Problems ¡when ¡using ¡mul-ple ¡malingering ¡tests ¡ ¡ Richard ¡Frederick ¡ Springfield, ¡Missouri ¡

Using ¡classifica-on ¡tests ¡to ¡detect ¡feigning ¡

FAKER ¡ NON-­‑FAKER ¡ p

• s

i

• v

e ¡ s c

• r

e ¡ n e g a

• v

e ¡ s c

• r

e ¡

A ¡faking ¡test ¡(classifica-on ¡test) ¡is ¡administered: ¡

If ¡you ¡get ¡a….. ¡

…you ¡are ¡called ¡a… ¡

Assump-ons ¡for ¡using ¡classifica-on ¡tests: ¡ ¡ (1) ¡There ¡are ¡two ¡groups ¡ ¡ (2) ¡The ¡local ¡base ¡rates ¡of ¡the ¡two ¡groups ¡are ¡known: ¡ ¡ p(Faking) ¡= ¡p(Feigning) ¡= ¡p(F) ¡ ¡ ¡p(not ¡Faking) ¡= ¡p(not ¡F) ¡ ¡ ¡ ¡ p(F) ¡+ ¡p(not ¡F) ¡= ¡1 ¡ ¡(See ¡assump-on ¡1) ¡ ¡ (3) ¡Valid ¡tests ¡exist ¡that ¡classify ¡the ¡two ¡groups ¡with ¡known ¡error ¡ rates ¡ ¡ ¡

Result: ¡ ¡ If ¡the ¡three ¡assump-ons ¡are ¡met, ¡then ¡one ¡can ¡ change ¡p(F) ¡in ¡a ¡way ¡that ¡leads ¡to ¡some ¡ decision ¡about ¡group ¡membership. ¡ ¡

Assump-on ¡1: ¡ ¡ There ¡are ¡two ¡groups ¡

Assump-on ¡2 ¡ ¡ The ¡local ¡base ¡rates ¡of ¡the ¡two ¡groups ¡are ¡known ¡ (or ¡reasonably ¡es-mated) ¡

Assume ¡I ¡know ¡the ¡rates ¡of ¡the ¡two ¡groups ¡in ¡which ¡I ¡work ¡ are ¡40% ¡and ¡60%, ¡faking ¡and ¡not ¡faking, ¡respec-vely ¡ ¡ If ¡40% ¡of ¡the ¡people ¡we ¡evaluate ¡are ¡feigning, ¡p(F) ¡= ¡.4 ¡ ¡ ¡ The ¡odds ¡of ¡feigning ¡are ¡ ¡ ¡ This ¡means ¡for ¡every ¡1 ¡non-­‑faker, ¡there ¡are ¡.67 ¡fakers. ¡ ¡ For ¡every ¡2 ¡+ ¡3 ¡examinees, ¡2 ¡are ¡faking, ¡3 ¡are ¡not. ¡ ¡ p(F) ¡= ¡.4 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡odds ¡are ¡2/3; ¡ ¡ these ¡are ¡equivalent ¡statements. ¡

.4 .4 .67 1 .4 .6

2 3

= = = −

←⎯ →

Note: ¡ ¡The ¡closer ¡p(F) ¡is ¡to ¡0 ¡or ¡1, ¡the ¡less ¡useful ¡classifica-on ¡ ¡ tests ¡will ¡be. ¡ ¡ In ¡low ¡base ¡rates, ¡tes-ng ¡will ¡generate ¡many ¡false ¡posi-ves. ¡ ¡ In ¡high ¡base ¡rates, ¡tes-ng ¡will ¡generate ¡many ¡false ¡nega-ves. ¡ ¡

To ¡say ¡that ¡p(F) ¡= ¡.4 ¡can ¡be ¡understood ¡in ¡many ¡ways. ¡ ¡ Perhaps ¡the ¡best ¡way ¡to ¡think ¡of ¡it ¡is ¡this ¡way: ¡ ¡ If ¡your ¡sample ¡(local ¡base ¡rate) ¡has ¡p(F) ¡= ¡.4, ¡then ¡ ¡ each ¡person ¡you ¡encounter ¡has ¡p(F) ¡= ¡.4. ¡ ¡ Your ¡goal ¡is ¡to ¡re-­‑compute ¡that ¡probability ¡for ¡ ¡ individuals ¡by ¡tes-ng. ¡ ¡ ¡ ¡

p(F) ¡= ¡.4 ¡

You ¡hope ¡to ¡change ¡informa-on ¡about ¡the ¡probability ¡of ¡ membership ¡for ¡each ¡individual ¡by ¡giving ¡a ¡valid ¡test. ¡

p(F) ¡= ¡.4 ¡ p(F) ¡= ¡.9 ¡ p(F) ¡= ¡.1 ¡

posi-ve ¡score ¡ nega-ve ¡score ¡

(This ¡was ¡a ¡useful ¡test.) ¡

p(F) ¡= ¡.9 ¡ ¡ For ¡every ¡10 ¡of ¡this ¡ type ¡of ¡individual, ¡9 ¡ are ¡faking. ¡ p(F) ¡= ¡.1 ¡ ¡ For ¡every ¡10 ¡of ¡this ¡ type ¡of ¡individual, ¡1 ¡ is ¡faking. ¡

pre-­‑test ¡probability ¡ post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ post-­‑test ¡probability ¡

¡ ¡ ¡ ¡ ¡ ¡

Single ¡test ¡

post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡

Mul-ple ¡tests ¡

post-­‑test ¡odds1 ¡ pre-­‑test ¡odds1 ¡ pre-­‑test ¡odds2 ¡ pre-­‑test ¡oddsn ¡ post-­‑test ¡odds2 ¡ post-­‑test ¡oddsn+1 ¡ pre-­‑test ¡odds2 ¡ pre-­‑test ¡oddsn ¡ post-­‑test ¡p(F) ¡ pre-­‑test ¡p(F) ¡

= ¡ = ¡

post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡

LR1 ¡ LR2 ¡ LR3 ¡ LR4 ¡ LRn ¡

LR ¡= ¡likelihood ¡ra-o; ¡some ¡combina-on ¡of ¡a ¡test’s ¡sensi-vity ¡and ¡specificity ¡

post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡

LR4

• ­‑ ¡

LR4

+ ¡

LR3

• ­‑ ¡

LR3

+ ¡

LR2

• ­‑ ¡

LR2

+ ¡

LR1

• ­‑ ¡

LR1

+ ¡

LRn

• ­‑ ¡

LRn

+ ¡ LR+ ¡is ¡the ¡likelihood ¡ra-o ¡when ¡the ¡test ¡score ¡is ¡posi-ve; ¡indicates ¡feigning ¡ ¡ LR-­‑ ¡is ¡the ¡likelihood ¡ra-o ¡when ¡the ¡test ¡score ¡is ¡nega-ve; ¡indicates ¡not ¡feigning ¡ Likelihood ¡ra-os ¡vary ¡based ¡on ¡whether ¡the ¡test ¡outcome ¡is ¡posi-ve ¡or ¡nega-ve ¡

post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡

LR1

• ­‑ ¡

LR2

+ ¡

LR3

+ ¡

LR4

• ­‑ ¡

LRn

+ ¡

LR4

• ­‑ ¡

LR4

+ ¡

LR3

• ­‑ ¡

LR3

+ ¡

LR2

• ­‑ ¡

LR2

+ ¡

LR1

• ­‑ ¡

LR1

+ ¡

LRn

• ­‑ ¡

LRn

+ ¡

“Chaining ¡likelihood ¡ra-os” ¡

Don’t ¡fret ¡over ¡the ¡math. ¡ ¡Use ¡Excel. ¡

• ­‑4 ¡

• source. ¡ ¡If ¡the ¡source ¡was ¡not ¡made ¡clear ¡by ¡the ¡clinician, ¡I ¡chose ¡the ¡source. ¡ ¡Values ¡of ¡

• r ¡firm. ¡ ¡But ¡they ¡are ¡the ¡values ¡reported. ¡ ¡LR+ ¡is ¡the ¡increase ¡in ¡likelihood ¡of ¡

• ther. ¡ ¡LR-­‑ ¡is ¡all ¡the ¡LR-­‑'s ¡muli-pled ¡by ¡each ¡other. ¡ ¡LR ¡is ¡LR+ ¡* ¡LR-­‑. ¡ ¡In ¡the ¡table ¡

• ­‑ ¡pretest ¡probability], ¡and ¡should ¡be ¡read, ¡for ¡example, ¡4:1 ¡or ¡4 ¡to ¡1. ¡ ¡The ¡post-­‑test ¡odds ¡

• FPR. ¡ ¡LR-­‑ ¡= ¡[1 ¡-­‑ ¡TPR]/[1 ¡-­‑ ¡FPR]. ¡

A ¡single ¡Excel ¡ worksheet ¡to ¡ do ¡all ¡these ¡ computa-ons. ¡ ¡ All ¡that ¡you ¡ need ¡do ¡is ¡to ¡ choose ¡ ¡ the ¡cut ¡scores ¡ for ¡your ¡tests, ¡ supply ¡the ¡Se ¡ and ¡Sp, ¡and ¡ indicate ¡ ¡ whether ¡the ¡ ¡

• bserved ¡score ¡

is ¡a ¡Pass ¡or ¡a ¡

• Fail. ¡

b ¡Test ¡

E-­‑score ¡

> ¡81 ¡

Roberson, ¡Boone, ¡Goldberg ¡ et ¡al ¡2013, ¡p ¡503 ¡ 0.58 ¡ 0.1 ¡ 41 ¡ Pass ¡

1 ¡ 0.466 ¡

TOMM ¡ ¡

Trial ¡2 ¡

< ¡45 ¡Greve ¡Ord ¡et ¡al ¡

0.48 ¡ 0.02 ¡ 49 ¡ Pass ¡

1 ¡ 0.530 ¡

RetenTon ¡

< ¡45 ¡Greve ¡Ord ¡et ¡al ¡

0.56 ¡ 0.05 ¡ 50 ¡ Pass ¡

1 ¡ 0.463 ¡

ACS ¡

Word ¡Choice ¡

< ¡32 ¡

ACS ¡Manual, ¡p ¡94, ¡Table ¡ 3.2, ¡p. ¡77, ¡TBI, ¡ ¡ 0.2 ¡ 0.05 ¡ 41 ¡ Pass ¡

1 ¡ 0.842 ¡

WMS ¡Logical ¡Memory ¡ II ¡RecogniTon ¡

< ¡20 ¡

ACS ¡Manual, ¡p ¡94, ¡Table ¡ 3.3, ¡p. ¡78, ¡TBI, ¡.25 ¡to ¡.50 ¡ 0.375 ¡0.05 ¡ 15 ¡

Fail ¡ 7.5 ¡ 1 ¡

WMS ¡Verbal ¡Paired ¡ Associates ¡II ¡ RecogniTon ¡

< ¡24 ¡

ACS ¡Manual, ¡p ¡94, ¡Table ¡ 3.4, ¡p. ¡79 ¡TBI, ¡.15 ¡to ¡.25 ¡ 0.2 ¡ 0.05 ¡ 29 ¡ Pass ¡

1 ¡ 0.842 ¡ LR+ ¡ LR-­‑ ¡ FPR ¡ TPR ¡ cut ¡score ¡ score ¡ All ¡you ¡need ¡do ¡is ¡type ¡in ¡“Pass” ¡

• r ¡“Fail” ¡and ¡the ¡LR ¡is ¡calculated ¡

automa-cally ¡from ¡the ¡TPR ¡and ¡FPR ¡ TPR ¡is ¡sensi-vity ¡ ¡ FPR ¡is ¡1 ¡-­‑ ¡specificity ¡

b ¡Test ¡ E-­‑score ¡ > ¡81 ¡ TOMM ¡ ¡ Trial ¡2 ¡ < ¡45 ¡ Reten-on ¡ < ¡45 ¡ ACS ¡ Word ¡Choice ¡ < ¡32 ¡ WMS ¡Logical ¡Memory ¡II ¡ Recogni-on ¡ < ¡20 ¡ WMS ¡Verbal ¡Paired ¡Associates ¡ II ¡Recogni-on ¡ < ¡24 ¡

Cut ¡ Score ¡ Source ¡ TPR ¡ ¡ FPR ¡ < ¡75 ¡ Greve ¡Ord ¡et ¡al ¡ 0.48 ¡ 0.02 ¡ < ¡77.5 ¡ Greve ¡Ord ¡et ¡al ¡ 0.52 ¡ 0.02 ¡ < ¡72.5 ¡ Greve ¡Ord ¡et ¡al ¡ 0.26 ¡ 0.02 ¡

DECISION ¡ LR+ ¡ LR-­‑ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ Pass ¡ 1 ¡ 0.652631579 ¡ Fail ¡ 3.692307692 ¡ 1 ¡ Pass ¡ 1 ¡ 0.696629213 ¡ Pass ¡ 1 ¡ 0.595505618 ¡ ¡ ¡ 1 ¡ 1 ¡

Except ¡for ¡really, ¡really ¡ ¡ bad ¡tests, ¡LR+ ¡> ¡1, ¡and ¡LR-­‑ ¡< ¡1 ¡ ¡ When ¡a ¡test ¡has ¡LR ¡> ¡1, ¡ ¡ it ¡means ¡the ¡odds ¡are ¡ ¡ IMPROVED ¡that ¡the ¡person ¡ is ¡faking. ¡ ¡ When ¡a ¡test ¡has ¡LR ¡< ¡1, ¡ it ¡means ¡the ¡odds ¡are ¡ ¡ DECREASED ¡re ¡faking. ¡

Fail ¡ 5.780487805 ¡ 1 ¡ ¡ ¡ 1 ¡ 1 ¡ Pass ¡ 1 ¡ 0.174946004 ¡ Pass ¡ 1 ¡ 0.187851519 ¡ Pass ¡ 1 ¡ 0.134989201 ¡ LR+ ¡ LR-­‑ ¡ Column ¡ products ¡ 747.48 ¡ 0.00000051 ¡ LR ¡= ¡LR+ ¡* ¡LR-­‑ ¡ 0.000384456 ¡ At ¡the ¡bomom ¡of ¡each ¡column ¡ ¡

• f ¡LR’s, ¡LR+ ¡and ¡LR-­‑ ¡are ¡ ¡

computed ¡as ¡the ¡products ¡

• f ¡the ¡values ¡in ¡each ¡column. ¡

¡ Then ¡LR+ ¡is ¡mul-plied ¡by ¡LR-­‑ ¡ ¡ to ¡get ¡the ¡overall ¡value ¡for ¡LR. ¡ ¡ ¡ If ¡LR ¡> ¡1, ¡then ¡the ¡odds ¡are ¡ ¡ bemer ¡than ¡the ¡base ¡rate ¡that ¡ ¡ the ¡person ¡is ¡faking. ¡ ¡ If ¡LR ¡< ¡1, ¡then ¡the ¡odds ¡are ¡worse ¡ ¡ than ¡the ¡base ¡rate ¡that ¡the ¡ ¡ person ¡is ¡faking. ¡ Here, ¡LR ¡= ¡.0004—the ¡odds ¡are ¡VERY ¡ low ¡that ¡the ¡person ¡is ¡faking. ¡

Pre-­‑test ¡P ¡ Pretest ¡odds ¡ Posmest ¡odds ¡ (mul-ply ¡pre-­‑ test ¡

• dds ¡by ¡LR) ¡

Posmest ¡p ¡ 0.01 ¡ 0.0101 ¡ 0.0000 ¡ 0.000004 ¡ 0.02 ¡ 0.0204 ¡ 0.0000 ¡ 0.000008 ¡ 0.05 ¡ 0.0526 ¡ 0.0000 ¡ 0.000020 ¡ 0.1 ¡ 0.1111 ¡ 0.0000 ¡ 0.000043 ¡ 0.2 ¡ 0.2500 ¡ 0.0001 ¡ 0.000096 ¡ 0.3 ¡ 0.4286 ¡ 0.0002 ¡ 0.000165 ¡ 0.4 ¡ 0.6667 ¡ 0.0003 ¡ 0.000256 ¡ 0.5 ¡ 1.0000 ¡ 0.0004 ¡ 0.000384 ¡ 0.6 ¡ 1.5000 ¡ 0.0006 ¡ 0.000576 ¡ 0.7 ¡ 2.3333 ¡ 0.0009 ¡ 0.000896 ¡ 0.8 ¡ 4.0000 ¡ 0.0015 ¡ 0.001535 ¡ 0.9 ¡ 9.0000 ¡ 0.0035 ¡ 0.003448 ¡ 0.95 ¡ 19.0000 ¡ 0.0073 ¡ 0.007252 ¡ 0.99 ¡ 99.0000 ¡ 0.0381 ¡ 0.036666 ¡

This ¡table ¡shows ¡how ¡ pre-­‑test ¡p(F) ¡is ¡ ¡ changed ¡by ¡LR. ¡ ¡ p(F) ¡changes ¡from ¡ ¡ .4 ¡to ¡.0003. ¡ ¡

Things ¡that ¡doctors ¡say ¡in ¡their ¡reports ¡

Too ¡much ¡informa-on: ¡ ¡ ¡ Problems ¡when ¡using ¡mul-ple ¡malingering ¡tests ¡ ¡

“None ¡of ¡these ¡scores ¡are ¡posi-ve” ¡probably ¡ means ¡none ¡of ¡the ¡obtained ¡scores, ¡embedded ¡

• r ¡free-­‑standing, ¡were ¡posi-ve. ¡

¡ Didn’t ¡say—”showed ¡excellent ¡effort ¡on ¡ ¡ all ¡tests ¡of ¡effort.” ¡

Currently, ¡it ¡is ¡standard ¡for ¡neuropsychologist ¡to ¡evaluate ¡feigning ¡ ¡ by ¡use ¡of ¡certain ¡tests ¡in ¡legal ¡cases ¡in ¡which ¡something ¡is ¡to ¡be ¡ ¡ gained ¡from ¡being ¡found ¡impaired. ¡ ¡The ¡cut-­‑offs ¡for ¡these ¡tests ¡are ¡ ¡ designed ¡to ¡be ¡more ¡specific ¡than ¡sensi-ve. ¡ ¡This ¡means ¡that ¡some ¡ ¡ persons ¡who ¡are ¡exaggera-ng ¡or ¡fabrica-ng ¡cogni-ve ¡impairment ¡ ¡ may ¡pass ¡some ¡or ¡even ¡all ¡of ¡these ¡measures. ¡ ¡In ¡contract, ¡persons ¡ ¡ who ¡give ¡good ¡effort ¡almost ¡always ¡perform ¡normally. ¡ ¡None ¡of ¡ ¡ these ¡scores ¡are ¡posi-ves. ¡

P(F) ¡> ¡50% ¡? ¡

His ¡current ¡Omission ¡Score ¡on ¡the ¡CPT-­‑II ¡is ¡seen ¡in ¡10% ¡ ¡

• f ¡concussion ¡pa-ents ¡and ¡in ¡only ¡4% ¡of ¡persons ¡with ¡ ¡

moderate ¡to ¡severe ¡TBI ¡who ¡are ¡not ¡feigning. ¡ ¡The ¡ ¡ probability ¡that ¡the ¡Omission ¡Score ¡was ¡produced ¡ ¡ by ¡someone ¡who ¡is ¡feigning ¡is ¡greater ¡than ¡50%. ¡

Same ¡report, ¡next ¡paragraph ¡

P(F) ¡> ¡94% ¡? ¡

Which ¡is ¡it, ¡and ¡is ¡it ¡okay ¡to ¡go ¡through ¡ your ¡report ¡piecemeal ¡and ¡provide ¡ several ¡varying ¡es-mates ¡of ¡p(F)? ¡

Eight ¡scores ¡were ¡examined. ¡ ¡Four ¡scores ¡were ¡lower ¡ ¡ than ¡those ¡produced ¡by ¡persons ¡with ¡evidence ¡of ¡ ¡ invalid ¡performance. ¡ ¡The ¡probability ¡of ¡this ¡result ¡ ¡

• ccurring ¡in ¡a ¡sample ¡with ¡objec-ve ¡evidence ¡of ¡

valid ¡performance ¡is ¡less ¡than ¡6%. ¡

Seven ¡posi-ve ¡scores ¡on ¡faking ¡tests ¡

To ¡get ¡p(F) ¡= ¡.99, ¡doctor ¡started ¡with ¡p(F) ¡= ¡.4, ¡and ¡then ¡chained ¡seven ¡LR+ ¡ LR+ ¡* ¡LR+ ¡* ¡LR+ ¡* ¡LR+ ¡* ¡LR+ ¡* ¡LR+ ¡* ¡LR+ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡p(F) ¡= ¡.99 ¡

….he ¡failed ¡mul-ple ¡performance ¡validity ¡tests, ¡including ¡the ¡ Rey ¡15-­‑Item ¡recogni-on ¡test, ¡the ¡Rey ¡Word ¡list, ¡the ¡Word ¡ Choice ¡Test, ¡the ¡Logical ¡Memory ¡II ¡Recogni-on, ¡Verbal ¡Paired ¡ Associates ¡II ¡Recogni-on, ¡AVLT ¡regression ¡equa-on, ¡and ¡failure ¡ to ¡maintain ¡set ¡on ¡the ¡Wisconsin ¡Card ¡Sor-ng ¡Test. ¡ ¡Chaining ¡ the ¡likelihood ¡ra-os ¡associated ¡with ¡these ¡performances ¡yields ¡ a ¡probability ¡of ¡feigning ¡exceeding ¡.99. ¡ ¡ ¡ ¡

post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡

LR1

• ­‑ ¡

LR2

+ ¡

LR3

+ ¡

LR4

• ­‑ ¡

LRn

+ ¡

LR4

• ­‑ ¡

LR4

+ ¡

LR3

• ­‑ ¡

LR3

+ ¡

LR2

• ­‑ ¡

LR2

+ ¡

LR1

• ­‑ ¡

LR1

+ ¡

LRn

• ­‑ ¡

LRn

+ ¡

“Chaining ¡likelihood ¡ra-os” ¡ But, ¡this ¡is ¡what ¡is ¡supposed ¡to ¡happen: ¡

Pre-­‑test ¡P ¡ Pretest ¡odds ¡ Posmest ¡odds ¡ (mul-ply ¡pre-­‑test ¡

• dds ¡by ¡LR) ¡

Posmest ¡p ¡ 0.01 ¡ 0.0101 ¡ 0.0000 ¡ 0.000004 ¡ 0.02 ¡ 0.0204 ¡ 0.0000 ¡ 0.000008 ¡ 0.05 ¡ 0.0526 ¡ 0.0000 ¡ 0.000020 ¡ 0.1 ¡ 0.1111 ¡ 0.0000 ¡ 0.000043 ¡ 0.2 ¡ 0.2500 ¡ 0.0001 ¡ 0.000096 ¡ 0.3 ¡ 0.4286 ¡ 0.0002 ¡ 0.000165 ¡ 0.4 ¡ 0.6667 ¡ 0.0003 ¡ 0.000256 ¡ 0.5 ¡ 1.0000 ¡ 0.0004 ¡ 0.000384 ¡ 0.6 ¡ 1.5000 ¡ 0.0006 ¡ 0.000576 ¡ 0.7 ¡ 2.3333 ¡ 0.0009 ¡ 0.000896 ¡ 0.8 ¡ 4.0000 ¡ 0.0015 ¡ 0.001535 ¡ 0.9 ¡ 9.0000 ¡ 0.0035 ¡ 0.003448 ¡ 0.95 ¡ 19.0000 ¡ 0.0073 ¡ 0.007252 ¡ 0.99 ¡ 99.0000 ¡ 0.0381 ¡ 0.036666 ¡

You ¡have ¡to ¡chain ¡ALL ¡the ¡tests ¡given ¡ that ¡can ¡be ¡used ¡to ¡classify ¡feigning. ¡ ¡ In ¡this ¡case, ¡there ¡were ¡24 ¡such ¡tests. ¡ ¡ The ¡clinician ¡only ¡chained ¡the ¡tests ¡that ¡ ¡ were ¡posi-ve. ¡ ¡ I ¡chained ¡all ¡the ¡tests, ¡both ¡LR+ ¡and ¡LR-­‑. ¡ ¡ LR ¡= ¡0.000384456 ¡ ¡ ¡ Using ¡p(F) ¡= ¡.4, ¡I ¡computed ¡post-­‑test ¡ p(F) ¡= ¡.0003. ¡ ¡ The ¡case ¡semled ¡within ¡a ¡week. ¡

Probability of being a faker when given 5 faking tests Larrabee (2008) Recalculation Simulation One positive score 80% to 84% 10% to 31% 20% Two positive scores 94% to 97% 57% to 86% 76% Three positive scores 99% to 99.5% 93% to 99% 97%

Here’s ¡what ¡Larrabee ¡did: ¡ ¡ For ¡one ¡posi-ve ¡score, ¡he ¡computed ¡LR+, ¡given ¡the ¡Se ¡and ¡Sp ¡of ¡the ¡test ¡that ¡was ¡posi-ve. ¡ ¡ For ¡two ¡posi-ve ¡scores, ¡he ¡chained ¡LR+ ¡* ¡LR+, ¡given ¡Se ¡and ¡Sp ¡of ¡the ¡tests ¡that ¡were ¡ posi-ve. ¡ ¡ For ¡three ¡posi-ve ¡scores, ¡he ¡chained ¡LR+ ¡* ¡LR+ ¡* ¡LR+ ¡ Some ¡neuropsychologists ¡are ¡ ¡ basing ¡their ¡chaining ¡methods ¡

• n ¡this ¡Larrabee ¡(2008) ¡ar-cle ¡

Probability of being a faker when given 5 faking tests Larrabee (2008) Recalculation Simulation One positive score 80% to 84% 10% to 31% 20% Two positive scores 94% to 97% 57% to 86% 76% Three positive scores 99% to 99.5% 93% to 99% 97%

Here’s ¡how ¡Larrabee ¡should ¡have ¡chained ¡(what ¡I ¡call ¡“recalcula-on” ¡above): ¡ ¡ For ¡one ¡posi-ve ¡score, ¡LR+ ¡* ¡LR-­‑ ¡* ¡LR-­‑ ¡* ¡LR-­‑ ¡* ¡LR-­‑ ¡ ¡ For ¡two ¡posi-ve ¡scores, ¡LR+ ¡* ¡LR+ ¡* ¡LR-­‑ ¡* ¡LR-­‑ ¡* ¡LR-­‑ ¡ ¡ For ¡three ¡posi-ve ¡scores, ¡LR+ ¡* ¡LR+ ¡* ¡LR+ ¡* ¡LR-­‑ ¡* ¡LR-­‑ ¡

Just ¡a ¡limle ¡math ¡

Decision ¡point ¡on ¡test ¡score ¡ False ¡posi-ves ¡

• r ¡false ¡alarms ¡

Call ¡all ¡of ¡these ¡below ¡the ¡ decision ¡point ¡“Fakers” ¡ Call ¡all ¡of ¡these ¡above ¡the ¡ decision ¡point ¡“Not ¡Faking” ¡ Misses ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Low ¡Test ¡Scores ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡High ¡Test ¡Scores ¡ Hits, ¡or ¡true ¡posi-ves ¡ TPR ¡ FPR ¡

Decision ¡point ¡on ¡test ¡score ¡ False ¡posi-ves ¡

• r ¡false ¡alarms ¡

Call ¡all ¡of ¡these ¡below ¡the ¡ decision ¡point ¡“Fakers” ¡ Call ¡all ¡of ¡these ¡above ¡the ¡ decision ¡point ¡“Not ¡Faking” ¡ Misses ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Low ¡Test ¡Scores ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡High ¡Test ¡Scores ¡ Hits, ¡or ¡true ¡posi-ves ¡

TPR ¡ FPR ¡ TOMM ¡ Cut ¡score: ¡< ¡45 ¡Trial ¡2 ¡ TPR ¡= ¡.48, ¡FPR ¡= ¡.02 ¡ Source: ¡Greve, ¡Ord ¡et ¡al. ¡

LR+ ¡ ¡ ¡= ¡

.48 24 .02 = =

A ¡posi-ve ¡score ¡increases ¡pre-­‑test ¡odds ¡by ¡a ¡mul-plier ¡of ¡24 ¡

I ¡know ¡the ¡rates ¡of ¡the ¡two ¡groups ¡in ¡which ¡I ¡work ¡ ¡ ¡ If ¡40% ¡of ¡the ¡people ¡we ¡evaluate ¡are ¡feigning, ¡p(F) ¡= ¡.4 ¡ ¡ ¡ The ¡odds ¡of ¡feigning ¡are ¡ ¡ ¡ ¡ For ¡every ¡2 ¡+ ¡3 ¡examinees, ¡2 ¡are ¡faking, ¡ ¡ 3 ¡are ¡not. ¡ ¡ p(F) ¡= ¡.4 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡odds ¡are ¡2/3; ¡ ¡ these ¡are ¡equivalent ¡statements. ¡

.4 .4 2 .67 1 .4 .6 3 = = = −

←⎯ →

.4 ¡ .67 ¡

.48 .02

16.08 ¡

16.08 16.08 1 +

.941 ¡ Compute ¡LR+ ¡when ¡Trial ¡2 ¡< ¡45 ¡on ¡TOMM ¡

p(F) ¡ pre-­‑test ¡ pre-­‑test ¡

• dds ¡

LR+ ¡ post-­‑test ¡

• dds ¡

* ¡

= ¡

Conver-ng ¡

• dds ¡to ¡prob ¡

is ¡easy ¡enough ¡ post-­‑test ¡p(F) ¡is ¡ the ¡posi-ve ¡ predic-ve ¡power ¡ ¡

• f ¡TOMM ¡when ¡

score ¡is ¡posi-ve ¡ ¡ ¡ TPR ¡= ¡.48 ¡ FPR ¡= ¡.02 ¡ pre-­‑test ¡p(F) ¡= ¡.4 ¡ ¡ PPP ¡= ¡.94 ¡

A ¡posi-ve ¡score ¡really ¡builds ¡our ¡confidence ¡about ¡p(F). ¡ ¡ Do ¡we ¡really ¡need ¡another ¡test? ¡

.4 ¡ .67 ¡

1 .48 1 .02 − −

.353 ¡

.353 .353 1 +

.261 ¡ Compute ¡LR-­‑ ¡when ¡Trial ¡2 ¡> ¡45 ¡on ¡TOMM ¡

p(F) ¡ pre-­‑test ¡ pre-­‑test ¡

• dds ¡

LR+ ¡ post-­‑test ¡

• dds ¡

* ¡

= ¡

Conver-ng ¡

• dds ¡to ¡prob ¡

is ¡easy ¡enough ¡ post-­‑test ¡p(F) ¡= ¡.26 ¡ p(not ¡F) ¡= ¡1 ¡-­‑ ¡.26 ¡ ¡ p(not ¡F) ¡= ¡.74 ¡ NPP ¡= ¡.74 ¡ ¡ TPR ¡= ¡.48 ¡ FPR ¡= ¡.02 ¡ ¡pre-­‑test ¡p(F) ¡= ¡.4 ¡ ¡ NPP ¡= ¡.74 ¡

A ¡nega-ve ¡score ¡doesn’t ¡change ¡p(F) ¡much ¡at ¡all. ¡ ¡ Maybe ¡we ¡need ¡another ¡test? ¡

TPR ¡= ¡.48 ¡ FPR ¡= ¡.02 ¡ p(F) ¡= ¡.4 ¡ NPP ¡= ¡.74 ¡ PPP ¡= ¡.94 ¡ p(F) ¡= ¡.4 ¡ When ¡p(F) ¡= ¡.4, ¡ ¡

• nly ¡20% ¡of ¡scores ¡will ¡ ¡

be ¡posi-ve—because ¡TPR ¡is ¡only ¡about ¡50% ¡ and ¡FPR ¡is ¡negligible. ¡

Simula-on ¡by ¡Excel ¡

0.00 ¡ 0.05 ¡ 0.10 ¡ 0.15 ¡ 0.20 ¡ 0.25 ¡ 0.30 ¡ 0.35 ¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ Probability ¡of ¡Observing ¡Score ¡ ¡ by ¡“Faking” ¡ ¡ Number ¡of ¡Posi-ve ¡Scores ¡out ¡of ¡24 ¡Tests ¡ Non-­‑Fakers ¡ Fakers ¡

It ¡doesn’t ¡mamer ¡what ¡the ¡BR ¡is. ¡ ¡The ¡ distribu-ons ¡of ¡probabili-es ¡of ¡observing ¡ scores, ¡given ¡group ¡membership, ¡will ¡always ¡ ¡ look ¡like ¡this ¡for ¡these ¡24 ¡tests ¡and ¡cut ¡scores. ¡

This ¡is ¡a ¡slide ¡I ¡presented ¡ at ¡a ¡Daubert ¡hearing ¡azer ¡ a ¡neuropsychologist ¡claimed ¡ there ¡was ¡“probable ¡ neurocogni-ve ¡malingering” ¡ ¡ based ¡on ¡two ¡posi-ve ¡scores. ¡ ¡ The ¡neuropsychologist ¡was ¡ ¡ allowed ¡to ¡tes-fy ¡about ¡ ¡ impairment, ¡but ¡was ¡not ¡ ¡ allowed ¡to ¡offer ¡any ¡opinions ¡ about ¡malingering. ¡

This ¡is ¡a ¡slide ¡I ¡presented ¡ at ¡a ¡Daubert ¡hearing ¡azer ¡ a ¡neuropsychologist ¡claimed ¡ there ¡was ¡“probable ¡ neurocogni-ve ¡malingering” ¡ ¡ based ¡on ¡two ¡posi-ve ¡scores. ¡ ¡ The ¡neuropsychologist ¡was ¡ ¡ allowed ¡to ¡tes-fy ¡about ¡ ¡ impairment, ¡but ¡was ¡not ¡ ¡ allowed ¡to ¡offer ¡any ¡opinions ¡ about ¡malingering. ¡

5% ¡FP ¡error ¡rate ¡ ¡à à ¡

What ¡is ¡the ¡probability ¡of ¡ge{ng ¡at ¡least ¡one ¡false ¡posi-ve ¡score ¡ ¡ When ¡giving ¡23 ¡malingering ¡tests ¡to ¡non-­‑fakers? ¡ ¡ This ¡is ¡the ¡family-­‑wise ¡error ¡rate, ¡which ¡is ¡calculated ¡as ¡ ¡ 1 ¡– ¡[(1 ¡– ¡FPR1) ¡* ¡(1 ¡– ¡FPR2)*…*(1 ¡– ¡FPRn)] ¡ ¡ The ¡accumula-on ¡of ¡alpha-­‑wise ¡error ¡is ¡why ¡post-­‑hoc ¡tests ¡are ¡ conducted ¡at ¡some ¡value ¡of ¡alpha ¡< ¡.05 ¡

In ¡neuropsychology, ¡the ¡“Slick ¡criteria” ¡are ¡ozen ¡used ¡to ¡diagnose ¡malingering. ¡ ¡One ¡or ¡ ¡ two ¡posi-ve ¡scores ¡is ¡enough ¡to ¡say ¡“possible” ¡or ¡“probable” ¡“malingered ¡ ¡ neurocogni-ve ¡impairment. ¡ ¡Is ¡COUNTING ¡a ¡fair ¡approach? ¡

True ¡Nega-ve ¡Rate ¡ False ¡Posi-ve ¡Rate ¡

“None ¡of ¡these ¡scores ¡are ¡posi-ve” ¡probably ¡ means ¡none ¡of ¡the ¡obtained ¡scores, ¡embedded ¡

• r ¡free-­‑standing, ¡were ¡posi-ve. ¡

¡ Didn’t ¡say—”showed ¡excellent ¡effort ¡on ¡ ¡ all ¡tests ¡of ¡effort.” ¡

Currently, ¡it ¡is ¡standard ¡for ¡neuropsychologist ¡to ¡evaluate ¡feigning ¡ ¡ by ¡use ¡of ¡certain ¡tests ¡in ¡legal ¡cases ¡in ¡which ¡something ¡is ¡to ¡be ¡ ¡ gained ¡from ¡being ¡found ¡impaired. ¡ ¡The ¡cut-­‑offs ¡for ¡these ¡tests ¡are ¡ ¡ designed ¡to ¡be ¡more ¡specific ¡than ¡sensi-ve. ¡ ¡This ¡means ¡that ¡some ¡ ¡ persons ¡who ¡are ¡exaggera-ng ¡or ¡fabrica-ng ¡cogni-ve ¡impairment ¡ ¡ may ¡pass ¡some ¡or ¡even ¡all ¡of ¡these ¡measures. ¡ ¡In ¡contract, ¡persons ¡ ¡ who ¡give ¡good ¡effort ¡almost ¡always ¡perform ¡normally. ¡ ¡None ¡of ¡ ¡ these ¡scores ¡are ¡posi-ves. ¡

.4 ¡ .67 ¡

1 .48 1 .02 − −

.353 ¡

.353 .353 1 +

.261 ¡ Compute ¡LR-­‑ ¡when ¡Trial ¡2 ¡> ¡45 ¡on ¡TOMM ¡

p(F) ¡ pre-­‑test ¡ pre-­‑test ¡

• dds ¡

LR+ ¡ post-­‑test ¡

• dds ¡

* ¡

= ¡

Conver-ng ¡

• dds ¡to ¡prob ¡

is ¡easy ¡enough ¡ post-­‑test ¡p(F) ¡= ¡.26 ¡ p(not ¡F) ¡= ¡1 ¡-­‑ ¡.26 ¡ ¡ p(not ¡F) ¡= ¡.74 ¡ NPP ¡= ¡.74 ¡ ¡ TPR ¡= ¡.48 ¡ FPR ¡= ¡.02 ¡ ¡pre-­‑test ¡p(F) ¡= ¡.4 ¡ ¡ NPP ¡= ¡.74 ¡

A ¡nega-ve ¡score ¡doesn’t ¡change ¡p(F) ¡much ¡at ¡all. ¡ ¡ Maybe ¡we ¡need ¡another ¡test? ¡

There ¡are ¡many ¡tests ¡

Stand-­‑alone ¡tests ¡

¡ Validity ¡Indicator ¡Profile—I ¡get ¡a ¡royalty ¡from ¡this ¡test ¡ Test ¡of ¡Memory ¡Malingering ¡ Victoria ¡Symptom ¡Validity ¡Test ¡ b ¡Test ¡ Dot ¡Coun-ng ¡ Rey ¡15-­‑Item ¡Memory ¡Test ¡ ¡ Rey ¡15-­‑Item ¡Recogni-on ¡Test ¡ Rey ¡Word ¡Recogni-on ¡Test ¡ Structured ¡Inventory ¡of ¡Malingered ¡Symptomatology ¡ CompAss ¡(Longoñes, ¡in ¡press) ¡ Word ¡Memory ¡Test ¡ Medical ¡Symptom ¡Validity ¡Test ¡ Non-­‑Verbal ¡Medical ¡Symptom ¡Validity ¡Test ¡

Embedded ¡“tests ¡of ¡effort” ¡

¡ Digit ¡Span ¡ ¡ ¡ ¡ ¡Trail ¡Making ¡Test ¡ Seashore ¡Rhythm ¡Test ¡ ¡ ¡Speech ¡Sounds ¡Percep-on ¡Test ¡ Conner’s ¡Con1nuous ¡Performance ¡ ¡ ¡Finger ¡Tapping ¡Test ¡ Visual ¡Form ¡Discrimina-on ¡ ¡ ¡Judgment ¡of ¡Line ¡Orienta-on ¡ Benton ¡Visual ¡Organiza-on ¡Test ¡ ¡Rey ¡Complex ¡Figure ¡Test ¡ Hooper ¡Visual ¡Organiza-on ¡Test ¡ ¡Wisconsin ¡Card ¡Sor1ng ¡Test ¡ Booklet ¡Category ¡Test ¡ ¡ ¡ ¡Controlled ¡Oral ¡Word ¡Test ¡ Rey ¡Auditory ¡Verbal ¡Learning ¡Test ¡ ¡California ¡Verbal ¡Learning ¡Test ¡ Recogni-on ¡Memory ¡Test ¡ ¡ ¡Halstead-­‑Reitan ¡Bamery ¡ Advanced ¡Clinical ¡Systems ¡ ¡ ¡WMS-­‑III ¡ WAIS-­‑IV ¡ ¡ ¡ Italicized ¡tests ¡have ¡many ¡iden-fied ¡embedded ¡“tests ¡of ¡effort” ¡

¡ ¡

Re-­‑evalua-ng ¡our ¡assump-ons ¡

(3) ¡Valid ¡tests ¡exist ¡that ¡classify ¡the ¡ two ¡groups ¡with ¡known ¡error ¡rates ¡ ¡

¡ Here ¡are ¡rates ¡reported ¡by ¡Larrabee ¡ (2003) ¡about ¡“Failure ¡to ¡Maintain ¡Set” ¡on ¡the ¡ ¡ Wisconsin ¡Card ¡Sor-ng ¡Test. ¡ ¡ FMS ¡> ¡1 ¡ ¡ TPR: ¡ ¡48% ¡ FPR: ¡ ¡13% ¡ ¡ ¡!! ¡

The ¡“real” ¡rates ¡are ¡somewhere ¡in ¡between: ¡ ¡ TPR: ¡ ¡reported: ¡ ¡48% ¡ ¡ ¡ ¡actual: ¡ ¡28% ¡to ¡68% ¡ ¡ FPR: ¡ ¡reported: ¡ ¡13% ¡ ¡ ¡ ¡actual: ¡ ¡1% ¡to ¡25% ¡

This ¡problem ¡occurs ¡because ¡Larrabee ¡used ¡such ¡a ¡ small ¡sample ¡es-mate ¡these ¡rates: ¡ ¡nmal ¡= ¡26; ¡ncom ¡= ¡31 ¡

Problem: ¡ ¡We ¡don’t ¡really ¡prac-ce ¡good ¡science ¡when ¡it ¡ ¡ comes ¡to ¡es-ma-ng ¡test ¡classifica-on ¡rates. ¡ ¡ Researchers ¡do ¡not ¡try ¡to ¡establish ¡point ¡es-mates ¡of ¡ ¡ TPR ¡and ¡FPR ¡and ¡inves-gate ¡those ¡point ¡es-mates ¡with ¡ subsequent ¡studies. ¡ ¡

Instead ¡Researcher ¡A ¡publishes ¡TPR ¡and ¡FPR, ¡and ¡ ¡ Researcher ¡B ¡publishes ¡new ¡values ¡for ¡TPR ¡and ¡FPR, ¡ and ¡Researcher ¡C ¡reports ¡the ¡ranges ¡of ¡A ¡and ¡B ¡and ¡ then ¡reports ¡new ¡values. ¡ ¡ ¡ ¡ AND ¡most ¡ozen ¡they ¡fail ¡to ¡even ¡report ¡on ¡previously ¡ used ¡cut ¡scores. ¡ ¡ ¡ You ¡cannot ¡find ¡more ¡than ¡a ¡handful ¡of ¡ar-cles, ¡for ¡ ¡ example, ¡on ¡the ¡TPR ¡and ¡FRP ¡for ¡MMPI-­‑2 ¡F ¡scores ¡that ¡ report ¡the ¡TPR ¡and ¡FPR ¡for ¡the ¡same ¡cut ¡score. ¡

• ­‑4 ¡

• source. ¡ ¡If ¡the ¡source ¡was ¡not ¡made ¡clear ¡by ¡the ¡clinician, ¡I ¡chose ¡the ¡source. ¡ ¡Values ¡of ¡

• r ¡firm. ¡ ¡But ¡they ¡are ¡the ¡values ¡reported. ¡ ¡LR+ ¡is ¡the ¡increase ¡in ¡likelihood ¡of ¡

• ther. ¡ ¡LR-­‑ ¡is ¡all ¡the ¡LR-­‑'s ¡muli-pled ¡by ¡each ¡other. ¡ ¡LR ¡is ¡LR+ ¡* ¡LR-­‑. ¡ ¡In ¡the ¡table ¡

• ­‑ ¡pretest ¡probability], ¡and ¡should ¡be ¡read, ¡for ¡example, ¡4:1 ¡or ¡4 ¡to ¡1. ¡ ¡The ¡post-­‑test ¡odds ¡

• FPR. ¡ ¡LR-­‑ ¡= ¡[1 ¡-­‑ ¡TPR]/[1 ¡-­‑ ¡FPR]. ¡

A ¡single ¡Excel ¡ worksheet ¡to ¡ do ¡all ¡these ¡ computa-ons. ¡ ¡ All ¡that ¡you ¡ need ¡do ¡is ¡to ¡ choose ¡ ¡ the ¡cut ¡scores ¡ for ¡your ¡tests, ¡ supply ¡the ¡Se ¡ and ¡Sp, ¡and ¡ indicate ¡ ¡ whether ¡the ¡ ¡

• bserved ¡score ¡

is ¡a ¡Pass ¡or ¡a ¡

• Fail. ¡

From ¡Schroeder ¡et ¡al. ¡2012. ¡

It ¡would ¡be ¡most ¡helpful ¡if ¡ ¡ researchers ¡would ¡follow ¡ ¡ the ¡pamern ¡of ¡Greve ¡and ¡ ¡ Bianchini ¡ ¡et ¡al. ¡and ¡report ¡ ¡ the ¡distribu-ons ¡of ¡scores ¡ ¡ by ¡groups. ¡ ¡ This ¡allows ¡the ¡simultaneous ¡ evalua-on ¡of ¡mul-ple ¡cut ¡scores. ¡ ¡

Assump-on ¡2 ¡ ¡ The ¡local ¡base ¡rates ¡of ¡the ¡two ¡groups ¡are ¡known ¡ (or ¡reasonably ¡es-mated) ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ .00 ¡ .05 ¡ .10 ¡ .15 ¡ .20 ¡ .25 ¡ .30 ¡ .35 ¡ .40 ¡ .45 ¡ .50 ¡ .55 ¡ .60 ¡ .65 ¡ .70 ¡ .75 ¡ .80 ¡ .85 ¡ .90 ¡ .95 ¡ 1.00 ¡

Propor-on ¡Posi-ve ¡Scores ¡on ¡Classifica-on ¡ Test ¡ Base ¡Rate ¡of ¡Condi-on ¡

The ¡Test ¡Valida-on ¡Summary ¡

NPP ¡ PPP ¡ Propor-on ¡Posi-ve ¡Scores ¡

FPR = .10 TPR = .80 You ¡review ¡your ¡records ¡and ¡ ¡ determine ¡that ¡40% ¡of ¡your ¡ ¡ pa-ents ¡have ¡a ¡posi-ve ¡score ¡ ¡ when ¡the ¡score ¡has ¡FPR ¡= ¡.10 ¡ ¡ and ¡TPR ¡= ¡.80. ¡ ¡ From ¡the ¡TVS, ¡you ¡see ¡that ¡this ¡ ¡ corresponds ¡to ¡a ¡BR ¡= ¡.43. ¡ ¡You ¡see ¡ ¡ that ¡in ¡your ¡clinic, ¡the ¡PPP ¡for ¡a ¡ ¡ posi-ve ¡score ¡is ¡.86 ¡and ¡the ¡NPP ¡ ¡ for ¡a ¡nega-ve ¡score ¡is ¡.86. ¡

Assump-on ¡1: ¡ ¡ There ¡are ¡two ¡groups ¡

The ¡counterargument ¡is ¡that ¡there ¡are ¡more ¡than ¡two ¡groups. ¡ ¡ ¡ ¡ A ¡“lack ¡of ¡effort” ¡is ¡expected ¡from ¡persons ¡who ¡are ¡depressed ¡and ¡amo-va-onal. ¡ ¡ Construct ¡valida-on ¡of ¡instruments ¡is ¡key. ¡