Measuring what counts: Developing scales of Connectedness, - - PowerPoint PPT Presentation

Measuring ¡what ¡counts: ¡Developing ¡ scales ¡of ¡Connectedness, ¡Empowerment, ¡ and ¡Meaning ¡in ¡the ¡Non-­‑Cognitive ¡ Domain ¡ ¡

Presented ¡by ¡Brent ¡Duckor, ¡Ph.D. ¡ Josh ¡Sussman, ¡Ph.D. ¡Candidate ¡ ¡ With ¡thanks ¡to ¡Xialou ¡Hu, ¡Ph.D., ¡Cara ¡ Maf@ini, ¡Ph.D. ¡and ¡Lorri ¡Capizzi, ¡Ed.D. ¡ ¡

BEAR ¡Seminar ¡ Berkeley, ¡CA ¡ October ¡4, ¡2016 ¡

What ¡comes ¡to ¡mind… ¡

NCO

Farrington ¡et ¡al., ¡2012 ¡

Non-­‑ cognitive

• utcomes ¡

Academic ¡ behaviors ¡ Academic ¡ perseverance ¡ Academic ¡ mindset ¡ Learning ¡ strategies ¡ Social ¡skills ¡

Grit, ¡Tenacity, ¡Delayed ¡Grati@ication, ¡ Self-­‑Discipline, ¡Self-­‑Control ¡ Belonging, ¡Self-­‑Ef@icacy, ¡ Goal ¡Orientation, ¡Value ¡ Study ¡Skills, ¡Metacognitive ¡Strategies, ¡ Self-­‑Regulated ¡Learning, ¡Goal ¡Setting ¡ Interpersonal ¡Skills, ¡Empathy, ¡ Cooperation, ¡Assertion, ¡Responsibility ¡ Attendance, ¡Completing ¡Work, ¡ Organization, ¡Participation, ¡Studying ¡

Chicago ¡Consortium ¡report ¡says ¡

Academic ¡ Behaviors ¡ Academic ¡ Perseverance ¡ Academic ¡ Mindsets ¡ Learning ¡ Strategies ¡ Social ¡ Skills ¡

So ¡why ¡NCOs? ¡

• Academic ¡success ¡is ¡more ¡than ¡cognitive ¡achievement ¡
• Academic ¡success ¡is ¡facilitated ¡by ¡non-­‑cognitive ¡
• utcomes ¡such ¡as ¡self-­‑awareness, ¡self-­‑ef@icacy, ¡

perseverance, ¡ability ¡to ¡form ¡meaningful ¡relationships, ¡ self-­‑control, ¡meta-­‑cognition ¡(Blackwell ¡et ¡al., ¡2007; ¡ Duckworth ¡& ¡Seligman, ¡2005); ¡Good, ¡Aronson, ¡& ¡ Inzlicht, ¡2003; ¡Oyserman, ¡Terry, ¡& ¡Bybee, ¡2002; ¡Walton ¡ & ¡Cohen, ¡2007) ¡

• Development ¡of ¡these ¡qualities ¡in ¡childhood ¡impacts ¡
• utcomes ¡in ¡labor ¡market ¡in ¡adulthood ¡(Heckman, ¡

2008) ¡

• Predictors ¡of ¡post-­‑secondary ¡success ¡(Hein, ¡Smerdon, ¡& ¡

Sambolt, ¡2013) ¡

Context ¡for ¡Measuring: ¡ GEAR ¡UP ¡ ¡

Counselor ¡ educators ¡

Xiaolu ¡Hu ¡ ¡ Dolores ¡Mena ¡ ¡ Lorri ¡Capizzi ¡

Measurement ¡ consultants ¡

Brent ¡Duckor ¡ Cara ¡MafUini ¡ Josh ¡Sussman ¡

University ¡and ¡ school-­‑based ¡ program ¡staff ¡ (GU ¡alums ¡+) ¡

Edgar ¡Martinez ¡

Program ¡ evaluator ¡

Carolyn ¡Huie ¡Hofstetter ¡

SJSU’s ¡GEAR ¡UP ¡Mission: ¡

Connecting ¡kids, ¡Creating ¡meaning ¡and ¡ empowering ¡“at ¡risk” ¡students ¡on ¡the ¡path ¡ toward ¡College ¡and ¡Career ¡Readiness ¡

Counselor ¡Education ¡Training ¡Model ¡

• The ¡San ¡Jose ¡State ¡Counselor ¡Education ¡training ¡model ¡is ¡designed ¡

to ¡build ¡capacity ¡in ¡the ¡@ield ¡

• New ¡counselors ¡gain ¡experience ¡by ¡providing ¡services ¡to ¡GEAR ¡UP ¡

middle ¡and ¡high ¡school ¡students ¡

• Faculty ¡from ¡Counselor ¡Education ¡provide ¡supervision ¡and ¡

professional ¡guidance ¡ ¡

• The ¡program ¡employs ¡humanistic ¡therapies ¡that ¡focus ¡on ¡self–

development, ¡growth, ¡and ¡responsibility ¡

• The ¡program ¡centers ¡on ¡building ¡social ¡capital ¡and ¡resiliency ¡
• Counselors ¡work ¡with ¡students ¡to ¡recognize ¡their ¡strengths, ¡

potential, ¡self-­‑worth, ¡creative ¡abilities, ¡and ¡the ¡choices ¡available ¡to ¡ them ¡in ¡the ¡“here ¡and ¡now” ¡

¡

SJSU ¡GEAR ¡UP ¡results ¡by ¡2015 ¡

Served ¡over ¡3,100 ¡students ¡and ¡families ¡

∗ 91% ¡of ¡GEAR ¡UP ¡students ¡graduated ¡from ¡high ¡school ¡ ∗ 85% ¡of ¡GEAR ¡UP ¡students ¡applied ¡to ¡postsecondary ¡

education ¡

∗ 4-­‑year ¡college ¡eligibility ¡and ¡acceptance ¡rates: ¡

Ø 44% ¡UC/CSU ¡A-­‑G ¡eligible ¡ Ø 33% ¡accepted ¡to ¡4-­‑year ¡colleges/universities ¡

¡

Is ¡there ¡more ¡than ¡meets ¡the ¡eye? ¡

Indicators ¡that ¡ ¡ tell ¡us ¡about ¡ ¡

∗ % ¡of ¡graduates ¡ ∗ # ¡of ¡services ¡provided ¡ ∗ mean ¡and ¡standard ¡ deviation ¡for ¡self-­‑report ¡ from ¡parents, ¡students, ¡ and ¡staff ¡surveys ¡ ∗ Sensitive, ¡meaningful ¡ and ¡reliable ¡data ¡ ∗ Based ¡on ¡well-­‑de@ined ¡ trajectories ¡ “Progressions” ¡of ¡non-­‑ cognitive ¡capacity ¡and ¡ skill ¡ ∗ Linking ¡formative ¡and ¡ summative ¡“feedback” ¡ for ¡use ¡by ¡local ¡and ¡ national ¡stakeholders ¡ ¡

Measures ¡that ¡ drive ¡changes ¡

Got ¡NCOs? ¡Most ¡people ¡think… ¡

∗ Belonging ¡

–

Social ¡Learning ¡Theory ¡(Bandura, ¡1971)

∗ Self-­‑efUicacy ¡

–

Locus ¡of ¡Control ¡(Rotter, ¡1954) ¡

–

Self-­‑Ef@icacy ¡(Bandura, ¡1982) ¡

–

Attribution ¡Theory ¡(Weiner, 1979)

∗ Perseverance ¡

–

Grit ¡(Duckworth, Peterson, Matthews, & Kelly, 2007)

∗ Goal ¡orientation ¡

–

Goal ¡Theory ¡(Dweck, 1986; Dweck & Leggett (1988)

–

Expectancy-­‑value ¡theory ¡(Eccles ¡et ¡al., ¡1983) ¡

¡

¡

Constructing ¡NCO ¡“Measures” ¡that ¡count ¡ for ¡SJSU ¡GEAR ¡UP ¡stakeholders ¡

∗ We ¡wanted ¡to ¡know ¡more ¡about ¡our ¡students’ ¡

experiences ¡from ¡the ¡inside ¡out ¡

∗ We ¡wondered ¡if ¡we ¡had ¡under-­‑theorized ¡and ¡failed ¡to ¡

capture ¡the ¡richness ¡and ¡meaning ¡of ¡the ¡GU ¡SJSU ¡ program ¡for ¡its ¡counselors ¡and ¡students ¡

∗ We ¡became ¡increasingly ¡curious ¡about ¡NCO’s ¡from ¡

both ¡a ¡traditional ¡and ¡alternative ¡framing ¡

∗ We ¡want ¡smart ¡“hard” ¡and ¡“soft” ¡data ¡that ¡is ¡useful ¡

for ¡our ¡stakeholders ¡and ¡constituents ¡

NCOs ¡that ¡make ¡a ¡difference ¡for ¡the ¡ GEAR ¡UP ¡community ¡

✓ Evidence-­‑based ¡design ¡for ¡new ¡measures ¡of ¡NCO ¡

capacity ¡to ¡complement ¡existing ¡ones ¡

✓ A ¡sharper ¡focus ¡on ¡social ¡capital ¡and ¡empowerment ¡

theory ¡

✓ Innovative ¡NCO ¡“progressions” ¡that ¡link ¡formative ¡

and ¡summative ¡data ¡for ¡programs ¡

✓ A ¡renewed ¡commitment ¡to ¡our ¡students’ ¡“authentic” ¡

experience ¡of ¡“the ¡program” ¡ ¡

✓ Unrelenting ¡commitment ¡to ¡exploration ¡and ¡

discovery ¡of ¡learning, ¡career, ¡and ¡life ¡

NCO ¡ ¡ Construct ¡ Map ¡ NCO ¡ ¡ Items ¡ Design ¡ NCO ¡ ¡ Scoring ¡ Design ¡ ¡ Measurement ¡ Model ¡

Reliability ¡ Validity ¡

NCO ¡ ¡ Construct ¡ Maps ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing… ¡

Connectedness ¡ Empowerment ¡ Meaningfulness ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing ¡

∗ Connectedness

– Theories

• Social capital (Coleman, 1988);
• Social Membership (Wehlage, 1989);
• Social Bonding Theory (Hirschi, 1969)

– Existing measures

• Psychological Sense of Membership

Survey (PSSM; Goodenow, 1993)

• School Attachment (Mouton, Hawkins,

McPherson, & Copley, 1996)

• School Bond (Jenkins, 1997)
• School Connection (Brown & Evans,

2002)

Connectedness ¡ Empowerment ¡ Meaningfulness ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing ¡

∗ Meaningfulness ¡

– Theories ¡ ¡

• Meaning (Frankl, 1963)

– Existing measures

• MLQ

(Steger, Frazier, Osishi, Kaler, 2006)

• Life Regard Index

(LRI; Battista & Almond, 1973)

• Purpose in Life Test

(PIL; Crumbaugh & Maholick, 1964)

Connectedness ¡ Empowerment ¡ Meaningfulness ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing ¡

∗ Empowerment ¡

– Theories ¡ ¡

• Empowerment (Block, 1987)
• Meaningfulness, Competence, Impact,

Choice (Thomas & Velthouse, 1990)

– Existing measures

• Job Empowerment Scale

(Schultz & Shulman, 1993)

• Learner Empowerment Measure

(Frvmier, Shulman, & Houserm, 1996)

• Learner Empowerment Scale

(Martin & Cavanus, 2003)

Connectedness ¡ Empowerment ¡ Meaningfulness ¡

Phase ¡1: ¡Construct ¡Mapping ¡

Empower-­‑ ¡ ment ¡ Connected-­‑ ness ¡ Meaning ¡

Our ¡program ¡experience ¡drove ¡our ¡ deUinition ¡of ¡what ¡matters ¡

What ¡are ¡our ¡program ¡values? ¡

• impact ¡to ¡community ¡(GEAR-­‑UP ¡students, ¡

SJSU ¡students, ¡counselor ¡ed) ¡

• student ¡success ¡
• social-­‑emotional ¡development ¡
• ¡whole ¡child* ¡
• family* ¡ ¡
• positive ¡youth ¡development ¡
• making ¡a ¡difference/social ¡justice ¡
• cultural/social/human/@inancial ¡capital ¡
• support ¡
• citizenship* ¡
• career ¡exploration ¡
• building ¡on ¡strengths* ¡

What ¡are ¡NCOs? ¡

* ¡Traditional ¡-­‑ ¡LOC, ¡self-­‑eff, ¡in/extrinsic ¡motivation, ¡GRIT, ¡ resilience, ¡self-­‑reg, ¡goal ¡orientation ¡ * ¡Contemporary ¡(need ¡to ¡be ¡contextualized) ¡

• family/social/cultural/human ¡capital ¡
• meaningfulness*, ¡empowerment* ¡
• strengths-­‑based/meta-­‑cog ¡mindset* ¡
• self-­‑awareness, ¡self-­‑determination* ¡
• belongingness/connectedness ¡(college ¡environment, ¡

society)* ¡

• identify ¡formation/development* ¡
• social ¡comp, ¡interpersonal ¡relationships, ¡leadership, ¡

collaboration, ¡helping ¡others, ¡altruism, ¡giving ¡back ¡

What ¡is ¡a ¡construct? ¡(outcome ¡not ¡directly ¡observed) ¡ ¡

• “ontological ¡signi@icance ¡of ¡life”, ¡ ¡“coherent ¡life ¡narrative” ¡
• “goal ¡directness ¡or ¡purposefulness”, ¡resiliency, ¡overcoming ¡trauma/dif@iculty ¡
• ¡Self-­‑worth, ¡purpose ¡in ¡life, ¡rede@ining ¡self, ¡transformation, ¡strength ¡building, ¡moving ¡forward ¡

What ¡are ¡measurement ¡possibilities? ¡ ¡(Imagine ¡yourself ¡as ¡a ¡GEAR-­‑UP ¡student….) ¡

• Internal ¡psychological ¡state ¡-­‑ ¡“I ¡feel…”, ¡“I ¡believe…”, ¡“I ¡know…”, ¡“I ¡want….”, ¡“I ¡do…”, ¡“I ¡can….” ¡
• Authentic ¡scenarios, ¡semi-­‑structured ¡interviews/conversations ¡with ¡GEAR-­‑UP ¡students, ¡observations ¡of ¡GEAR-­‑UP ¡in ¡

action, ¡“meaningfulness ¡instrument, ¡Guided ¡script ¡between ¡GEAR-­‑UP ¡counselors, ¡students, ¡etc. ¡

What’s ¡going ¡on ¡with ¡the ¡ construct ¡“Connectedness” ¡

Has ¡a ¡little ¡

Feels ¡very ¡disconnected ¡ Avoids ¡adults ¡ Tends ¡to ¡be ¡bored ¡with ¡ ¡ Ignores ¡opportunities ¡to ¡ “reach ¡out” ¡

Has ¡a ¡lot ¡

Feels ¡very ¡connected ¡ Seeks ¡out ¡teachers, ¡ counselors, ¡etc. ¡ Gets ¡excited ¡by ¡ Anticipates ¡and ¡looks ¡for ¡ experiences ¡to ¡connect ¡

NCO 1.0: Identifying differences

Connectedness ¡ ¡ construct ¡map ¡

NCO 2.0 Construct mapping

I t e m s ¡ t h a t ¡ e l i c i t ¡ d e g r e e s ¡

• f

¡ c

• n

n e c t e d n e s s ¡

Feels ¡ disconnecxted; ¡ avoids ¡adults; ¡ tends ¡to ¡be ¡ easily ¡bored; ¡ ¡ ignores ¡

• pportunities ¡

to ¡reach ¡out ¡ ¡

Responses ¡ indicate ¡ ¡ ¡ ¡ at ¡the ¡ extremes ¡ Responses ¡ indicate ¡ Responses ¡ indicate ¡ Responses ¡ indicate ¡

Feels ¡ connected; ¡ seeks ¡out ¡ counselors, ¡ teachers, ¡staff; ¡ gets ¡excited ¡ by; ¡ ¡looks ¡for ¡ support ¡ networks ¡

Responses ¡ indicate ¡ ¡ ¡ at ¡the ¡ extremes ¡

R e s p

• n

d e n t s ¡ w h

• ¡

a r e ¡ l i k e l y ¡ t

• ¡

f e e l ¡ c

• n

n e c t e d ¡

Progress ¡mapping ¡& ¡ learning ¡trajectories ¡

NCO 3.0 Progress mapping on multi- dimensions

Wilson, 2009

NCO ¡ ¡ Items ¡ Design ¡ NCO ¡ ¡ Scoring ¡ Design ¡ ¡ Measurement ¡ Model ¡ NCO ¡ ¡ Construct ¡ Map ¡

Reliability ¡ Validity ¡

NCO ¡ ¡ Items ¡ Design ¡

Adapted from Duckor, Draney & Wilson, 2009

Phase ¡2: ¡ ¡Designing ¡items ¡

We ¡have ¡lots ¡of ¡tools ¡and ¡choices ¡in ¡ the ¡“item ¡universe” ¡

Surveys ¡ Tasks ¡ Interviews ¡ Observations ¡ Scenarios ¡

Items ¡Design ¡Organizer ¡

Number ¡ Type ¡ Purpose ¡ Use ¡ Notes ¡ 35 ¡items ¡ Survey ¡ Gather ¡self-­‑report ¡ data ¡ Diagnos:c ¡ “lite” ¡ A:tudes ¡v. ¡ percep@ons ¡

• v. ¡beliefs ¡

Interview ¡

¡

Gather ¡expanded ¡ personal ¡ perspec@ves ¡ ¡ ¡ Observa@on ¡ See ¡live/in ¡ac@on ¡to ¡ focus ¡on ¡ enactments ¡ Task ¡ Observe ¡problem ¡ solving, ¡meta-­‑ cogni@ve ¡strategies, ¡

• etc. ¡

¡ ¡ Other ¡

¡

Eye ¡movement ¡and ¡ MRI ¡studies ¡

NCO ¡Survey ¡Instrument ¡

35 ¡items ¡ ¡ ¡ ¡ All ¡Uixed ¡choice ¡ Plus ¡4 ¡Exit ¡survey ¡questions ¡ Meaning ¡= ¡Blue ¡ Connectedness ¡= ¡Green ¡ Empowerment ¡= ¡Yellow ¡

NCO ¡ ¡ Scoring ¡ Design ¡ ¡ NCO ¡ ¡ Items ¡ Design ¡ Measurement ¡ Model ¡ NCO ¡ ¡ Construct ¡ Map ¡

Reliability ¡ Validity ¡

NCO ¡ ¡ Scoring ¡ Design ¡ ¡

Adapted from Duckor, Draney & Wilson, 2009

Phase ¡3: ¡ ¡Coding ¡and ¡scoring ¡outcomes ¡

Making ¡scoring ¡design ¡choices ¡

Categories ¡ Type ¡ Inference ¡ Purpose/ ¡ Use ¡ Notes ¡ dichotomous ¡ yes/no ¡ true/false ¡ Has ¡it ¡or ¡does ¡not ¡ have ¡it ¡ polytomous ¡ Likert-­‑ ¡ Frequency ¡ How ¡oQen ¡it ¡occurs ¡ polytomous ¡ Likert-­‑ ¡ Intensity ¡ How ¡much ¡of ¡it ¡ polytomous ¡ Likert/ ¡

• r ¡GuRman ¡

How ¡difficult ¡to ¡ endorse ¡it ¡ Diagnos@c ¡ “lite” ¡ Forced ¡ choice ¡on ¡4 ¡ point ¡“scale” ¡ polytomous ¡ Coding ¡ themes ¡ ¡ Cross-­‑ ¡ comparison ¡of ¡“it” ¡ Case ¡studies ¡ Retrospec@ve ¡ analysis ¡

Measurement ¡ Model ¡ NCO ¡ ¡ Items ¡ Design ¡ NCO ¡ ¡ Scoring ¡ Design ¡ ¡ NCO ¡ ¡ Construct ¡ Map ¡

Reliability ¡ Validity ¡

Measurement ¡ Model ¡

Adapted from Duckor, Draney & Wilson, 2009

BeneUits ¡of ¡Rasch ¡modeling ¡

ü Assess ¡@it ¡of ¡model ¡to ¡data ¡ ü If ¡Item ¡is ¡mis@it ¡→ ¡poor ¡item ¡quality, ¡can ¡use ¡to ¡re-­‑

write ¡or ¡replace ¡items ¡

ü If ¡large ¡number ¡of ¡mis@itting ¡items, ¡construct ¡validity ¡

evidence ¡to ¡support ¡instrument’s ¡use ¡needs ¡to ¡be ¡ reconsidered ¡ ¡

ü Assess ¡item ¡bias ¡(e.g., ¡does ¡an ¡item ¡exhibit ¡gender, ¡

linguistic ¡or ¡racial/ethnic ¡DIF ¡?) ¡

ü Build ¡argument ¡for ¡reliability ¡and ¡validity-­‑-­‑beyond ¡

factor ¡structure ¡claims ¡or ¡correlational ¡evidence ¡

472 ¡high ¡school ¡students ¡across ¡grades ¡9-­‑12 ¡ ¡ v 84.5 ¡% ¡receive ¡free ¡or ¡reduced ¡lunch ¡ v 98.7 ¡% ¡identify ¡as ¡racial/ethnic ¡minorities ¡ ¡ v 25.9% ¡are ¡designated ¡as ¡English ¡learners ¡ ¡

Data ¡and ¡Sample ¡characteristics ¡

CEM ¡Survey: ¡Summary ¡statistics ¡

• 1 |8.2 15.2 22.2

• 2 |14.1 15.1 21.1

• 3 |3.1 11.1

Unidimensional ¡CEM ¡Wright ¡Map ¡

Multi-­‑dimensional ¡Model ¡Fit ¡

Observed ¡Correlations ¡between ¡Mean ¡ Domain ¡Scores ¡(above ¡diagonal) ¡and ¡ Corrected ¡Correlations ¡between ¡ Domains/Dimensions ¡(below ¡diagonal) ¡

¡

• 1 XX| X| |13.2 18.2 22.2 25.1

• 2 | | |2.2 6.1 9.1 14.1 15.1 19.1

• 3 | | |1.1 2.1 4.1 5.1 11.1 12.1

Above threshold 3 is where students are likely to strongly agree Above threshold 2 is where students are likely to agree Above threshold 1 is where students are likely to disagree

Multi ¡Dimensional ¡ ¡CEM ¡Wright ¡Map ¡

* Statistically significant DIF of “negligible” effect size. † Statistically significant DIF of “large” effect size. ¡ ¡

Differential ¡Item ¡Functioning ¡(DIF) ¡ Analysis ¡by ¡Gender ¡for ¡the ¡ Multidimensional ¡Model ¡ ¡

• 15 items registered statistically

significant DIF but “negligible” effect size

• Only 1 item registered statistically

significant DIF with “large” effect size

• “The information I learn in school is

useful”

Validity ¡and ¡reliability ¡evidence ¡for ¡CEM ¡ survey ¡based ¡on ¡2014 ¡Testing ¡Standards ¡

Content ¡

§ Construct ¡maps ¡ § Literature ¡review ¡ § Table ¡of ¡Speci@ications ¡ § Item ¡panels ¡

Response ¡processes ¡

§ Exit ¡survey ¡results ¡positive ¡(i.e., ¡

time, ¡format, ¡confusion, ¡etc. ¡did ¡ not ¡interfere ¡with ¡survey ¡ experience) ¡

Internal ¡structure ¡

§ Item ¡analysis ¡indicate ¡support ¡for ¡

items ¡design ¡(e.g., ¡DIF) ¡

§ Good ¡coverage ¡of ¡persons ¡and ¡

items ¡along ¡Wright ¡Maps ¡

§ Good ¡item ¡and ¡person ¡@it ¡statistics ¡

Internal ¡consistency ¡ ¡ Uni ¡ § Cronbach’s ¡alpha ¡(r= ¡.88) ¡ § Person ¡separation ¡(r= ¡.91) ¡

Multi ¡

§ Subscale ¡C ¡(r= ¡.86) ¡ § Subscale ¡E ¡(r= ¡.86) ¡ § Subscale ¡M ¡(r= ¡.87) ¡

Validity ¡evidence ¡ ¡ Reliability ¡evidence ¡ ¡

Homestretch ¡

It’s ¡time ¡to ¡build ¡new ¡bridges… ¡ ¡ from ¡local ¡to ¡regional ¡to ¡national ¡vision ¡of ¡NCO ¡

Increasing ¡signal ¡to ¡noise ¡ratio ¡

¡“...perfectly ¡unbiased, ¡unfakeable, ¡and ¡error-­‑free ¡measures ¡are ¡an ¡ideal, ¡ not ¡a ¡reality. ¡ ¡Instead, ¡researchers ¡and ¡prac::oners ¡have ¡at ¡their ¡disposal ¡ an ¡array ¡of ¡measures ¡that ¡have ¡dis:nct ¡advantages ¡and ¡limita:ons. ¡ ¡ Accordingly, ¡measurement ¡experts ¡have ¡emphasized ¡that ¡validity ¡is ¡not ¡an ¡ inherent ¡feature ¡of ¡a ¡measure ¡itself ¡but ¡rather ¡a ¡characteris:c ¡of ¡a ¡ measure ¡with ¡respect ¡to ¡a ¡par:cular ¡end ¡use ¡(American ¡Educa:onal ¡ Research ¡Associa:on, ¡American ¡Psychological ¡Associa:on, ¡& ¡Na:onal ¡ Council ¡on ¡Measurement ¡in ¡Educa:on, ¡1999, ¡2014). ¡ ¡Thus, ¡different ¡ measures, ¡with ¡their ¡unique ¡advantages ¡and ¡limita:ons, ¡are ¡differen:ally ¡ valid ¡depending ¡not ¡only ¡on ¡their ¡psychometric ¡proper:es ¡but ¡also ¡on ¡their ¡ intended ¡applica:on.” ¡ ¡

¡ ¡ Duckworth ¡& ¡Yeager, ¡2015 ¡

Ironically, ¡non-­‑academic ¡factors ¡can ¡ ¡ ¡ ¡ ¡ ¡ ¡ interfere ¡with ¡“non ¡cognitive” ¡signal ¡

Not ¡all ¡ measures ¡ are ¡equal ¡ Boredom ¡ Guessing ¡ Academic ¡ language ¡ load ¡too ¡ high ¡ Lack ¡of ¡ motivation ¡ Not ¡ enough ¡ time ¡

NCO ¡3.0: ¡Beyond ¡Psychology’s ¡Toolkit ¡

• Items ¡ ¡ ¡

– Calibrated banks – Interchangeable formats – Performance tasks/scoring guides

• Sampling ¡designs ¡

– Panel data – longitudinal

• Tracking ¡within ¡person ¡multi-­‑dimensionality ¡i.e., ¡learning ¡progressions ¡

¡

• Relations ¡to ¡other, ¡external ¡variables ¡e.g., ¡ACT ¡Engage, ¡California ¡Health ¡Kids ¡

Survey, ¡SEL/CORE ¡indicators ¡

• Measuring ¡Growth ¡& ¡Vertical ¡scaling ¡(cf. ¡Lexile ¡scales) ¡

– Magnitude – Velocity – Acceleration

If ¡purpose ¡and ¡use ¡drive ¡all ¡measures ¡in ¡ education, ¡then ¡what ¡do ¡“we” ¡have ¡to ¡ say… ¡

Diagnostic ¡ Formative ¡ Summative ¡

Thank ¡You! ¡ ¡ Feel ¡free ¡to ¡contact ¡us. ¡

Brent.Duckor@sjsu.edu ¡ ¡ ¡ Brent ¡Duckor, ¡Ph.D. ¡ ¡ ¡