Got Choice? A Game-Based Model for Learning Assessments Kristen - - PowerPoint PPT Presentation

Kristen Blair, Ph.D. Doris Chin, Ph.D. Daniel Schwartz, Ph.D.

Stanford Graduate School of Education

Got Choice?

A Game-Based Model for Learning Assessments

EWA: Bursting the Bubbles – Reassessing Assessments Seminar 2014-11-17

Outline

• Choice-Based Assessments
• vs. Knowledge-Based

2

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Why choice?

• Play Posterlet!
• Research Results
• Summary & Discussion

Beliefs Shape Assessments

• Traditional assessments

Ø Focus on knowledge Ø Retrospective What have students mastered?

3

What we measure What we think is important

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Changing Assessments

4

“[A] gardener… would proceed incorrectly if he considered only the ripe fruit in the orchard and did not know …to evaluate the condition of the trees that had not yet produced mature fruit…” Vygotsky (1934)

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

5

Why Choice?

6

• The endpoint of education should not be

simply accumulation of knowledge

• Students must be prepared for future

learning*

Ø Learning is a life-long process Ø Do students make good choices about what, when, where, & how to learn

• We should measure choices, not knowledge

* Schwartz & Bransford, 1989; Schwartz & Arena, 2013

Posterlet

7

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Use Firefox, Chrome, or Safari:

tinyurl.com/stanfordewa

• Login: first name+last initial

e.g. harryp

• Password: ewa

awesome.stanford.edu/choice/?group=/EduWriterAssoc.html 8

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Posterlet: Critical Choices

Choose Booth Design Poster Choose Focus Group Choose - or + Feedback Test Poster Read Feedback Post Poster

(see Ticket Sales)

Revise? No Yes Re-design Poster

9

It's nice that the poster says how much the booth costs. Some words on your poster are cut off. I can't read them.

Research Study

• Population
• 200+ 6th graders
• Local middle school
• Treatment
• Design thinking lessons

Seek feedback from stakeholders

• Interspersed over 4 weeks
• Math, Social Studies, Science

11

Design Thinking

(Get feedback from stakeholders/clients.)

Seeking Negative Feedback…

• Correlates with

achievement

• Most relevant for

lower-achieving students

• A teachable skill

that kids will transfer to a new situation

• Also leads to

better learning!

CST: r = .41**

Choice-Based Assessments

aaalab.stanford.edu

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

13

CRITICAL THINKING PLANNING SCIENTIFIC EXPLANATION DATA GENERATION & SORTING

Chi, ¡Schwartz, ¡Blair, ¡& ¡Chin ¡(2014). ¡Choice-­‑based ¡Assessment: ¡Can ¡Choices ¡Made ¡in ¡Digital ¡Games ¡Predict ¡6th-­‑ Grade ¡Students' ¡Math ¡Test ¡Scores? ¡Proceedings ¡of ¡the ¡7th ¡Interna2onal ¡Conference ¡on ¡Educa2onal ¡Data ¡Mining. ¡ ¡

CRITICAL ¡THINKING ¡

• Strong ¡relaDonship ¡

between ¡game ¡ learning ¡choices ¡ and ¡ ¡school ¡

• performance. ¡

¡

• Students ¡who ¡

chose ¡to ¡engage ¡in ¡ criDcal ¡thinking ¡ doing ¡beMer ¡in ¡ school ¡

• Students ¡who ¡

primarily ¡engaged ¡ in ¡trial-­‑and-­‑error ¡ doing ¡worse. ¡

Why ¡Games? ¡

• Prepara@on ¡for ¡Future ¡Learning* ¡ ¡

Games ¡can ¡build ¡in ¡resources ¡to ¡offer ¡students ¡learning ¡

• pportuni2es. ¡

¡

• Freedom ¡of ¡Choice ¡

Mul2ple ¡ways ¡to ¡solve ¡challenge ¡

¡

• Everyday ¡Excellence ¡ ¡

Capture ¡typical ¡performance ¡and ¡normal ¡learning ¡behaviors ¡ ¡

¡

• Good ¡Fit ¡for ¡Informal ¡Learning ¡Enviornments ¡

¡

¡

* ¡Schwartz ¡& ¡Bransford, ¡1998 ¡

Choice-Based Assessments

kristen.blair@stanford.edu dbchin@stanford.edu

16

Thank ¡ you! ¡

Extra

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

17

A thought experiment about where usual tests might lead to misdiagnosis.

Test of Excel 6-months later Test Score Bob Mike

• Two candidates applying

for a job:

• Bob took a 5-week

course in Excel spreadsheet sofuware.

• Mike does not know

Excel, but he taught himself 2 other spreadsheet programs.

• The company uses Excel
• Bob & Mike take an Excel

test.

Aptitude tests only predict about 9% of the variance of job performance immediately after training. It drops to 4% in 6 months.

EWA: Bursting the Bubbles – Reassessing Assessments Seminar

20

START

Get Assignment Check Resources (optional) Get Feedback Choose Settings & Take Photos Sort Photos

Submit Photo

Vizlet Play Pattern

24