The Life Cycle of A Million MOOC Users LAURA W. PERNA - - PowerPoint PPT Presentation

The ¡Life ¡Cycle ¡of ¡ ¡ A ¡Million ¡MOOC ¡Users

LAURA ¡W. ¡PERNA PRESENTATION ¡TO ¡ INSTITUTE ¡OF ¡INTERNATIONAL ¡EDUCATION APRIL ¡24, ¡2014

Improving ¡EducaDonal ¡AFainment ¡Is ¡ ¡ One ¡of ¡the ¡Most ¡Pressing ¡Issues ¡of ¡Our ¡Time

Recent ¡Technological ¡InnovaDon ¡

¡ ¡

Acknowledgements

Research team

– Laura ¡Perna, ¡Alan ¡Ruby, ¡Robert ¡Boruch, ¡ – Nicole ¡Wang, ¡Janie ¡Scull, ¡Chad ¡Evans, ¡Seher ¡Ahmad

Funding

– MOOC ¡Research ¡IniDaDve ¡funded ¡by ¡the ¡Gates ¡FoundaDon ¡through ¡ Athabasca ¡University. – InsDtute ¡of ¡EducaDon ¡Sciences, ¡U.S. ¡Department ¡of ¡EducaDon, ¡ through ¡Grant ¡#R305B90015 ¡to ¡the ¡University ¡of ¡Pennsylvania ¡ – QuanDtaDve ¡Methods ¡Division ¡of ¡Penn ¡GSE ¡ – Penn ¡AHEAD

The opinions expressed are those of the authors and do not represent the views of the funders.

Our ¡Study: ¡16 ¡Penn ¡Coursera ¡Courses ¡ ¡ Offered ¡Between ¡June ¡2012 ¡and ¡July ¡2013

Course ¡Structure: ¡ ¡Course ¡Length

# ¡Weeks ¡ # ¡Courses ¡ Course ¡Name ¡ 6 ¡ 3 ¡

• ­‑Cardiac ¡Arrest ¡
• ­‑Gamifica2on ¡
• ­‑Networked ¡life ¡ ¡

7 ¡ 2 ¡

• ­‑Ra2oning ¡Scarce ¡Medical ¡Resources ¡
• ­‑Listening ¡to ¡World ¡Music ¡

8 ¡ 3 ¡

• ­‑Health ¡Policy ¡and ¡Affordable ¡Care ¡Act ¡ ¡
• ­‑Vaccines ¡
• ­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡

9 ¡ 2 ¡

• ­‑Principles ¡of ¡Microeconomics ¡ ¡
• ­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ ¡

10 ¡ 3 ¡

• ­‑Modern ¡and ¡Contemporary ¡American ¡Poetry ¡
• ­‑Fundamental ¡of ¡Pharmacology ¡ ¡
• ­‑Greek ¡and ¡Roman ¡Mythology ¡

12 ¡ 3 ¡

• ­‑Pay ¡ATen2on!! ¡ADHD ¡Through ¡the ¡Lifespan ¡
• ­‑Calculus: ¡Single ¡Variable ¡ ¡
• ­‑Experimental ¡Genome ¡Science ¡

InstrucDonal ¡Approach: ¡ ¡ Video ¡Length ¡& ¡Chunking

1 ¡– ¡3 ¡/ ¡Week ¡ 4 ¡– ¡6 ¡/ ¡Week ¡ 7+ ¡/ ¡Week ¡ < ¡40 ¡Minutes ¡ (5) ¡

• ­‑Pharmacology
• ­‑Health ¡Policy ¡ ¡
• ­‑ADHD
• ­‑Ra2oning ¡Resources
• ­‑Vaccines

40 ¡– ¡60 ¡ Minutes ¡ (1) ¡

• ­‑Cardiac ¡Arrest

(2) ¡

• ­‑Genome ¡Science
• ­‑World ¡Music

(2) ¡

• ­‑Design ¡
• ­‑Gamifica2on

60+ ¡Minutes ¡ (2) ¡

• ­‑Calculus ¡
• ­‑Networked ¡Life

¡ (4) ¡

• ­‑Mythology
• ­‑Opera2ons ¡

Management

• ­‑Modern ¡Poetry
• ­‑Microeconomics

Use ¡of ¡Peer ¡Assessment

Peer ¡ Assessment ¡ # ¡Courses ¡ Course ¡Name ¡ Yes ¡ 8 ¡

• ­‑Design ¡
• ­‑Gamifica2on ¡
• ­‑Health ¡Policy ¡& ¡Affordable ¡Care ¡
• ­‑Greek ¡& ¡Roman ¡Mythology ¡
• ­‑Principles ¡of ¡Microeconomics ¡
• ­‑Ra2oning ¡& ¡Alloca2ng ¡Scarce ¡Resources ¡
• ­‑Listening ¡to ¡World ¡Music ¡

No ¡ 8 ¡

• ­‑Pay ¡ATen2on! ¡ADHD ¡through ¡Lifespan ¡
• ­‑Cardiac ¡Arrest ¡
• ­‑Calculus: ¡Single ¡Variable ¡
• ­‑Experimental ¡Genome ¡Science ¡
• ­‑Opera2ons ¡Management ¡
• ­‑Networked ¡Life ¡
• ­‑Fundamentals ¡of ¡Pharmacology ¡
• ­‑Vaccines ¡

Use ¡of ¡Live ¡Chat

Live ¡Chat ¡ # ¡Courses ¡ Course ¡Name ¡ Yes ¡ 2 ¡

• ­‑Modern ¡and ¡Contemporary ¡American ¡Poetry
• ­‑Principles ¡of ¡Microeconomics

No ¡ 14 ¡

• ­‑Pay ¡aTen2on! ¡ADHD ¡through ¡Lifespan ¡
• ­‑Cardiac ¡Arrest ¡
• ­‑Calculus: ¡Single ¡Variable ¡
• ­‑Design ¡
• ­‑Gamifica2on ¡
• ­‑Expermental ¡Genome ¡Science ¡
• ­‑Health ¡Policy ¡& ¡Affordable ¡Care ¡
• ­‑Greek ¡and ¡Roman ¡Mythology ¡
• ­‑Networked ¡Life ¡
• ­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡
• ­‑Fundamentals ¡of ¡Pharmacology ¡
• ­‑Ra2oning ¡and ¡Alloca2ng ¡Scarce ¡Resources ¡
• ­‑Listening ¡to ¡World ¡Music ¡
• ­‑Vaccines ¡

Use ¡of ¡Teaching ¡Assistants

Course ¡Name ¡ # ¡Teaching ¡Assistants ¡

• ­‑Cardiac ¡Arrest ¡

1 ¡

• ­‑Experimental ¡Genome ¡Science ¡

2 ¡

• ­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ ¡

2 ¡

• ­‑Pay ¡ATen2on!! ¡ADHD ¡Through ¡the ¡Lifespan ¡

2 ¡

• ­‑Vaccines ¡

2 ¡

• ­‑Fundamentals ¡of ¡Pharmacology ¡ ¡

3 ¡

• ­‑Listening ¡to ¡World ¡Music ¡

3 ¡

• ­‑Ra2oning ¡and ¡Alloca2ng ¡Scarce ¡Medical ¡Resources ¡

3 ¡

• ­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡

4 ¡

• ­‑Health ¡Policy ¡and ¡Affordable ¡Care ¡Act ¡ ¡

4 ¡

• ­‑Networked ¡life ¡ ¡

4 ¡

• ­‑Greek ¡and ¡Roman ¡Mythology ¡

5 ¡

• ­‑Modern ¡and ¡Contemporary ¡American ¡Poetry ¡

5 ¡

• ­‑Gamifica2on ¡

6 ¡

• ­‑Principles ¡of ¡Microeconomics ¡ ¡

12 ¡

• ­‑Calculus: ¡Single ¡Variable ¡ ¡

13 ¡

Course ¡Content

OrientaBon ¡ # ¡Courses ¡ Course ¡Name ¡ Math ¡and ¡ Economics ¡ ¡ 3 ¡

• ­‑Calculus: ¡Single ¡Variable ¡
• ­‑Principles ¡of ¡Microeconomics ¡
• ­‑Networked ¡Life ¡

Health ¡ ¡ 6 ¡

• ­‑Cardiac ¡Arrest ¡
• ­‑Vaccines ¡
• ­‑Health ¡Policy ¡& ¡Affordable ¡Care ¡Act ¡
• ­‑Fundamentals ¡of ¡Pharmacology ¡
• ­‑ADHD ¡through ¡Lifespan ¡
• ­‑Experimental ¡Genome ¡Science ¡

Business ¡ 3 ¡

• ­‑Gamifica2on ¡
• ­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡
• ­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡

Humani2es ¡ 3 ¡

• ­‑Modern ¡/ ¡Contemporary ¡American ¡Poetry ¡
• ­‑Greek ¡and ¡Roman ¡Mythology ¡
• ­‑Listening ¡to ¡World ¡Music ¡

Expected ¡Student ¡Workload

Hours ¡/ ¡Week ¡ # ¡Courses ¡ Course ¡Name ¡

2 ¡to ¡5 ¡ 4 ¡

• ­‑Pay ¡aTen2on!! ¡ADHD ¡through ¡Lifespan ¡
• ­‑Health ¡Policy ¡and ¡Affordable ¡Care ¡Act ¡
• ­‑Ra2oning ¡/ ¡Alloca2ng ¡Scarce ¡Resources ¡
• ­‑Vaccines ¡

5 ¡to ¡9 ¡ 4 ¡

• ­‑Listening ¡to ¡World ¡Music ¡
• ­‑Principles ¡of ¡Microeconomics ¡
• ­‑Modern ¡and ¡Contemporary ¡American ¡Poetry ¡
• ­‑Exerimental ¡Genome ¡Science ¡

8 ¡to ¡12 ¡ 2 ¡

• ­‑Calculus: ¡Single ¡Variable ¡
• ­‑Greek ¡and ¡Roman ¡Mythology ¡

Not ¡specified ¡ 6 ¡

• ­‑Cardiac ¡Arrest ¡
• ­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡
• ­‑Fundamentals ¡of ¡Pharmacology ¡
• ­‑Gamifica2on ¡
• ­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ ¡
• ­‑Networked ¡Life ¡

Conceptual ¡Framework: ¡ Flow ¡through ¡“ConvenDonal” ¡Courses

Apply ¡ Enroll ¡ Engage ¡ Learn ¡/ Persist ¡/ ¡ Complete ¡ ¡ ¡

0 ¡ 20000 ¡ 40000 ¡ 60000 ¡ 80000 ¡ 100000 ¡ 120000 ¡

VariaBon ¡in ¡Number ¡of ¡ParBcipants ¡ ¡ by ¡Course ¡

Users ¡ Registrants ¡ Starters ¡ Ac2ve ¡Users ¡ Persisters ¡

Example ¡of ¡PaFern ¡of ¡“Last ¡Access” ¡

Percent ¡of ¡Registrants ¡who ¡Accessed ¡At ¡Least ¡One ¡Lecture

27% ¡ 36% ¡ 36% ¡ 36% ¡ 40% ¡ 41% ¡ 42% ¡ 42% ¡ 50% ¡ 50% ¡ 56% ¡ 58% ¡ 58% ¡ 60% ¡ 64% ¡ 68% ¡

Percent ¡of ¡Registrants ¡who ¡Accessed ¡Lecture ¡in ¡Last ¡Module

6% ¡ 6% ¡ 6% ¡ 7% ¡ 7% ¡ 7% ¡ 8% ¡ 10% ¡ 13% ¡ 14% ¡ 14% ¡ 15% ¡ 18% ¡

Percent ¡of ¡Registrants ¡with ¡Final ¡Grade ¡80% ¡or ¡Higher

0% ¡ 1% ¡ 2% ¡ 2% ¡ 3% ¡ 3% ¡ 3% ¡ 4% ¡ 4% ¡ 5% ¡ 6% ¡ 8% ¡ 9% ¡ 10% ¡ 12% ¡

“SequenDal ¡Flow” ¡As ¡Measured ¡as ¡Share ¡of ¡Registrants ¡ Accessing ¡at ¡Least ¡One ¡Lecture ¡in ¡Each ¡Course ¡Module

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ Module ¡1 ¡ Module ¡2 ¡ Module ¡3 ¡ Module ¡4 ¡ Module ¡5 ¡ Module ¡6 ¡ Module ¡7 ¡ Module ¡8 ¡ Module ¡9 ¡Module ¡10 ¡Module ¡11 ¡Module ¡12 ¡

Axis ¡Title ¡ ADHD ¡ Calculus ¡ Cardiac ¡ Design ¡ Gamifica2on ¡ HealthPolicy ¡ MicroEcon ¡ ModPo ¡ Myth ¡ Networks ¡ Ra2oning ¡ Vaccines ¡ Music ¡

“User-­‑Driven ¡Flow” ¡as ¡Measured ¡By ¡ ¡ Accessing ¡a ¡Lecture ¡for ¡Registrants

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ Module ¡1 ¡ Module ¡2 ¡ Module ¡3 ¡ Module ¡4 ¡ Module ¡5 ¡ Module ¡6 ¡ Module ¡7 ¡ Module ¡8 ¡ Module ¡9 ¡ Module ¡10 ¡Module ¡11 ¡Module ¡12 ¡

ADHD ¡ Calculus ¡ Cardiac ¡ Design ¡ Gamifica2on ¡ HealthPolicy ¡ MicroEcon ¡ ModPo ¡ Myth ¡ Networks ¡ Ra2oning ¡ Vaccines ¡ Music ¡

0% ¡ 5% ¡ 10% ¡ 15% ¡ 20% ¡ 25% ¡ 30% ¡ 35% ¡ Module ¡1 ¡ Module ¡2 ¡ Module ¡3 ¡ Module ¡4 ¡ Module ¡5 ¡ Module ¡6 ¡ Module ¡7 ¡ Module ¡8 ¡ Module ¡9 ¡ Module ¡10 ¡Module ¡11 ¡Module ¡12 ¡

ADHD ¡ Cardiac ¡ Gamifica2on ¡ MicroEcon ¡ ModPo ¡ Myth ¡ Networks ¡ Music ¡

“SequenDal ¡Flow” ¡As ¡Measured ¡as ¡Share ¡of ¡Registrants ¡ AFempDng ¡at ¡Least ¡One ¡Quiz ¡in ¡Each ¡Course ¡Module

Percentage ¡of ¡Registrants ¡with ¡Final ¡Grade ¡80% ¡or ¡Higher ¡ By ¡Course ¡Content ¡

Course ¡ Category ¡ Final ¡Grade ¡80%+ ¡

Calculus: ¡Single ¡Variable ¡ Math ¡& ¡Economics ¡ 1% ¡ Principles ¡of ¡Microeconomics ¡ 2% ¡ Networked ¡Life ¡ 5% ¡ Genome ¡Science ¡ Health ¡Policy ¡ Health ¡ 0% ¡ 3% ¡ Pharmacology ¡ 6% ¡ ADHD ¡Through ¡Lifespan ¡ 8% ¡ Vaccines ¡ 9% ¡ Cardiac ¡Arrest ¡ 12% ¡ Ra2oning ¡Scarce ¡Resources ¡ NA ¡ Opera2ons ¡Management ¡ ¡ Business ¡ 3% ¡ Design: ¡Ar2facts ¡in ¡Society ¡ 4% ¡ Gamifica2on ¡ 10% ¡ Listening ¡to ¡World ¡Music ¡ Humani2es ¡ 2% ¡ Greek ¡& ¡Roman ¡Mythology ¡ ¡ 3% ¡ Modern ¡American ¡Poetry ¡ ¡ 4% ¡

Percent ¡Registrants ¡with ¡Final ¡Grade ¡80% ¡or ¡Higher ¡By ¡Course ¡Structure

# ¡Weeks ¡ Course ¡ Percent ¡ 6 ¡ Networked ¡Life ¡ 5% ¡ 6 ¡ Gamifica2on ¡ 10% ¡ 6 ¡ Cardiac ¡Arrest ¡ 12% ¡ 7 ¡ Listening ¡World ¡Music ¡ 2% ¡ 8 ¡ Health ¡Policy ¡ 3% ¡ 8 ¡ Design: ¡Ar2facts ¡in ¡Society ¡ 4% ¡ 8 ¡ Vaccines ¡ 9% ¡ 9 ¡ Microeconomics ¡ 2% ¡ 9 ¡ Opera2ons ¡Management ¡ 3% ¡ 10 ¡ Greek ¡& ¡Roman ¡Mythology ¡ 3% ¡ 10 ¡ Modern ¡American ¡Poetry ¡ 4% ¡ 10 ¡ Pharmacology ¡ 6% ¡ 12 ¡ Genome ¡Science ¡ 0% ¡ 12 ¡ Calculus ¡ 1% ¡ 12 ¡ ADHD ¡Through ¡Lifespan ¡ 8% ¡

NaDonal ¡AffiliaDon ¡of ¡Users ¡ ¡

(Using ¡Sample ¡of ¡IP ¡Addresses)

GeolocaDon ¡of ¡Registrants

Emerging ¡Conclusions

Numerous ¡Data ¡Challenges

Future ¡Research ¡

Contact ¡Info ¡ —

Laura Perna Graduate School of Education University of Pennsylvania lperna@gse.upen.edu @lauraperna1