h8p://miso.ncsu.edu/ Presented by Eric Wiebe, Latricia - - PowerPoint PPT Presentation

▶
h8p miso ncsu edu
SMART_READER_LITE
LIVE PREVIEW

h8p://miso.ncsu.edu/ Presented by Eric Wiebe, Latricia - - PowerPoint PPT Presentation

Jul 03, 2023 127 likes •471 views

h8p://miso.ncsu.edu/ Presented by Eric Wiebe, Latricia Townsend and Tracey Collins DRL # 1038154 PresentaNon highlights State of STEM The MISO Project

slide-1
SLIDE 1

DRL # 1038154

Presented ¡by ¡Eric ¡Wiebe, ¡Latricia ¡Townsend ¡and ¡Tracey ¡Collins ¡

¡ h8p://miso.ncsu.edu/ ¡ ¡

slide-2
SLIDE 2
  • State ¡of ¡STEM ¡
  • The ¡MISO ¡Project ¡
  • Survey ¡development ¡
  • Using ¡MISO ¡surveys ¡to ¡inform ¡your ¡project ¡

DRL # 1038154

The ¡MISO ¡project ¡team ¡will ¡introduce ¡its ¡valid ¡survey ¡ instruments ¡(S-­‑STEM ¡and ¡T-­‑STEM ¡surveys) ¡for ¡both ¡K12 ¡ teachers ¡and ¡students ¡involved ¡in ¡STEM ¡outreach ¡that ¡can ¡ also ¡be ¡uNlized, ¡duplicated ¡and ¡shared ¡by ¡any ¡STEM ¡outreach ¡

  • project. ¡

¡

PresentaNon ¡highlights ¡

slide-3
SLIDE 3

STEM ¡

NCDPI/R-T ¡ (CTE, ¡C&I, ¡ DTL, ¡STEM, ¡ NCVPS) ¡ Local-­‑level ¡ STEM ¡ Efforts ¡ ¡ NC ¡STEM ¡ Learning ¡ Network ¡ NC ¡New ¡ Schools ¡ Golden ¡ LEAF ¡ FoundaJon ¡ Public ¡& ¡ Private ¡ Colleges ¡of ¡ EducaJon ¡

NC ¡STEM ¡A-ributes ¡ STEM ¡Teacher ¡ CerJficaJon ¡ Next ¡GeneraJon ¡ Science ¡Standards ¡ Research ¡Projects: ¡ SRI, ¡RTI, ¡GWU ¡ New ¡Assessments ¡(ACT, ¡ WorkKeys, ¡etc.) ¡ IHE ¡STEM ¡Outreach ¡ NCCCS ¡– ¡Workforce ¡ Development ¡ Common ¡Core ¡State ¡ Standards ¡for ¡Math ¡ Private ¡Industry ¡ Museums ¡ The ¡Science ¡House ¡ NC ¡School ¡of ¡ Science ¡and ¡Math ¡

DRL # 1038154

STEM ¡Landscape ¡in ¡NC ¡

slide-4
SLIDE 4

NC ¡SMT ¡Center ¡2012: ¡ h8p://www.ncsmt.org/pdf/ NC_STEM_Scorecard_Overview.pdf ¡

connection ¡to ¡STEM? ¡

DRL # 1038154

What ¡is ¡your ¡

slide-5
SLIDE 5

Increase ¡ awareness ¡

  • f ¡STEM ¡

careers ¡ Increase ¡ knowledge ¡ about ¡STEM ¡ careers ¡ Increase ¡ STEM ¡ moJvaJon ¡ Increase ¡ STEM ¡ engagement ¡ Improve ¡ STEM ¡self-­‑ efficacy ¡ Increase ¡ STEM ¡ knowledge ¡ & ¡skills ¡ Increase ¡ advanced ¡ STEM ¡ course-­‑ taking ¡ Increase ¡ post-­‑ secondary ¡ a-endance ¡

Increase ¡

compleJon ¡

  • f ¡prereqs ¡

for ¡STEM ¡ careers ¡

Theory ¡of ¡AcNon ¡

S-­‑STEM ¡survey ¡ NCSU ¡STEM ¡ Outreach ¡Programs ¡ (in ¡red) ¡

DRL # 1038154

slide-6
SLIDE 6

The ¡MISO ¡Project ¡

OVER ¡100 ¡STEM ¡OUTREACH ¡PROGRAMS ¡AT ¡NCSU ¡ 28 ¡Program ¡Partners ¡ Involving ¡~1500 ¡students ¡& ¡~300 ¡teachers ¡annually ¡ ¡

DRL # 1038154

slide-7
SLIDE 7

MISO ¡Purpose ¡

  • To ¡creaNvely ¡integrate ¡longitudinal ¡evaluaNon ¡

with ¡innovaNon ¡within ¡NC ¡State’s ¡K-­‑12 ¡STEM ¡

  • utreach ¡programs, ¡parNcularly ¡those ¡funded ¡by ¡

NSF, ¡to ¡help ¡ensure ¡the ¡breadth ¡and ¡depth ¡of ¡the ¡ future ¡U.S. ¡STEM ¡workforce ¡

DRL # 1038154

slide-8
SLIDE 8
  • An ¡innovaNve ¡network ¡of ¡support ¡and ¡communicaNon ¡
  • A ¡longitudinal ¡assessment ¡of ¡parNcipant ¡outcomes ¡
  • Data-­‑driven ¡development ¡and ¡feedback ¡of ¡best ¡pracNces ¡

through ¡a ¡professional ¡learning ¡community ¡

  • SupporNng ¡seamless ¡transiNons ¡across ¡criNcal ¡

educaNonal ¡junctures ¡

MISO ¡

DRL # 1038154

slide-9
SLIDE 9

MISO ¡Data ¡AnalyNcs ¡Flow ¡Chart ¡

  • 2. ¡NC ¡EducaNonal ¡

Research ¡Data ¡ Center ¡(NCERDC) ¡ at ¡Duke ¡University ¡

  • 1. ¡MISO ¡Common ¡

STEM ¡Survey ¡ Tools ¡for ¡ Outreach ¡ ParNcipants ¡ (teachers ¡& ¡ students) ¡

Data ¡Sources ¡

  • 3. ¡NaNonal ¡

Student ¡ Clearinghouse ¡

ExisNng ¡NC ¡educaNon ¡database ¡that ¡includes ¡ teachers’ ¡educaNon/licensure, ¡experience, ¡ turnover; ¡and ¡students’ ¡academic ¡progress, ¡ a8endance, ¡course ¡taking, ¡growth ¡and ¡ proficiency ¡by ¡academic ¡subject, ¡grade ¡ promoNon ¡and ¡retenNon, ¡transfer, ¡dropout ¡, ¡ and ¡graduaNon ¡status. ¡ ¡ (All ¡NC ¡K-­‑12 ¡Public ¡School ¡Teachers ¡and ¡ Students) ¡ ¡ Surveys ¡developed ¡by ¡MISO ¡Project ¡Team ¡ for ¡use ¡by ¡MISO ¡Project ¡Partners ¡to ¡measure ¡ student ¡STEM ¡A^tudes, ¡Interest ¡in ¡STEM ¡ Careers, ¡and ¡21st ¡Century ¡Learning ¡Skills; ¡ and ¡teacher ¡confidence ¡and ¡efficacy ¡in ¡ teaching ¡STEM. ¡ (NC ¡State ¡K12 ¡STEM ¡Outreach ¡Programs) ¡ InformaNon ¡related ¡to ¡university ¡ enrollment, ¡choice ¡of ¡major,and ¡persistence. ¡ ¡ (All ¡MISO ¡students) ¡ ¡

Variables ¡of ¡ Interest ¡ Goal ¡

To ¡ determine ¡ the ¡extent ¡ to ¡which ¡ STEM ¡

  • utreach ¡

programs ¡ impact ¡ long-­‑term ¡ educaNonal ¡

  • utcomes ¡

Students: ¡How ¡has ¡ student ¡academic ¡ achievement ¡changed ¡

  • ver ¡Nme? ¡

¡ Teachers: ¡To ¡what ¡ extent ¡do ¡teachers ¡ a8ain ¡professional ¡ growth ¡and ¡remain ¡in-­‑ field? ¡ Students: ¡How ¡do ¡ students ¡feel ¡about ¡ learning ¡STEM ¡content ¡ and ¡future ¡career ¡paths? ¡ ¡ Teachers: ¡How ¡confident ¡ are ¡teachers ¡about ¡ teaching ¡STEM ¡related ¡ content? ¡ Students: ¡Did ¡MISO ¡ Project ¡Partner ¡ ParNcipants ¡that ¡entered ¡ NCSU ¡pursue ¡a ¡STEM-­‑ related ¡degree? ¡

ObjecJves ¡

slide-10
SLIDE 10
  • MISO ¡Survey ¡development ¡was ¡guided ¡by ¡research ¡

and ¡is ¡derived ¡in ¡part ¡from ¡exisNng ¡surveys ¡

  • Surveys ¡may ¡be ¡completed ¡via ¡a ¡web-­‑based ¡survey ¡

tool ¡(Qualtrics) ¡or ¡on ¡paper ¡surveys ¡

  • Two ¡years ¡of ¡piloNng, ¡analyzing ¡and ¡revising ¡

DRL # 1038154

Survey ¡Development ¡

slide-11
SLIDE 11

Survey ¡Development ¡

  • T-­‑STEM: ¡Teacher ¡surveys ¡(Science ¡teachers, ¡

Technology ¡teachers, ¡Engineering ¡teachers, ¡Math ¡ teachers, ¡and ¡Elementary ¡teachers) ¡ ¡

  • S-­‑STEM: ¡Student ¡surveys ¡(4th ¡– ¡5th ¡graders, ¡6th ¡– ¡12th ¡

graders) ¡

DRL # 1038154

Two ¡available ¡surveys ¡

slide-12
SLIDE 12

DRL # 1038154

Why ¡use ¡the ¡S-­‑STEM ¡and ¡T-­‑STEM ¡ surveys? ¡

  • Measure ¡the ¡changes ¡in ¡STEM ¡adtudes ¡and ¡beliefs ¡among ¡students ¡
  • r ¡teachers ¡parNcipaNng ¡in ¡various ¡outreach ¡programs ¡

¡

  • It ¡provides ¡informaNon ¡to ¡help ¡coordinators ¡to ¡make ¡decisions ¡about ¡

possible ¡changes ¡to ¡their ¡program ¡ ¡

  • Coordinators ¡may ¡use ¡the ¡data ¡to ¡complete ¡evaluaJon ¡and ¡research ¡

acJviJes ¡ ¡

slide-13
SLIDE 13

Parts ¡of ¡the ¡T-­‑STEM ¡survey ¡

  • Demographic ¡info ¡
  • STEM ¡InstrucNonal ¡pracNces ¡(subsecNons: ¡

Engineering ¡& ¡Technology, ¡Math, ¡and ¡Science ¡ A^tudes) ¡

  • Confidence ¡in ¡teaching ¡their ¡specific ¡STEM ¡subject ¡
  • 21st ¡century ¡learning ¡and ¡leadership ¡a^tudes ¡
  • Frequency ¡of ¡student ¡technology ¡use ¡
  • STEM ¡career ¡awareness ¡

DRL # 1038154

slide-14
SLIDE 14
  • Enochs ¡and ¡Riggs ¡(1990; ¡Enochs, ¡Smith, ¡and ¡Huincher ¡(2000); ¡FI’s ¡

Student ¡Technology ¡Needs ¡Assessment; ¡FI’s ¡R8T ¡Professional ¡ Development ¡Survey; ¡FI’s ¡Student ¡Learning ¡CondiNons ¡Survey ¡ (2011); ¡NC ¡DPI’s ¡Professional ¡Standards ¡for ¡Teaching ¡

  • ¡EFA ¡shows ¡clear ¡factor ¡structure ¡

Construct # ¡Questions Science ¡Teacher Personal ¡Teaching ¡Efficacy ¡and ¡Beliefs 11 0.908 Teaching ¡Outcome ¡Expectancy ¡Beliefs 9 0.814 Students ¡Technology ¡Use 8 0.9 STEM ¡Instruction 14 0.934 21st ¡Century ¡Learning ¡Attitudes 11 0.948 Teacher ¡Leadership ¡Attitudes 6 0.87 STEM ¡Career ¡Awareness 4 0.945 Teacher ¡Survey ¡Reliability

T-­‑STEM ¡Survey ¡

DRL # 1038154

slide-15
SLIDE 15

Parts ¡of ¡the ¡S-­‑STEM ¡survey ¡

  • Demographic ¡info ¡
  • STEM ¡A^tudes ¡(subsecNons: ¡Engineering ¡& ¡

Technology, ¡Math, ¡and ¡Science ¡A^tudes) ¡

  • 21st ¡Century ¡Learning ¡Skills ¡
  • STEM ¡Career ¡Interests ¡
  • Plans ¡For ¡the ¡Future ¡

DRL # 1038154

slide-16
SLIDE 16
  • Erkut ¡and ¡Marx ¡(2005) ¡“Women ¡in ¡Engineering” ¡survey; ¡Friday ¡

InsNtute’s ¡Student ¡Learning ¡CondiNons ¡Survey ¡(2011); ¡Bureau ¡of ¡Labor ¡ StaNsNcs ¡OccupaNonal ¡Outlook ¡Handbook ¡(2011); ¡SME ¡review ¡

  • EFA ¡and ¡CFA ¡showed ¡clear ¡factor ¡structure ¡
  • DIF ¡showed ¡measurement ¡invariance ¡held ¡at ¡first ¡3 ¡levels ¡for ¡gender, ¡

race, ¡and ¡school-­‑level ¡

Construct ¡ # ¡Questions 6th-­‑12th ¡Grade 4th-­‑5th ¡Grade Math 8 0.897 0.86 Science 9 0.889 0.838 Engineering ¡and ¡Technology 9 0.891 0.838 21st ¡Century ¡Learning 11 0.914 0.864 ¡Student ¡Survey ¡Reliability

DRL # 1038154

S-­‑STEM ¡Survey ¡

slide-17
SLIDE 17

DRL # 1038154

Math ¡A^tudes ¡

slide-18
SLIDE 18

DRL # 1038154

Science ¡A^tudes ¡

slide-19
SLIDE 19

DRL # 1038154

Engineering ¡& ¡Technology ¡A^tudes ¡

slide-20
SLIDE 20

DRL # 1038154

21st ¡Century ¡Learning ¡

slide-21
SLIDE 21

DRL # 1038154

STEM ¡Career ¡Interest ¡

slide-22
SLIDE 22

DRL # 1038154

Plans ¡For ¡the ¡Future ¡

slide-23
SLIDE 23

Using ¡Survey ¡Data ¡

  • Our ¡goal ¡is ¡to ¡help ¡coordinators ¡to ¡use ¡data ¡to ¡

conNnuously ¡monitor ¡and ¡make ¡effecNve ¡ decisions ¡to ¡improve ¡their ¡programs. ¡

DRL # 1038154

slide-24
SLIDE 24

In ¡the ¡first ¡profile, ¡most ¡respondents ¡either ¡“Strongly ¡Agree” ¡or ¡“Somewhat ¡Agree” ¡with ¡the ¡ statement ¡in ¡the ¡survey ¡item. ¡Since ¡this ¡item ¡is ¡worded ¡posiNvely, ¡it ¡is ¡reasonable ¡to ¡infer ¡that ¡ most ¡students ¡enrolled ¡in ¡the ¡STEM ¡outreach ¡program ¡do ¡believe ¡that ¡math ¡is ¡important ¡for ¡ their ¡life. ¡Programs ¡could ¡use ¡this ¡informaNon ¡as ¡an ¡iniNal ¡piece ¡of ¡data ¡to ¡refine ¡some ¡of ¡ their ¡acNviNes ¡to ¡support ¡student ¡interest. ¡

DRL # 1038154

Example ¡– ¡Math ¡a^tude ¡ ¡

slide-25
SLIDE 25

In ¡the ¡second ¡profile, ¡more ¡students ¡“Agree” ¡with ¡the ¡statement, ¡than ¡“Disagree” ¡with ¡ it; ¡however, ¡this ¡profile ¡suggests ¡that ¡substanNal ¡disagreement ¡exists ¡within ¡students ¡in ¡ the ¡program. ¡The ¡wide ¡range ¡of ¡responses ¡implies ¡that ¡program ¡opportuniNes ¡should ¡be ¡ varied ¡to ¡include ¡mulNple ¡topical ¡areas ¡when ¡possible ¡so ¡that ¡students ¡are ¡free ¡to ¡ choose ¡areas ¡that ¡interest ¡them ¡most. ¡

DRL # 1038154

Example ¡– ¡Engineering ¡a^tude ¡

slide-26
SLIDE 26
  • In ¡the ¡first ¡profile, ¡most ¡respondents ¡are ¡either ¡"Very ¡Interested" ¡or ¡

"Somewhat ¡Interested" ¡in ¡the ¡described ¡career. ¡Since ¡this ¡item ¡is ¡worded ¡ posiNvely, ¡it ¡is ¡reasonable ¡to ¡infer ¡that ¡most ¡students ¡are ¡interested ¡in ¡this ¡ parNcular ¡career, ¡and ¡program ¡coordinators ¡could ¡build ¡guidance ¡toward ¡this ¡ type ¡of ¡career ¡into ¡their ¡STEM ¡program. ¡

DRL # 1038154

Example ¡– ¡STEM ¡Subject ¡Area ¡Interest ¡

slide-27
SLIDE 27

Example ¡– ¡STEM ¡Subject ¡Area ¡Interest ¡

The ¡second ¡profile ¡represents ¡students ¡who ¡are ¡very ¡mixed ¡ in ¡their ¡thinking ¡about ¡this ¡career ¡path. ¡AddiNonal ¡ informaNon ¡will ¡be ¡required ¡to ¡determine ¡why ¡people ¡feel ¡ the ¡way ¡that ¡they ¡do ¡about ¡issues ¡relaNng ¡to ¡this ¡item. ¡

DRL # 1038154

slide-28
SLIDE 28

Student ¡A^tudes ¡toward ¡STEM ¡ ¡ by ¡School-­‑Level ¡

Note: ¡Responses ¡were ¡recorded ¡on ¡a ¡five-­‑point ¡Likert ¡scale: ¡“strongly ¡disagree” ¡(1), ¡“disagree” ¡(2), ¡ “neither ¡agree ¡nor ¡disagree” ¡(3), ¡“agree” ¡(4), ¡and ¡“strongly ¡agree” ¡(5). ¡ ¡

Construct ¡ Average Construct Score ¡ Upper

  • Elem. ¡

Middle ¡ High ¡ Total ¡ (std. dev.) ¡ Science Attitudes ¡ 3.31 ¡ 3.19 ¡ 3.19 ¡ 3.28 (0.70) ¡ Math Attitudes ¡ 3.15 ¡ 3.09 ¡ 3.06 ¡ 3.11 (0.39) ¡ Engineering & Technology Attitudes ¡ 3.60 ¡ 3.39 ¡ 3.28 ¡ 3.44 (0.84) ¡

DRL # 1038154

slide-29
SLIDE 29

Student ¡A^tudes ¡toward ¡Science ¡ ¡ by ¡Gender ¡

DRL # 1038154

slide-30
SLIDE 30

Student ¡A^tudes ¡toward ¡Math ¡ ¡ by ¡Gender ¡

DRL # 1038154

slide-31
SLIDE 31

Student ¡A^tudes ¡toward ¡Engineering ¡& ¡ Technology ¡by ¡Gender ¡

DRL # 1038154

slide-32
SLIDE 32

DRL # 1038154

Student ¡A^tudes ¡toward ¡Careers ¡by ¡Gender ¡

slide-33
SLIDE 33

Student ¡A^tudes ¡toward ¡Careers ¡by ¡Gender ¡

DRL # 1038154

slide-34
SLIDE 34

More ¡Discussion ¡… ¡

  • What ¡are ¡some ¡quesNons ¡of ¡interest? ¡
  • How ¡could ¡these ¡surveys ¡inform ¡your ¡program ¡

and ¡lead ¡to ¡data-­‑driven ¡decisions? ¡

  • What ¡could ¡be ¡some ¡future ¡direcNons ¡for ¡your ¡

project? ¡

DRL # 1038154

Thank ¡you! ¡

  • ­‑ ¡Eric ¡Wiebe, ¡Tracey ¡Collins ¡and ¡Tricia ¡Townsend ¡

Friday ¡InsJtute ¡Instrument ¡Request ¡link: ¡ h8p://go.ncsu.edu/instrumentrequesri ¡