January ¡8, ¡2016 ¡St. ¡Louis ¡MASA ¡Region ¡
1 ¡
CONCEPT PRESENTATION January 8, 2016 St. Louis MASA Region - - PowerPoint PPT Presentation
CONCEPT PRESENTATION January 8, 2016 St. Louis MASA Region 1 Agenda I. Welcome II. FoundaAon III. Assessment for Learning Study - MASA
1 ¡
2 ¡
achievement ¡
state ¡guidelines ¡
audience) ¡
3 ¡
ASSESSMENT ¡ ACCOUNTABILITY ¡ ACCREDITATION ¡
¡
¡assessment ¡system ¡that ¡includes ¡the ¡use ¡of ¡local ¡assessments. ¡A ¡ consor7um ¡of ¡up ¡to ¡4 ¡states ¡is ¡also ¡permiJed. ¡Grants ¡may ¡last ¡from ¡3-‑5 ¡five ¡
4 ¡
which ¡incorporates ¡the ¡following ¡concepts ¡and ¡supports ¡local ¡control. ¡
achievement ¡
guidelines ¡
providing ¡a ¡clear, ¡achievable ¡learning ¡target, ¡supporAng ¡goal ¡se[ng ¡with ¡ the ¡development ¡of ¡personalized ¡learning ¡plans, ¡providing ¡feedback ¡on ¡ depth ¡of ¡understanding, ¡and ¡informing ¡the ¡student, ¡their ¡parent(s)/guardian ¡ and ¡teacher(s) ¡about ¡readiness ¡for ¡next ¡stages ¡in ¡learning. ¡
6 ¡
7 ¡
Source: ¡A ¡Framework ¡for ¡Considering ¡Interim ¡Assessments; ¡Marianne ¡Perie, ¡ScoM ¡Marion, ¡ Gong ¡NaAonal ¡Center ¡for ¡the ¡Improvement ¡of ¡EducaAonal ¡Assessment ¡Feb ¡13, ¡2007 ¡
8 ¡
9 ¡
Assessment ¡ Yes ¡ No ¡ Star ¡ 73 ¡ 103 ¡ Study ¡Island ¡ 57 ¡ 119 ¡ AIMSWeb ¡ 45 ¡ 131 ¡ Acuity ¡ 38 ¡ 138 ¡ Other ¡ 38 ¡ 138 ¡ MobyMax ¡ 24 ¡ 152 ¡ iReady ¡ 21 ¡ 155 ¡ USA ¡Test ¡Prep ¡ 20 ¡ 156 ¡ Discovery ¡ 18 ¡ 158 ¡ NWEA-‑MAP ¡ 14 ¡ 162 ¡ Evaluate ¡ 5 ¡ 171 ¡ Ten ¡Marks ¡ 5 ¡ 171 ¡ Performance ¡Coach ¡ 4 ¡ 172 ¡ Galileo ¡ 2 ¡ 174 ¡ Performance ¡Series ¡ 0 ¡ 176 ¡
10 ¡
11 ¡
PROPOSED Process for Data Compilation, Analyses, and Reporting D1 D2 D3 D4 D5 D6 D7 D8 D9 D10
Data from the 14-15 school year:
(EOY) scale score from internal assessment ELA
from internal assessment math
the student level, if the district wishes to take the findings back to the local level and apply them back to individual students. D = District
*Note this sample is for one assessment (e.g., Acuity). This process would be applied for every assessment studied.
One Complete File per Interim Assessment
area
Interim Scale Score;
at the student level
values against observed MAP scale scores
achievement level against predicted.
area
grade by content area (observed vs. predicted)
but also fully reproduced at the local, participating district level.
concordance reference table for users Data Compilation Phase Analyses Phase Reporting Phase
*Note the individual level data could be returned to the district, if the district wished to apply the findings back to individual student
need to know the key (random student ID to district ID) to make these joins as the researcher(s) doing this work would not want nor need access to MOSIS IDs or District Student IDs.
12 ¡
13 ¡
14 ¡
15 ¡
ELA ¡ MATH ¡ 3rd ¡Grade ¡ 352 ¡ 362 ¡ 4th ¡Grade ¡ 366 ¡ 394 ¡ 5th ¡Grade ¡ 365 ¡ 371 ¡ 6th ¡Grade ¡ 359 ¡ 355 ¡ 7th ¡Grade ¡ 357 ¡ 349 ¡ 8th ¡Grade ¡ 340 ¡ 214 ¡ TOTAL ¡ 2,139 ¡ 2,045 ¡ Number ¡of ¡Cases ¡by ¡Grade ¡Level ¡by ¡Content ¡Area ¡
16 ¡
Interim ¡ Feb ¡15-‑ MAP ¡ Interim ¡ March ¡15-‑ MAP ¡ Interim ¡ Sum-‑MAP ¡ Interim ¡ Feb ¡15-‑ Interim ¡ March ¡15 ¡ Interim ¡ Feb ¡15-‑ Interim ¡ Sum ¡ Interim ¡ March ¡15-‑ Interim ¡ Sum ¡ 3rd ¡Grade ¡ .791 ¡ .789 ¡ .841 ¡ .763 ¡ .923 ¡ .953 ¡ 4th ¡Grade ¡ .680 ¡ .604 ¡ .694 ¡ .718 ¡ .933 ¡ .920 ¡ 5th ¡Grade ¡ .815 ¡ .806 ¡ .857 ¡ .790 ¡ .942 ¡ .950 ¡ 6th ¡Grade ¡ .733 ¡ .760 ¡ .798 ¡ .751 ¡ .932 ¡ .939 ¡ 7th ¡Grade ¡ .723 ¡ .799 ¡ .823 ¡ .728 ¡ .909 ¡ .948 ¡ 8th ¡Grade ¡ .758 ¡ .728 ¡ .805 ¡ .705 ¡ .923 ¡ .924 ¡ *All ¡correlaAons ¡significant ¡at ¡.05 ¡level. ¡
17 ¡
ELA ¡ScaJerplots, ¡MAP ¡Scale ¡– ¡Interim ¡Sum ¡by ¡Grade ¡Level ¡
Interim ¡Sum ¡ Interim ¡Sum ¡ Interim ¡Sum ¡ Interim ¡Sum ¡ Interim ¡Sum ¡ Interim ¡Sum ¡
18 ¡
ELA ¡ScaJerplots, ¡MAP ¡Scale ¡Observed– ¡MAP ¡Scale ¡Predicted ¡by ¡Grade ¡Level ¡
19 ¡
Below ¡ Basic ¡ Basic ¡ Proficient ¡ Advanced ¡ 3rd ¡Grade ¡
Below ¡2367 ¡ 2367-‑2431 ¡ 2432-‑2489 ¡ 2490+ ¡
4th ¡Grade ¡
Below ¡2416 ¡ 2416-‑2472 ¡ 2473-‑2532 ¡ 2533+ ¡
5th ¡Grade ¡
Below ¡2442 ¡ 2442-‑2501 ¡ 2502-‑2581 ¡ 2582+ ¡
6th ¡Grade ¡
Below ¡2457 ¡ 2457-‑2530 ¡ 2531-‑2617 ¡ 2618+ ¡
7th ¡Grade ¡
Below ¡2479 ¡ 2479-‑2551 ¡ 2552-‑2648 ¡ 2649+ ¡
8th ¡Grade ¡
Below ¡2487 ¡ 2487-‑2566 ¡ 2567-‑2667 ¡ 2668+ ¡
Source: ¡Missouri ¡Department ¡of ¡Elementary ¡and ¡Secondary ¡EducaAon. ¡(June ¡2015). ¡Missouri ¡ Assessment ¡Program ¡Grade-‑Level ¡Assessments: ¡Guide ¡to ¡Interpre%ng ¡Results. ¡Jefferson ¡City, ¡MO. ¡
20 ¡
21 ¡
Comparing ¡Percent ¡Top ¡Two, ¡Observed ¡Vs. ¡Predicted, ¡ELA ¡
22 ¡
Further ¡ disaggrega7on ¡of ¡ the ¡ELA ¡observed ¡ levels ¡against ¡the ¡ predicted ¡levels. ¡
Addi7onal ¡Suppor7ng ¡Data ¡Could ¡Also ¡Be ¡Generated ¡
23 ¡
3rd ¡ ¡ Grade ¡ 4th ¡ ¡ Grade ¡ 5th ¡ ¡ Grade ¡ 6th ¡ ¡ Grade ¡ 7th ¡ ¡ Grade ¡ 8th ¡ ¡ Grade ¡ Below ¡Basic ¡ 48 ¡or ¡ lower ¡ 44 ¡or ¡ lower ¡ 46 ¡or ¡ lower ¡ 65 ¡or ¡ lower ¡ 73 ¡or ¡ lower ¡ 68 ¡or ¡ lower ¡ Basic ¡ 49-‑86 ¡ 45-‑77 ¡ 46-‑78 ¡ 66-‑102 ¡ 74-‑105 ¡ 69-‑109 ¡ Proficient ¡ 87-‑120 ¡ 78-‑114 ¡ 79-‑123 ¡ 103-‑144 ¡ 106-‑146 ¡ 110-‑161 ¡ Advanced ¡ 121 ¡or ¡ higher ¡ 115 ¡or ¡ higher ¡ 124 ¡or ¡ higher ¡ 145 ¡or ¡ higher ¡ 147 ¡or ¡ higher ¡ 162 ¡or ¡ higher ¡
24 ¡
Interim ¡ Feb ¡15-‑ MAP ¡ Interim ¡ March ¡15-‑ MAP ¡ Interim ¡ Sum-‑MAP ¡ Interim ¡ Feb ¡15-‑ Interim ¡ March ¡15 ¡ Interim ¡ Feb ¡15-‑ Interim ¡ Sum ¡ Interim ¡ March ¡15-‑ Interim ¡ Sum ¡ 3rd ¡Grade ¡ .806 ¡ .789 ¡ .846 ¡ .777 ¡ .949 ¡ .935 ¡ 4th ¡Grade ¡ .762 ¡ .706 ¡ .782 ¡ .779 ¡ .959 ¡ .925 ¡ 5th ¡Grade ¡ .794 ¡ .798 ¡ .826 ¡ .856 ¡ .966 ¡ .961 ¡ 6th ¡Grade ¡ .786 ¡ .820 ¡ .860 ¡ .744 ¡ .931 ¡ .936 ¡ 7th ¡Grade ¡ .839 ¡ .860 ¡ .878 ¡ .873 ¡ .965 ¡ .970 ¡ 8th ¡Grade ¡ .739 ¡ .793 ¡ .816 ¡ .766 ¡ .935 ¡ .944 ¡ *All ¡correlaAons ¡significant ¡at ¡.05 ¡level. ¡
25 ¡
Math ¡ScaJerplots, ¡MAP ¡Scale ¡– ¡Interim ¡Sum ¡by ¡Grade ¡Level ¡
26 ¡
Math ¡ScaJerplots, ¡MAP ¡Scale ¡Observed– ¡MAP ¡Scale ¡Predicted ¡by ¡Grade ¡Level ¡
27 ¡
Below ¡ Basic ¡ Basic ¡ Proficient ¡ Advanced ¡ 3rd ¡Grade ¡
Below ¡2381 ¡ 2381-‑2435 ¡ 2436-‑2500 ¡ 2501+ ¡
4th ¡Grade ¡
Below ¡2411 ¡ 2411-‑2484 ¡ 2485-‑2548 ¡ 2549+ ¡
5th ¡Grade ¡
Below ¡2455 ¡ 2455-‑2527 ¡ 2528-‑2578 ¡ 2579+ ¡
6th ¡Grade ¡
Below ¡2473 ¡ 2473-‑2551 ¡ 2552-‑2609 ¡ 2610+ ¡
7th ¡Grade ¡
Below ¡2484 ¡ 2484-‑2566 ¡ 2567-‑2634 ¡ 2365+ ¡
8th ¡Grade ¡
Below ¡2504 ¡ 2504-‑2585 ¡ 2586-‑2652 ¡ 2653+ ¡
Source: ¡Missouri ¡Department ¡of ¡Elementary ¡and ¡Secondary ¡EducaAon. ¡(June ¡2015). ¡Missouri ¡ Assessment ¡Program ¡Grade-‑Level ¡Assessments: ¡Guide ¡to ¡Interpre%ng ¡Results. ¡Jefferson ¡City, ¡MO. ¡
28 ¡
29 ¡
Comparing ¡Percent ¡Top ¡Two, ¡Observed ¡Vs. ¡Predicted, ¡Math ¡
30 ¡
Further ¡ disaggrega7on ¡of ¡ the ¡Math ¡
against ¡the ¡ predicted ¡levels. ¡
Addi7onal ¡Suppor7ng ¡Data ¡Could ¡Also ¡Be ¡Generated ¡
31 ¡
3rd ¡ ¡ Grade ¡ 4th ¡ ¡ Grade ¡ 5th ¡ ¡ Grade ¡ 6th ¡ ¡ Grade ¡ 7th ¡ ¡ Grade ¡ 8th ¡ ¡ Grade ¡ Below ¡Basic ¡ 83 ¡or ¡ lower ¡ 72 ¡or ¡ lower ¡ 66 ¡or ¡ lower ¡ 75 ¡or ¡ lower ¡ 48 ¡or ¡ lower ¡ 64 ¡or ¡ lower ¡ Basic ¡ 84-‑114 ¡ 74-‑118 ¡ 67-‑109 ¡ 76-‑109 ¡ 49-‑96 ¡ 65-‑102 ¡ Proficient ¡ 115-‑149 ¡ 119-‑157 ¡ 110-‑139 ¡ 110-‑135 ¡ 97-‑135 ¡ 103-‑131 ¡ Advanced ¡ 150 ¡or ¡ higher ¡ 158 ¡or ¡ higher ¡ 140 ¡or ¡ higher ¡ 136 ¡or ¡ higher ¡ 136 ¡or ¡ higher ¡ 132 ¡or ¡ higher ¡
ELA ¡MAP—Interim ¡ Sum ¡ Math ¡MAP—Interim ¡ Sum ¡ 3rd ¡Grade ¡ .841 ¡ .846 ¡ 4th ¡Grade ¡ .698 ¡ .782 ¡ 5th ¡Grade ¡ .857 ¡ .826 ¡ 6th ¡Grade ¡ .798 ¡ .860 ¡ 7th ¡Grade ¡ .823 ¡ .878 ¡ 8th ¡Grade ¡ .805 ¡ .816 ¡
32 ¡
Local: ¡standards ¡based ¡formaAve ¡and ¡interim ¡assessments ¡with ¡ student ¡as ¡primary ¡audience. ¡ ¡ State: ¡standards ¡based ¡summaAve ¡end-‑of-‑grade ¡level/grade ¡span ¡ growth ¡measures ¡with ¡student ¡as ¡primary ¡audience ¡and ¡adults ¡as ¡an ¡ important ¡second ¡audience. ¡Used ¡to ¡meet ¡ESSA ¡requirements. ¡
the ¡only ¡opAon) ¡
¡ ¡ ¡ ¡ ¡ ¡level ¡expectaAon ¡with ¡consideraAon ¡of ¡new ¡nomenclature)* ¡
Science ¡and ¡chronological ¡grade ¡level) ¡
* ¡merits ¡study ¡recognizing ¡this ¡is ¡currently ¡addressed ¡in ¡MO ¡statute ¡??? ¡
33 ¡
¡
¡ ¡
34 ¡
35 ¡
District_________________ ¡ ¡ ¡Contact ¡Person ¡_____________________ ¡ ¡
¡
2014-‑2015 ¡school ¡year? ¡If ¡yes, ¡please ¡check ¡those ¡that ¡apply. ¡
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Star ¡ ¡___ ¡Acuity ¡___ ¡ ¡iReady ¡_____ ¡ ¡ ¡Discovery ¡____ ¡NWEA-‑MAP ¡____ ¡Evaluate ¡___ ¡ ¡ ¡Galileo ¡____ ¡
¡
parAcipaAng ¡in ¡the ¡study? ¡ ¡___ ¡ ¡Want ¡to ¡parAcipate ¡ ¡___ ¡ ¡Interested ¡but ¡need ¡more ¡informaAon ¡ ¡___ ¡ ¡Not ¡interested ¡ ¡
¡ ¡