Op#mal Reassembly of Shadow Tests in CAT Seung W. Choi, - - PowerPoint PPT Presentation

Op#mal ¡Reassembly ¡of ¡Shadow ¡Tests ¡in ¡CAT ¡

Seung ¡W. ¡Choi, ¡Karin ¡Mollering, ¡Jie ¡Li, ¡& ¡ Wim ¡J. ¡van ¡der ¡Linden ¡ ¡ McGraw-­‑Hill ¡Educa#on ¡CTB ¡

2015 ¡Na#onal ¡Conference ¡on ¡Student ¡Assessment, ¡June ¡22-­‑24, ¡San ¡Diego, ¡CA ¡

Context ¡

I. “The ¡[CAT] ¡delivery ¡system ¡must ¡support ¡at ¡least ¡250,000 ¡simultaneous ¡ testers.” ¡ II. “Contractor’s ¡[CAT] ¡solu#on ¡must ¡be ¡a ¡mul)-­‑stage ¡approach ¡and ¡allows ¡ for ¡different ¡item ¡selec#on ¡rou#nes/algorithms ¡to ¡be ¡applied ¡to ¡each ¡ sec#on ¡if ¡desired.” ¡ III. “Assessments ¡will ¡be ¡par))oned ¡into ¡parts/segments ¡that ¡will ¡target ¡ specific ¡areas ¡of ¡content. ¡[…] ¡Different ¡selec#on ¡rules ¡could ¡then ¡be ¡ applied ¡to ¡either ¡consecu#ve ¡or ¡pre-­‑iden#fied ¡item ¡subsets.” ¡

Objec#ve ¡

• Even ¡in ¡the ¡age ¡of ¡abundant ¡and ¡fast ¡compu#ng ¡resources, ¡

concurrency ¡requirements ¡for ¡large-­‑scale ¡online ¡tes#ng ¡ programs ¡s#ll ¡put ¡an ¡uninterrupted ¡delivery ¡of ¡computer-­‑ adap#ve ¡tests ¡at ¡risk. ¡ ¡

• For ¡the ¡par#cularly ¡compu#ng-­‑intensive ¡shadow-­‑test ¡

approach ¡to ¡CAT ¡(Shadow ¡CAT) ¡we ¡therefore ¡propose ¡ effec#ve ¡strategies ¡reducing ¡computa#onal ¡demands ¡without ¡ compromising ¡measurement ¡quality. ¡

Maximum ¡ Measurement ¡ Precision ¡ Content ¡ Psychometric ¡ Constraints ¡ Sequen#al ¡ Selec#on ¡ Simultaneous ¡ Selec#on ¡

Shadow ¡CAT ¡

Shadow ¡Test ¡Approach ¡to ¡CAT ¡

Previously ¡administered ¡item ¡ n-­‑1 ¡

. ¡. ¡. ¡

1 ¡ 2 ¡ n ¡ 3 ¡ Item ¡Posi#on ¡ 4 ¡

Standard ¡Shadow ¡CAT ¡

1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ Standard ¡ShadowCAT ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ LOFT ¡ 2-­‑Stage ¡on-­‑the-­‑fly ¡MST ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ 10 ¡ 𝑗=1,2,3,…𝑜 ¡ 𝑜=10 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ Adap#ve ¡+ ¡Fixed ¡

* ¡van ¡der ¡Linden ¡and ¡Diao ¡(2014) ¡– ¡Using ¡a ¡Universal ¡Shadow-­‑Test ¡Assembler ¡with ¡Mul#stage ¡Tes#ng ¡

Universal ¡Shadow ¡Test ¡Assembler* ¡

1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ Fixed ¡+ ¡Adap#ve ¡ Si ¡ ¡= ¡ ¡ 1 ¡ ¡If ¡shadow ¡test ¡is ¡reassembled ¡ 0 ¡ ¡if ¡shadow ¡test ¡is ¡frozen ¡

Reassembly ¡Policies ¡

• Freeze ¡Period ¡Policy ¡
• Theta ¡Threshold ¡Policy ¡
• Hybrid ¡Policy ¡

Freeze ¡Period ¡Policy ¡

Freeze ¡Policy ¡ (t_freeze ¡= ¡x) ¡

Item ¡ Posi#on ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ 4 ¡ Assemble ¡ Freeze ¡ Assemble ¡ Freeze ¡ 5 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Assemble ¡ 6 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ 8 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 9 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Assemble ¡ 10 ¡ Assemble ¡ Freeze ¡ Assemble ¡ Freeze ¡ 11 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ 12 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 14 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡

Theta ¡Threshold ¡Policy ¡

Threshold ¡Policy ¡ (threshold ¡= ¡y) ¡

Item ¡ Posi#on ¡ 0 ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 3 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 4 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 5 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 6 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 7 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 8 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 9 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 10 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 11 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 12 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 13 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡ 14 ¡ Assemble ¡ > ¡0.1 ¡ > ¡0.3 ¡ > ¡0.5 ¡

Theta ¡Threshold ¡Policy ¡ (true ¡θ ¡= ¡2.5; ¡θ ¡threshold ¡= ¡0.1) ¡ ¡

Hybrid ¡Policy ¡

Hybrid ¡Policy ¡ (t_freeze ¡= ¡x ¡& ¡threshold ¡= ¡y) ¡

Item ¡ Posi#on ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Assemble ¡ ? ¡ Freeze ¡ Freeze ¡ 4 ¡ Assemble ¡ Freeze ¡ ? ¡ Freeze ¡ 5 ¡ Assemble ¡ ? ¡ Freeze ¡ ? ¡ 6 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Assemble ¡ ? ¡ ? ¡ Freeze ¡ 8 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 9 ¡ Assemble ¡ ? ¡ Freeze ¡ ? ¡ 10 ¡ Assemble ¡ Freeze ¡ ? ¡ Freeze ¡ 11 ¡ Assemble ¡ ? ¡ Freeze ¡ Freeze ¡ 12 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ Assemble ¡ ? ¡ ? ¡ ? ¡ 14 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡

Empirical ¡Study ¡

• Item ¡pool ¡– ¡1,000 ¡items ¡(918 ¡MC ¡and ¡82 ¡CR ¡items ¡) ¡
• Test ¡specifica)ons ¡– ¡Smarter ¡Balanced ¡Math ¡test ¡blueprint ¡
• CAT ¡Length ¡– ¡32 ¡items ¡
• Sample ¡– ¡θ ¡at ¡fixed ¡intervals ¡(from ¡-­‑2.5 ¡to ¡2.5) ¡with ¡500 ¡

replica#ons ¡per ¡θ ¡(N ¡= ¡5,500) ¡

• Freeze ¡interval ¡– ¡tfreeze ¡= ¡{3, ¡7, ¡15, ¡31} ¡
• Theta ¡threshold ¡– ¡θthreshold ¡= ¡{0.1, ¡0.3, ¡0.5, ¡0.7, ¡0.9} ¡
• Hybrid ¡-­‑ ¡tfreeze ¡= ¡{3, ¡7} ¡& ¡θthreshold ¡= ¡{0.1, ¡0.3, ¡0.5, ¡0.7, ¡0.9} ¡
• Benchmarks ¡– ¡Standard ¡Shadow ¡CAT ¡& ¡LOFT ¡at ¡true ¡θ ¡
• Evalua)on ¡criteria ¡– ¡Refresh ¡rates, ¡RMSE, ¡Bias ¡

Item ¡Pool ¡Informa#on ¡Func#on ¡

Test ¡Blueprint ¡Constraints ¡

Results ¡

Freeze ¡Period ¡Policy ¡

Freeze ¡Policy ¡ (freeze ¡= ¡x) ¡ Item ¡ Posi#on ¡ 0 ¡ 3 ¡ 7 ¡ 15 ¡ 31 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 4 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 5 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 6 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 8 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 9 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ 10 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 11 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 12 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 14 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 15 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 16 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 17 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ 18 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 19 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 20 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 21 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 22 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 23 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 24 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 25 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ 26 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 27 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 28 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 29 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 30 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 31 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 32 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡

N ¡ Assemblies ¡ 32 ¡ 8 ¡ 4 ¡ 2 ¡ 1 ¡ RMSE ¡ 0.188 ¡ 0.189 ¡ 0.199 ¡ 0.264 ¡ 1.208 ¡

N ¡ Assemblies ¡ 32 ¡ 8 ¡ 4 ¡ 2 ¡ 1 ¡ RMSE ¡ 0.188 ¡ 0.189 ¡ 0.199 ¡ 0.264 ¡ 1.208 ¡

Theta ¡Threshold ¡Policy ¡

Theta ¡Threshold ¡Policy ¡ (|Δθ| ¡≥ ¡x) ¡ Item ¡ Posi#on ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ 1.00 ¡ 0.97 ¡ 0.97 ¡ 0.43 ¡ 0.00 ¡ 3 ¡ 1.00 ¡ 0.98 ¡ 0.02 ¡ 0.40 ¡ 0.77 ¡ 4 ¡ 0.98 ¡ 0.48 ¡ 0.65 ¡ 0.23 ¡ 0.00 ¡ 5 ¡ 0.99 ¡ 0.33 ¡ 0.03 ¡ 0.03 ¡ 0.01 ¡ 6 ¡ 0.94 ¡ 0.25 ¡ 0.27 ¡ 0.21 ¡ 0.13 ¡ 7 ¡ 0.91 ¡ 0.24 ¡ 0.07 ¡ 0.06 ¡ 0.16 ¡ 8 ¡ 0.79 ¡ 0.12 ¡ 0.10 ¡ 0.04 ¡ 0.01 ¡ 9 ¡ 0.67 ¡ 0.16 ¡ 0.03 ¡ 0.02 ¡ 0.03 ¡ 10 ¡ 0.51 ¡ 0.09 ¡ 0.05 ¡ 0.04 ¡ 0.01 ¡ 11 ¡ 0.44 ¡ 0.08 ¡ 0.03 ¡ 0.02 ¡ 0.02 ¡ 12 ¡ 0.35 ¡ 0.08 ¡ 0.04 ¡ 0.02 ¡ 0.01 ¡ 13 ¡ 0.29 ¡ 0.05 ¡ 0.03 ¡ 0.01 ¡ 0.02 ¡ 14 ¡ 0.26 ¡ 0.05 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 15 ¡ 0.23 ¡ 0.04 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 16 ¡ 0.21 ¡ 0.04 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 17 ¡ 0.19 ¡ 0.03 ¡ 0.01 ¡ 0.01 ¡ 0.01 ¡ 18 ¡ 0.16 ¡ 0.03 ¡ 0.01 ¡ 0.01 ¡ 0.01 ¡ 19 ¡ 0.15 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 20 ¡ 0.14 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 21 ¡ 0.12 ¡ 0.03 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 22 ¡ 0.11 ¡ 0.02 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 23 ¡ 0.10 ¡ 0.02 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 24 ¡ 0.09 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 25 ¡ 0.08 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 26 ¡ 0.08 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 27 ¡ 0.07 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 28 ¡ 0.06 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 29 ¡ 0.05 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 30 ¡ 0.04 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 31 ¡ 0.04 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 32 ¡ 0.03 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡

N ¡ Assemblies ¡ 12.12 ¡ 5.21 ¡ 3.44 ¡ 2.62 ¡ 2.22 ¡ RMSE ¡ 0.188 ¡ 0.188 ¡ 0.189 ¡ 0.192 ¡ 0.200 ¡

N ¡ Assemblies ¡ 12.12 ¡ 5.21 ¡ 3.44 ¡ 2.62 ¡ 2.22 ¡ RMSE ¡ 0.188 ¡ 0.188 ¡ 0.189 ¡ 0.192 ¡ 0.200 ¡

Hybrid ¡Policy ¡

Hybrid ¡Policy ¡ (freeze ¡= ¡3 ¡& ¡|Δθ| ¡≥ ¡x) ¡ Item ¡ Posi#on ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 4 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 5 ¡ 0.93 ¡ 0.87 ¡ 0.81 ¡ 0.73 ¡ 0.61 ¡ 6 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 8 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 9 ¡ 0.83 ¡ 0.58 ¡ 0.32 ¡ 0.21 ¡ 0.21 ¡ 10 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 11 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 12 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ 0.64 ¡ 0.24 ¡ 0.16 ¡ 0.10 ¡ 0.05 ¡ 14 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 15 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 16 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 17 ¡ 0.50 ¡ 0.14 ¡ 0.07 ¡ 0.05 ¡ 0.04 ¡ 18 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 19 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 20 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 21 ¡ 0.36 ¡ 0.09 ¡ 0.04 ¡ 0.03 ¡ 0.02 ¡ 22 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 23 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 24 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 25 ¡ 0.28 ¡ 0.06 ¡ 0.03 ¡ 0.02 ¡ 0.02 ¡ 26 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 27 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 28 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 29 ¡ 0.20 ¡ 0.04 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 30 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 31 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 32 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡

N ¡ Assemblies ¡ 4.73 ¡ 3.01 ¡ 2.44 ¡ 2.15 ¡ 1.96 ¡ RMSE ¡ 0.189 ¡ 0.193 ¡ 0.196 ¡ 0.201 ¡ 0.206 ¡

N ¡ Assemblies ¡ 4.73 ¡ 3.01 ¡ 2.44 ¡ 2.15 ¡ 1.96 ¡ RMSE ¡ 0.189 ¡ 0.193 ¡ 0.196 ¡ 0.201 ¡ 0.206 ¡

Hybrid ¡Policy ¡ (freeze ¡= ¡7 ¡& ¡|Δθ| ¡≥ ¡x) ¡ Item ¡ Posi#on ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 4 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 5 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 6 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 8 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 9 ¡ 0.95 ¡ 0.88 ¡ 0.81 ¡ 0.74 ¡ 0.66 ¡ 10 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 11 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 12 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 14 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 15 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 16 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 17 ¡ 0.79 ¡ 0.45 ¡ 0.28 ¡ 0.15 ¡ 0.10 ¡ 18 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 19 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 20 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 21 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 22 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 23 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 24 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 25 ¡ 0.52 ¡ 0.16 ¡ 0.09 ¡ 0.07 ¡ 0.04 ¡ 26 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 27 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 28 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 29 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 30 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 31 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 32 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡

N ¡ Assemblies ¡ 3.27 ¡ 2.50 ¡ 2.17 ¡ 1.97 ¡ 1.80 ¡ RMSE ¡ 0.199 ¡ 0.200 ¡ 0.203 ¡ 0.206 ¡ 0.211 ¡

N ¡ Assemblies ¡ 3.27 ¡ 2.50 ¡ 2.17 ¡ 1.97 ¡ 1.80 ¡ RMSE ¡ 0.199 ¡ 0.200 ¡ 0.203 ¡ 0.206 ¡ 0.211 ¡

Freeze ¡Policy ¡ (freeze ¡= ¡x) ¡ Theta ¡Threshold ¡Policy ¡ (|Δθ| ¡≥ ¡x) ¡ Hybrid ¡Policy ¡ (freeze ¡= ¡7 ¡& ¡|Δθ| ¡≥ ¡x) ¡ Hybrid ¡Policy ¡ (freeze ¡= ¡3 ¡& ¡|Δθ| ¡≥ ¡x) ¡ Item ¡ Posi#on ¡ 0 ¡ 3 ¡ 7 ¡ 15 ¡ 31 ¡ Item ¡ Posi#on ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡ Item ¡ Posi#on ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡ Item ¡ Posi#on ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡

1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 1 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ 2 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 2 ¡ 1.00 ¡ 0.97 ¡ 0.97 ¡ 0.43 ¡ 0.00 ¡ 2 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 2 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ 1.00 ¡ 0.98 ¡ 0.02 ¡ 0.40 ¡ 0.77 ¡ 3 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 3 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 4 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 4 ¡ 0.98 ¡ 0.48 ¡ 0.65 ¡ 0.23 ¡ 0.00 ¡ 4 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 4 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 5 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 5 ¡ 0.99 ¡ 0.33 ¡ 0.03 ¡ 0.03 ¡ 0.01 ¡ 5 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 5 ¡ 0.93 ¡ 0.87 ¡ 0.81 ¡ 0.73 ¡ 0.61 ¡ 6 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 6 ¡ 0.94 ¡ 0.25 ¡ 0.27 ¡ 0.21 ¡ 0.13 ¡ 6 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 6 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ 0.91 ¡ 0.24 ¡ 0.07 ¡ 0.06 ¡ 0.16 ¡ 7 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 7 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 8 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 8 ¡ 0.79 ¡ 0.12 ¡ 0.10 ¡ 0.04 ¡ 0.01 ¡ 8 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 8 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 9 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ 9 ¡ 0.67 ¡ 0.16 ¡ 0.03 ¡ 0.02 ¡ 0.03 ¡ 9 ¡ 0.95 ¡ 0.88 ¡ 0.81 ¡ 0.74 ¡ 0.66 ¡ 9 ¡ 0.83 ¡ 0.58 ¡ 0.32 ¡ 0.21 ¡ 0.21 ¡ 10 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 10 ¡ 0.51 ¡ 0.09 ¡ 0.05 ¡ 0.04 ¡ 0.01 ¡ 10 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 10 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 11 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 11 ¡ 0.44 ¡ 0.08 ¡ 0.03 ¡ 0.02 ¡ 0.02 ¡ 11 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 11 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 12 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 12 ¡ 0.35 ¡ 0.08 ¡ 0.04 ¡ 0.02 ¡ 0.01 ¡ 12 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 12 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ 0.29 ¡ 0.05 ¡ 0.03 ¡ 0.01 ¡ 0.02 ¡ 13 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 13 ¡ 0.64 ¡ 0.24 ¡ 0.16 ¡ 0.10 ¡ 0.05 ¡ 14 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 14 ¡ 0.26 ¡ 0.05 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 14 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 14 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 15 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 15 ¡ 0.23 ¡ 0.04 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 15 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 15 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 16 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 16 ¡ 0.21 ¡ 0.04 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 16 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 16 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 17 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ 17 ¡ 0.19 ¡ 0.03 ¡ 0.01 ¡ 0.01 ¡ 0.01 ¡ 17 ¡ 0.79 ¡ 0.45 ¡ 0.28 ¡ 0.15 ¡ 0.10 ¡ 17 ¡ 0.50 ¡ 0.14 ¡ 0.07 ¡ 0.05 ¡ 0.04 ¡ 18 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 18 ¡ 0.16 ¡ 0.03 ¡ 0.01 ¡ 0.01 ¡ 0.01 ¡ 18 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 18 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 19 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 19 ¡ 0.15 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 19 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 19 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 20 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 20 ¡ 0.14 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 20 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 20 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 21 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 21 ¡ 0.12 ¡ 0.03 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 21 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 21 ¡ 0.36 ¡ 0.09 ¡ 0.04 ¡ 0.03 ¡ 0.02 ¡ 22 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 22 ¡ 0.11 ¡ 0.02 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 22 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 22 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 23 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 23 ¡ 0.10 ¡ 0.02 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 23 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 23 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 24 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 24 ¡ 0.09 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 24 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 24 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 25 ¡ Assemble ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ 25 ¡ 0.08 ¡ 0.01 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 25 ¡ 0.52 ¡ 0.16 ¡ 0.09 ¡ 0.07 ¡ 0.04 ¡ 25 ¡ 0.28 ¡ 0.06 ¡ 0.03 ¡ 0.02 ¡ 0.02 ¡ 26 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 26 ¡ 0.08 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 26 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 26 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 27 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 27 ¡ 0.07 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 27 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 27 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 28 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 28 ¡ 0.06 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 28 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 28 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 29 ¡ Assemble ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ 29 ¡ 0.05 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 29 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 29 ¡ 0.20 ¡ 0.04 ¡ 0.02 ¡ 0.01 ¡ 0.01 ¡ 30 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 30 ¡ 0.04 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 30 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 30 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 31 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 31 ¡ 0.04 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 31 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 31 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 32 ¡ Assemble ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 32 ¡ 0.03 ¡ 0.01 ¡ 0.00 ¡ 0.00 ¡ 0.00 ¡ 32 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ 32 ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡ Freeze ¡

N ¡ Assemblies ¡ 32 ¡ 8 ¡ 4 ¡ 2 ¡ 1 ¡ N ¡ Assemblies ¡ 12.12 ¡ 5.21 ¡ 3.44 ¡ 2.62 ¡ 2.22 ¡ N ¡ Assemblies ¡ 3.27 ¡ 2.50 ¡ 2.17 ¡ 1.97 ¡ 1.80 ¡ N ¡ Assemblies ¡ 4.73 ¡ 3.01 ¡ 2.44 ¡ 2.15 ¡ 1.96 ¡ RMSE ¡ 0.188 ¡ 0.189 ¡ 0.199 ¡ 0.264 ¡ 1.208 ¡ RMSE ¡ 0.188 ¡ 0.188 ¡ 0.189 ¡ 0.192 ¡ 0.200 ¡ RMSE ¡ 0.199 ¡ 0.200 ¡ 0.203 ¡ 0.206 ¡ 0.211 ¡ RMSE ¡ 0.189 ¡ 0.193 ¡ 0.196 ¡ 0.201 ¡ 0.206 ¡

Comparison ¡of ¡Strategies ¡

Freeze ¡Policy ¡ (freeze ¡= ¡x) ¡ Theta ¡Threshold ¡Policy ¡ (|Δθ| ¡> ¡x) ¡ Hybrid ¡Policy ¡ (freeze ¡= ¡7 ¡& ¡|Δθ| ¡> ¡x) ¡ Hybrid ¡Policy ¡ (freeze ¡= ¡3 ¡& ¡|Δθ| ¡> ¡x) ¡

¡ ¡

0 ¡ 3 ¡ 7 ¡ 15 ¡ 31 ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡ 0.1 ¡ 0.3 ¡ 0.5 ¡ 0.7 ¡ 0.9 ¡ N ¡ Assembly ¡ 32 ¡ 8 ¡ 4 ¡ 2 ¡ 1 ¡ 12.12 ¡ 5.21 ¡ 3.44 ¡ 2.62 ¡ 2.22 ¡ 3.27 ¡ 2.50 ¡ 2.17 ¡ 1.97 ¡ 1.80 ¡ 4.73 ¡ 3.01 ¡ 2.44 ¡ 2.15 ¡ 1.96 ¡ RMSE ¡ 0.188 ¡ 0.189 ¡ 0.199 ¡ 0.264 ¡ 1.208 ¡ 0.188 ¡ 0.188 ¡ 0.189 ¡ 0.192 ¡ 0.200 ¡ 0.199 ¡ 0.200 ¡ 0.203 ¡ 0.206 ¡ 0.211 ¡ 0.189 ¡ 0.193 ¡ 0.196 ¡ 0.201 ¡ 0.206 ¡

Standard ¡Shadow ¡CAT ¡ 8-­‑stage ¡on-­‑the-­‑fly ¡MST ¡ |Δθ| ¡≤ ¡0.5 ¡

Mean ¡Number ¡of ¡Assemblies ¡by ¡Theta ¡ ¡ for ¡Different ¡Theta ¡Threshold ¡Values ¡ ¡

• ­‑6 ¡
• ­‑8 ¡

RMSE ¡for ¡Different ¡Freeze ¡Intervals ¡ ¡ (1, ¡2, ¡4, ¡and ¡8 ¡Assemblies) ¡ ¡

RMSE ¡for ¡Different ¡Theta ¡Thresholds, ¡ ¡ Freeze ¡Intervals, ¡and ¡Hybrids ¡

Conclusions ¡

• Theore#cally, ¡maximum ¡adapta#on ¡is ¡realized ¡only ¡in ¡

standard ¡Shadow ¡CAT, ¡with ¡reassembly ¡of ¡the ¡shadow ¡test ¡ azer ¡each ¡administered ¡item. ¡

• However, ¡prac#cal ¡constraints ¡owing ¡to ¡shallow ¡item ¡pools, ¡

comprehensive ¡content ¡constraints, ¡and ¡exposure ¡control ¡ needs ¡may ¡overshadow ¡the ¡poten#al ¡benefits. ¡

• Moreover, ¡the ¡adaptability ¡may ¡be ¡inten#onally ¡regulated/

constrained ¡for ¡some ¡tes#ng ¡formats ¡(e.g., ¡MST). ¡

• This ¡study ¡demonstrates ¡some ¡effec#ve ¡strategies ¡to ¡reduce ¡

the ¡number ¡of ¡reassembled ¡shadow ¡tests ¡(up ¡to ¡90%) ¡without ¡ compromising ¡measurement ¡quality. ¡

Discussion ¡

• The ¡large-­‑scale ¡implementa#on ¡of ¡automated ¡test ¡assembly ¡

in ¡real ¡#me, ¡once ¡considered ¡computa#onally ¡too ¡intensive ¡ and ¡hence ¡imprac#cal, ¡has ¡become ¡just ¡another ¡rou#ne ¡in ¡ today’s ¡psychometric ¡and ¡computa#onal ¡machinery. ¡

• With ¡the ¡arrival ¡of ¡cloud ¡compu#ng, ¡the ¡real-­‑#me ¡constrained ¡

combinatorial ¡op#miza#on ¡problems ¡are ¡virtually ¡ instantaneous ¡and ¡scalable ¡prac#cally ¡without ¡limit. ¡

• The ¡Universal ¡Shadow ¡Test ¡Assembler ¡framework ¡allows ¡for ¡

implementa#on ¡of ¡various ¡adap#ve ¡tes#ng ¡formats ¡and ¡

• p#ons ¡for ¡adjus#ng ¡adaptability ¡and ¡efficiency ¡con#nually ¡

and ¡seamlessly. ¡

• This ¡framework ¡combined ¡with ¡Opera#ons ¡Research ¡may ¡

provide ¡the ¡poten#al ¡for ¡op#mizing ¡at ¡the ¡system ¡level. ¡

Concurrent ¡Requests ¡and ¡Latency ¡ ¡

THANK ¡YOU! ¡

SEUNG.CHOI@CTB.COM ¡