Two New Quasi-Experiments: 1. Usability Study 50 - PowerPoint PPT Presentation

¡ Two ¡New ¡Quasi-­‑Experiments: ¡ ¡ 1. ¡Usability ¡Study ¡– ¡50 ¡States’ ¡Disclosure ¡Websites ¡ ¡ 2. ¡Comparing ¡the ¡Impact ¡of ¡Public ¡Financing ¡in ¡NYC ¡and ¡LA ¡ ¡ ¡ ¡ PresentaOon ¡by ¡ ¡ Michael ¡Malbin ¡ to ¡the ¡ ¡ NaOonal ¡InsOtute ¡on ¡Money ¡in ¡State ¡PoliOcs ¡ Annual ¡MeeOng ¡ May ¡2016 ¡

Transparency ¡is ¡a ¡Process ¡ ¡ Not ¡an ¡Event ¡ • Laws ¡ à à ¡info ¡in ¡ à à ¡processed ¡ à à ¡out ¡to ¡user ¡ • Different ¡users ¡/ ¡different ¡needs ¡ – Power ¡users ¡ – Journalists ¡ – Non-­‑specialists ¡ Our ¡concern ¡in ¡this ¡project: ¡ ¡ • Are ¡states’ ¡websites ¡usable ¡for ¡non-­‑specialists? ¡

Quasi-­‑Experiment ¡ • Past ¡studies: ¡ – Campaign ¡Disclosure ¡Project ¡– ¡8 ¡years ¡ago ¡ – Lab ¡experiment ¡with ¡college ¡students ¡ • CFI’s ¡project ¡ – 2,000 ¡parOcipants, ¡Amazon’s ¡Mechanical ¡Turk ¡ – Randomly ¡assigned. ¡5,000 ¡tests. ¡100/state ¡

• Very ¡simple ¡sets ¡of ¡tasks: ¡ – IdenOfy ¡the ¡governor, ¡find ¡a ¡donor ¡ • Designed ¡to ¡be ¡completed ¡within ¡10 ¡minutes. ¡ – Feeling: ¡the ¡max ¡a ¡typical ¡user ¡would ¡spend ¡ • A ¡person ¡taking ¡more ¡was ¡told ¡to ¡stop ¡at ¡10. ¡

> ¡1/3 ¡could ¡not ¡complete ¡in ¡10 ¡min. ¡ Lot ¡of ¡varia=on ¡across ¡states. ¡

Other ¡ques=ons ¡ • Did ¡you ¡understand ¡terminology? ¡ • How ¡confident? ¡ • How ¡accurate ¡were ¡the ¡answers? ¡ • Overall ¡raOngs. ¡

General ¡Findings ¡ • Most ¡states ¡did ¡poorly ¡ • A ¡few ¡did ¡very ¡well ¡on ¡all ¡ques=ons ¡ • Other ¡studies, ¡including ¡NIMSP, ¡have ¡ranked ¡ the ¡states ¡on ¡their ¡disclosure ¡laws. ¡ • No ¡rela=onship ¡between ¡how ¡well ¡the ¡states ¡ two ¡on ¡the ¡two ¡different ¡measures. ¡ ¡

• Usability ¡study ¡was ¡released ¡this ¡week. ¡ • Summary ¡and ¡recommendaOons ¡handed ¡out. ¡ • Full ¡study ¡at ¡www.CFInst.org. ¡ ¡ ¡ • Second ¡project ¡is ¡a ¡natural ¡experiment ¡rather ¡ than ¡a ¡quasi-­‑experiment, ¡ ¡ – but ¡it ¡didn’t ¡start ¡out ¡that ¡way. ¡

NYC-­‑LA ¡Comparison: ¡ First ¡Cut ¡at ¡the ¡Data ¡ Paper ¡Otle: ¡ ¡ Are ¡All ¡Matching ¡Funds ¡Created ¡Equal? ¡ ¡ Comparing ¡Donor ¡ParOcipaOon ¡in ¡ ¡ New ¡York ¡City ¡and ¡Los ¡Angeles ¡

NYC: ¡ ¡Small ¡Donors ¡Up ¡Aber ¡MulOple ¡Matching ¡ ¡ City ¡Council ¡-­‑-­‑ ¡# ¡of ¡small ¡donors ¡/ ¡candidate ¡ ¡ Compe==ve ¡par=cipa=ng ¡candidates ¡only ¡ Primary, ¡Primary ¡runoff ¡and ¡general ¡elec=ons ¡ ¡ www.CFInst.org ¡

Los ¡Angeles ¡City ¡Council ¡Candidates: ¡ ¡ # ¡Small ¡Donors ¡per ¡Candidate ¡Down, ¡Despite ¡MulOple ¡Match ¡ Introduced ¡in ¡2013 ¡ ¡ First ¡round ¡and ¡runoff ¡elec=ons, ¡compe==ve ¡par=cipa=ng ¡candidates ¡only ¡ ¡ www.CFInst.org ¡

Comparing ¡NYC ¡with ¡LA ¡– ¡City ¡Council ¡and ¡Mayoral ¡ % ¡of ¡Candidates’ ¡Money ¡from ¡Small ¡Donors ¡ www.CFInst.org ¡

Problem ¡with ¡the ¡First ¡Cut ¡ • What ¡if ¡the ¡increase ¡in ¡NYC ¡small ¡donors ¡(compared ¡ to ¡LA) ¡came ¡from ¡other ¡underlying ¡differences ¡ between ¡the ¡ciOes? ¡ ¡ • If ¡so, ¡cannot ¡say ¡matching ¡funds ¡the ¡cause. ¡

To ¡resolve: ¡Use ¡difference ¡in ¡differences . ¡ • Different ¡between ¡small ¡donors ¡to ¡City ¡ Council ¡and ¡State ¡Assembly ¡candidates ¡from ¡ the ¡same ¡locaOons. ¡ • Compare ¡over ¡Ome, ¡before/aber ¡reform. ¡ • Creates ¡equivalent ¡of ¡a ¡treatment/control ¡

NYC-­‑LA ¡Comparison: ¡ Second ¡Cut ¡at ¡the ¡Data ¡

Third ¡cut ¡(under ¡way) ¡ ¡ • Replicates ¡2 nd ¡(difference ¡in ¡differences) ¡but ¡ ¡ • Much ¡more ¡refined ¡data ¡-­‑-­‑ ¡census ¡block ¡ group ¡for ¡every ¡donor ¡(geo-­‑coded). ¡ • Allows ¡beher ¡demographic ¡comparisons. ¡ • To ¡be ¡completed ¡Summer ¡2016. ¡ • Later ¡to ¡be ¡applied ¡to ¡other ¡states/ciOes ¡ ¡ – (e.g. ¡Seahle, ¡Montgomery ¡County ¡MD.) ¡