Two New Quasi-Experiments: 1. Usability Study 50 - - PowerPoint PPT Presentation

¡ Two ¡New ¡Quasi-­‑Experiments: ¡ ¡

• 1. ¡Usability ¡Study ¡– ¡50 ¡States’ ¡Disclosure ¡Websites ¡

¡

• 2. ¡Comparing ¡the ¡Impact ¡of ¡Public ¡Financing ¡in ¡NYC ¡and ¡LA ¡

¡

¡ ¡

PresentaOon ¡by ¡ ¡ Michael ¡Malbin ¡ to ¡the ¡ ¡ NaOonal ¡InsOtute ¡on ¡Money ¡in ¡State ¡PoliOcs ¡ Annual ¡MeeOng ¡ May ¡2016 ¡

Transparency ¡is ¡a ¡Process ¡ ¡ Not ¡an ¡Event ¡

• Laws ¡à

à ¡info ¡in ¡à à ¡processed ¡à à ¡out ¡to ¡user ¡

• Different ¡users ¡/ ¡different ¡needs ¡

– Power ¡users ¡ – Journalists ¡ – Non-­‑specialists ¡

Our ¡concern ¡in ¡this ¡project: ¡ ¡

• Are ¡states’ ¡websites ¡usable ¡for ¡non-­‑specialists? ¡

Quasi-­‑Experiment ¡

• Past ¡studies: ¡

– Campaign ¡Disclosure ¡Project ¡– ¡8 ¡years ¡ago ¡ – Lab ¡experiment ¡with ¡college ¡students ¡

• CFI’s ¡project ¡

– 2,000 ¡parOcipants, ¡Amazon’s ¡Mechanical ¡Turk ¡ – Randomly ¡assigned. ¡5,000 ¡tests. ¡100/state ¡

• Very ¡simple ¡sets ¡of ¡tasks: ¡

– IdenOfy ¡the ¡governor, ¡find ¡a ¡donor ¡

• Designed ¡to ¡be ¡completed ¡within ¡10 ¡minutes. ¡

– Feeling: ¡the ¡max ¡a ¡typical ¡user ¡would ¡spend ¡

• A ¡person ¡taking ¡more ¡was ¡told ¡to ¡stop ¡at ¡10. ¡

> ¡1/3 ¡could ¡not ¡complete ¡in ¡10 ¡min. ¡ Lot ¡of ¡varia=on ¡across ¡states. ¡

Other ¡ques=ons ¡

• Did ¡you ¡understand ¡terminology? ¡
• How ¡confident? ¡
• How ¡accurate ¡were ¡the ¡answers? ¡
• Overall ¡raOngs. ¡

General ¡Findings ¡

• Most ¡states ¡did ¡poorly ¡
• A ¡few ¡did ¡very ¡well ¡on ¡all ¡ques=ons ¡
• Other ¡studies, ¡including ¡NIMSP, ¡have ¡ranked ¡

the ¡states ¡on ¡their ¡disclosure ¡laws. ¡

• No ¡rela=onship ¡between ¡how ¡well ¡the ¡states ¡

two ¡on ¡the ¡two ¡different ¡measures. ¡ ¡

• Usability ¡study ¡was ¡released ¡this ¡week. ¡
• Summary ¡and ¡recommendaOons ¡handed ¡out. ¡
• Full ¡study ¡at ¡www.CFInst.org. ¡ ¡

¡

• Second ¡project ¡is ¡a ¡natural ¡experiment ¡rather ¡

than ¡a ¡quasi-­‑experiment, ¡ ¡

– but ¡it ¡didn’t ¡start ¡out ¡that ¡way. ¡

NYC-­‑LA ¡Comparison: ¡

First ¡Cut ¡at ¡the ¡Data ¡ Paper ¡Otle: ¡ ¡

Are ¡All ¡Matching ¡Funds ¡Created ¡Equal? ¡ ¡

Comparing ¡Donor ¡ParOcipaOon ¡in ¡ ¡ New ¡York ¡City ¡and ¡Los ¡Angeles ¡

NYC: ¡ ¡Small ¡Donors ¡Up ¡Aber ¡MulOple ¡Matching ¡ ¡

City ¡Council ¡-­‑-­‑ ¡# ¡of ¡small ¡donors ¡/ ¡candidate ¡ ¡

Primary, ¡Primary ¡runoff ¡and ¡general ¡elec=ons ¡ ¡ Compe==ve ¡par=cipa=ng ¡candidates ¡only ¡

www.CFInst.org ¡

Los ¡Angeles ¡City ¡Council ¡Candidates: ¡ ¡ # ¡Small ¡Donors ¡per ¡Candidate ¡Down, ¡Despite ¡MulOple ¡Match ¡ Introduced ¡in ¡2013 ¡ ¡

First ¡round ¡and ¡runoff ¡elec=ons, ¡compe==ve ¡par=cipa=ng ¡candidates ¡only ¡

¡ www.CFInst.org ¡

Comparing ¡NYC ¡with ¡LA ¡– ¡City ¡Council ¡and ¡Mayoral ¡ % ¡of ¡Candidates’ ¡Money ¡from ¡Small ¡Donors ¡

www.CFInst.org ¡

Problem ¡with ¡the ¡First ¡Cut ¡

• What ¡if ¡the ¡increase ¡in ¡NYC ¡small ¡donors ¡(compared ¡

to ¡LA) ¡came ¡from ¡other ¡underlying ¡differences ¡ between ¡the ¡ciOes? ¡ ¡

• If ¡so, ¡cannot ¡say ¡matching ¡funds ¡the ¡cause. ¡

To ¡resolve: ¡Use ¡difference ¡in ¡differences. ¡

• Different ¡between ¡small ¡donors ¡to ¡City ¡

Council ¡and ¡State ¡Assembly ¡candidates ¡from ¡ the ¡same ¡locaOons. ¡

• Compare ¡over ¡Ome, ¡before/aber ¡reform. ¡
• Creates ¡equivalent ¡of ¡a ¡treatment/control ¡

NYC-­‑LA ¡Comparison: ¡ Second ¡Cut ¡at ¡the ¡Data ¡

Third ¡cut ¡(under ¡way) ¡ ¡

• Replicates ¡2nd ¡(difference ¡in ¡differences) ¡but ¡ ¡
• Much ¡more ¡refined ¡data ¡-­‑-­‑ ¡census ¡block ¡

group ¡for ¡every ¡donor ¡(geo-­‑coded). ¡

• Allows ¡beher ¡demographic ¡comparisons. ¡
• To ¡be ¡completed ¡Summer ¡2016. ¡
• Later ¡to ¡be ¡applied ¡to ¡other ¡states/ciOes ¡ ¡

– (e.g. ¡Seahle, ¡Montgomery ¡County ¡MD.) ¡