ECD in the 21 st Century: Whats The Best Way - - PowerPoint PPT Presentation

¡ ECD ¡in ¡the ¡21st ¡Century: ¡ ¡ What’s ¡ ¡The ¡Best ¡Way ¡Forward? ¡ ¡ ¡

¡

Karen ¡Russon ¡and ¡Michele ¡Tarsilla ¡ EvaluaAon ¡Capacity ¡Development ¡Group ¡(ECDG) ¡ ¡ AEA ¡PresentaAon ¡-­‑ ¡October ¡18, ¡2013 ¡

¡

ECDG ¡organized ¡an ¡Int’l ¡Workshop ¡on ¡ECD ¡ ¡ 17-­‑21 ¡October ¡2011 ¡ ¡

¡

Today ¡is ¡a ¡sort ¡of ¡anniversary ¡.. ¡ Two ¡years ¡ago ¡today, ¡evalua5on ¡prac55oners, ¡ commissioners ¡and ¡members ¡of ¡Standards ¡organiza5ons ¡ gathered ¡to ¡discuss ¡the ¡current ¡situa5on ¡and ¡the ¡future ¡of ¡

• ECD. ¡

¡ ¡

As ¡a ¡Result ¡of ¡the ¡Workshop, ¡ ¡ Four ¡Key ¡ECD ¡Principles ¡were ¡IdenAfied ¡

Ownership ¡ IntegraAon ¡ Usefulness ¡ ¡ Relevance ¡

¡

• 1. “What ¡does ¡ECD ¡look ¡

like ¡in ¡pracAce?” ¡

• 2. “How ¡could ¡ECD ¡

processes ¡be ¡enhanced ¡ and ¡evaluated ¡in ¡the ¡ future?” ¡

¡

¡

Today’s ¡QuesAons ¡

¡

Today’s ¡ECD ¡Stories ¡Are ¡Global ¡

A ¡Global ¡ECD ¡was ¡Conducted ¡to ¡ Understand ¡ECD ¡be]er ¡

• Collec5on ¡and ¡Analysis ¡of ¡

stories ¡from ¡mul5ple ¡ perspec5ves: ¡actors, ¡levels ¡ and ¡contexts ¡

• Focus ¡on: ¡
• ­‑ECD ¡partnerships ¡ ¡
• ­‑Infrastructure ¡changes ¡
• ­‑Organiza5onal ¡processes ¡

improvements ¡ ¡

Key ¡ECD ¡Trends ¡

• Tri-­‑par5te ¡ECD ¡collabora5on ¡
• Indigenous-­‑to-­‑indigenous ¡ECD ¡coopera5on ¡
• Crea5ve ¡use ¡of ¡ac5on ¡learning/research ¡to ¡

enhance ¡ECD ¡buy-­‑in ¡

• ECD ¡as ¡a ¡tool ¡for ¡social ¡emancipa5on ¡

A ¡Few ¡Selected ¡ECD ¡Stories ¡ ¡ ¡

The ¡Government ¡of ¡ ¡Papua ¡New ¡Guinea ¡

Actors/LocaAon: ¡Gov’t ¡Agencies, ¡ Papua ¡New ¡Guinea ¡ ¡ Level: ¡Na5onal, ¡Provincial, ¡Local ¡ ¡ Sector: ¡Government ¡ ¡ Time ¡period: ¡2003-­‑present ¡ ¡ DocumentaAon: ¡Paper ¡presented ¡at ¡ AES ¡2013 ¡

¡

The ¡Government ¡of ¡ ¡Papua ¡New ¡Guinea ¡

¡Lessons ¡Learned ¡

• Developing ¡a ¡“fit-­‑for-­‑use ¡M&E ¡system” ¡was ¡conducive ¡to ¡

enhancing ¡coordina5on ¡and ¡harmoniza5on ¡among ¡ stakeholders ¡in ¡the ¡public ¡sector ¡

• The ¡ECD ¡parAcipatory ¡process ¡eased ¡the ¡tensions ¡among ¡a ¡

variety ¡of ¡ECD ¡stakeholders ¡at ¡different ¡levels ¡

• The ¡availability ¡of ¡be]er ¡data ¡translated ¡into ¡stronger ¡

district ¡planning ¡and ¡decision-­‑making. ¡

¡

The ¡Papua ¡New ¡Guinea ¡Assn. ¡of ¡ Professional ¡Evaluators ¡(PNGAoPE) ¡

Actors/LocaAon: ¡Australian ¡Evalua5on ¡ Society, ¡PNGAoPE, ¡Coffey ¡Int’l, ¡Expat ¡ evaluators, ¡AusAID, ¡Gov’t ¡of ¡Papua ¡New ¡ Guinea ¡ ¡ Level: ¡Organiza5onal ¡ ¡ Sector: ¡Evalua5on, ¡mul5-­‑sectors ¡ ¡ Time ¡period: ¡2006 ¡– ¡present ¡ ¡ DocumentaAon: ¡Guest ¡blog ¡posted ¡on ¡ www.ecdg.net ¡

The ¡Papua ¡New ¡Guinea ¡Assn. ¡Of ¡ Professional ¡Evaluators ¡(PNGAoPE) ¡

Lessons ¡Learned ¡

• The ¡sustained ¡support ¡provided ¡by ¡internaAonal ¡development ¡

partners ¡is ¡oVen ¡key ¡to ¡ECD ¡success ¡but ¡it ¡is ¡not ¡sufficient. ¡

• The ¡official ¡government ¡recogniAon ¡of ¡a ¡na5onal ¡evalua5on ¡

associa5on ¡was ¡cri5cal ¡

• The ¡criAcal ¡friend ¡and ¡support ¡role ¡played ¡by ¡expats ¡could ¡be ¡

effecAve ¡during ¡the ¡development ¡of ¡a ¡naAonal ¡evaluaAon ¡ associaAon ¡

• The ¡selecAon ¡of ¡topics ¡to ¡be ¡discussed ¡during ¡monthly ¡mee5ngs ¡

was ¡a ¡sign ¡of ¡ownership ¡and ¡the ¡first ¡necessary ¡step ¡towards ¡ sustainability ¡ ¡

InnovaAon ¡Network ¡

Actors/LocaAon: ¡non-­‑profit ¡providing ¡ consul5ng ¡services ¡in ¡research ¡and ¡evalua5on ¡ to ¡other ¡non-­‑profits ¡and ¡funders, ¡three ¡ funders ¡and ¡their ¡respec5ve ¡grantees; ¡ Washington, ¡D.C. ¡ ¡ ¡Level: ¡Organiza5onal ¡ ¡ Sector: ¡women’s ¡economic ¡empowerment, ¡ social ¡jus5ce, ¡corporate ¡philanthropy ¡ ¡ Time ¡Period: ¡2006-­‑2011 ¡ ¡ DocumentaAon: ¡Personal ¡communica5on ¡ with ¡ ¡Innova5on ¡Network ¡staff. ¡

InnovaAon ¡Network ¡

Lessons ¡Learned: ¡

• ¡Provision ¡of ¡“default” ¡services ¡is ¡be]er, ¡especially ¡if ¡within ¡the ¡

scope ¡of ¡an ¡exisAng ¡evaluaAon ¡assignment ¡

• ECD ¡oVen ¡consists ¡of ¡a ¡Gradual ¡Approach ¡(shiVing ¡from ¡funder’s ¡

interests ¡to ¡organiza5onal ¡needs ¡and ¡strategies) ¡

• It ¡is ¡important ¡to ¡respond ¡to ¡strategic ¡grantees’ ¡demand ¡(that ¡is, ¡

demand ¡for ¡cri5cal ¡evalua5on ¡services) ¡and ¡not ¡to ¡confused ¡or ¡ disjointed ¡requests; ¡

• The ¡service ¡provider ¡should ¡not ¡be ¡the ¡one ¡“running” ¡the ¡ECD ¡

program: ¡leadership/management ¡ ¡and ¡internal ¡staff ¡or ¡the ¡funders ¡ themselves ¡should ¡play ¡such ¡role ¡

DECI-­‑2 ¡ ¡

Actors/LocaAon: ¡Funder, ¡organiza5ons, ¡ regional ¡consultants ¡ ¡ ¡Level: ¡Organiza5onal ¡and ¡Regional ¡ ¡ Sector: ¡Informa5on ¡and ¡Communica5on ¡ Technology ¡(ICT) ¡paired ¡with ¡UFE ¡curriculum ¡ development ¡ ¡ Time ¡Period: ¡(DECI-­‑1: ¡2009-­‑2011; ¡ DECi-­‑2:2012-­‑2015) ¡ ¡ DocumentaAon: ¡E-­‑mail ¡Exchange ¡with ¡ECDG ¡

DECI-­‑2 ¡

Lessons ¡Learned ¡

• Pairing ¡ECD ¡with ¡capacity ¡building ¡in ¡other ¡technical ¡sectors ¡

reinforces ¡learning ¡and ¡use; ¡

• ParAcipatory ¡curriculum ¡development ¡is ¡lengthy ¡but ¡ensures ¡

training ¡uptake; ¡

• Two-­‑level ¡mentoring ¡was ¡effec5ve: ¡mentoring ¡to ¡partners ¡and ¡

mentoring ¡to ¡regional ¡mentors ¡(“at ¡their ¡own ¡pace” ¡without ¡a ¡ classic ¡workshop ¡approach ¡on ¡pre-­‑established ¡dates ¡); ¡

• Mostly ¡virtual ¡+ ¡2 ¡face-­‑to-­‑face ¡mentoring ¡sessions; ¡
• Timeliness ¡of ¡support ¡enhanced ¡and ¡upfront ¡investment ¡to ¡ensure ¡
• rganiza5onal ¡readiness; ¡
• Presented ¡as ¡a ¡research ¡project: ¡joint ¡learning-­‑ ¡facilitator ¡of ¡

learning ¡process ¡NOT ¡external ¡expert; ¡

Habitat ¡For ¡Humanity ¡-­‑ ¡LAC ¡

• Actors/LocaAon: ¡HQ ¡staff, ¡regional ¡

managers, ¡na5onal ¡technical ¡specialists ¡ (planning ¡and ¡implementa5on ¡officers) ¡ in ¡Central ¡and ¡South ¡America ¡

• Level: ¡HQ, ¡Regional ¡and ¡Na5onal ¡
• Sector: ¡Housing ¡Solu5ons, ¡Community ¡

Development ¡

• Time ¡Period: ¡2009-­‑2012 ¡
• DocumentaAon: ¡Direct ¡Exchange ¡with ¡

LAC ¡Regional ¡Office ¡Coordinator ¡

Lessons ¡learned ¡

• The ¡development ¡of ¡a ¡qualitaAve ¡instrument ¡capturing ¡outcome-­‑

related ¡informa5on ¡could ¡become ¡the ¡entry ¡point ¡for ¡a ¡learning ¡ and ¡collabora5ve ¡ECD ¡effort ¡across ¡levels; ¡

• Gehng ¡managers ¡and ¡Implementers ¡(not ¡just ¡researchers ¡or ¡

evaluaAon ¡specialists) ¡ ¡involved ¡in ¡the ¡development ¡of ¡a ¡data ¡ collec5on ¡tool ¡made ¡it ¡possible ¡to ¡emphasize ¡the ¡need ¡for ¡5mely ¡ and ¡adequate ¡resources ¡as ¡a ¡prerequisite ¡for ¡be]er ¡evidence; ¡

• Balance ¡between ¡technical ¡rigor ¡(19 ¡staff ¡and ¡10 ¡experts) ¡and ¡

face ¡validity ¡is ¡cri5cal ¡for ¡capacity ¡development ¡within ¡and ¡

• utside ¡an ¡organizaAon ¡(the ¡HFH ¡tool ¡was ¡also ¡validated ¡through ¡

focus ¡groups ¡with ¡target ¡popula5ons ¡in ¡four ¡countries) ¡

• Sustainability ¡and ¡scaling-­‑up ¡of ¡the ¡approach: ¡this ¡process ¡will ¡be ¡

replicated ¡for ¡the ¡development ¡of ¡indicators ¡on ¡risk ¡mi5ga5on ¡ associated ¡with ¡HPC ¡disaster ¡response ¡programs ¡globally ¡

Habitat ¡For ¡Humanity ¡-­‑ ¡LAC ¡

Actors/LocaAon: ¡UN ¡(IFAD), ¡regional ¡capacity ¡ building ¡ ¡plaiorm, ¡indigenous ¡popula5on ¡groups, ¡ evalua5on ¡professionals ¡in ¡the ¡La5n ¡American ¡ region ¡ ¡ Level: ¡na5onal, ¡regional, ¡local ¡ ¡ Sector: ¡Agriculture, ¡Rural ¡Community ¡Development ¡ ¡ Time ¡period: ¡Par5cipatory ¡Research ¡on ¡the ¡state ¡of ¡ 15 ¡projects ¡M&E ¡Systems ¡(2004-­‑2007) ¡+ ¡Training ¡

• n ¡Innova5ve ¡PME ¡and ¡Image-­‑based ¡M&E ¡

(2008-­‑2010) ¡ ¡ DocumentaAon: ¡Reflec5on ¡Paper ¡submi]ed ¡by ¡the ¡ Program ¡Coordinator ¡

PREVAL ¡(LaAn ¡America) ¡

PREVAL ¡(LaAn ¡America) ¡

Lessons ¡Learned ¡

• ECD ¡could ¡be ¡a ¡remarkable ¡tool ¡for ¡social ¡emancipaAon ¡and ¡an ¡

effec5ve ¡enabler ¡of ¡transformaAonal ¡learning ¡in ¡marginalized ¡ communi5es ¡

• Joint ¡Regional ¡training ¡aimed ¡at ¡both ¡rural ¡community ¡leaders ¡

and ¡evalua5on ¡specialists ¡enhanced ¡the ¡ECD ¡process ¡

• The ¡use ¡of ¡several ¡communica5on ¡means ¡(talking ¡maps, ¡

thema5c ¡maps, ¡photographs, ¡info-­‑graphs) ¡and ¡visits ¡to ¡ indigenous ¡communiAes ¡enhanced ¡inter-­‑learning ¡among ¡the ¡ trainers’ ¡workshop ¡par5cipants ¡

• The ¡organiza5on ¡of ¡peasant ¡contests ¡on ¡who ¡(within ¡the ¡

community) ¡had ¡used ¡the ¡evalua5on ¡findings ¡more ¡effec5vely ¡ than ¡others ¡was ¡a ¡good ¡entry ¡point ¡for ¡transfer ¡of ¡evalua5on ¡ knowledge ¡and ¡skills ¡in ¡the ¡following ¡months ¡

Ukk'aa ¡– ¡Alaskan ¡ECD ¡

• Actors/LocaAon: ¡ANZEA; ¡indigenous ¡research ¡

group ¡from ¡Massey ¡University, ¡NZ; ¡Director ¡& ¡ students ¡at ¡Interior-­‑Aleu5ans ¡Campus, ¡Univ ¡of ¡ Alaska ¡Fairbanks; ¡Evalua5on ¡Research ¡ Associates, ¡Na5ve ¡Elders, ¡Fulbright-­‑scholar-­‑in-­‑ residence; ¡Ukk'aa ¡-­‑ ¡the ¡Alaska ¡Na5ve ¡group ¡ ¡ ¡

• Level: ¡Individual ¡-­‑ ¡statewide; ¡organiza5onal ¡
• Sector: ¡various ¡
• Time ¡period: ¡2008 ¡– ¡present ¡ ¡
• DocumentaAon: ¡AJE ¡ar5cle, ¡email ¡

correspondence ¡

Ukk'aa ¡– ¡Alaskan ¡ECD ¡

Lessons ¡Learned ¡

• InteracAons ¡and ¡collaboraAon ¡among ¡indigenous ¡groups ¡

promotes ¡an ¡authenAc ¡horizontal ¡ECD ¡process ¡and ¡ collabora5ve ¡learning ¡

• Buy-­‑in ¡by ¡naAve ¡Elders ¡cri5cal ¡to ¡project ¡success ¡
• Cri5cal ¡friends ¡are ¡oVen ¡key ¡enablers ¡of ¡ECD ¡processes: ¡New ¡

Zealand ¡EvaluaAon ¡AssociaAon ¡members ¡(Maori) ¡mentored ¡ Alaskan ¡NaAve ¡popula5on ¡on ¡indigenous ¡evalua5on ¡theory ¡& ¡ prac5ce ¡

• A ¡research ¡grant ¡might ¡bring ¡ECD ¡actors ¡to ¡the ¡table ¡for ¡the ¡

first ¡5me ¡and ¡enable ¡the ¡development ¡of ¡an ¡ECD ¡plan ¡

Civic ¡Theater ¡(Kalamazoo, ¡MI) ¡

Actors/LocaAon: ¡Community ¡theater, ¡ Kalamazoo, ¡MI ¡ ¡ Level: ¡Organiza5onal ¡ ¡ Sector: ¡Arts ¡ ¡ Time ¡period: ¡ongoing ¡ ¡ DocumentaAon: ¡Key ¡informant ¡interviews ¡

Civic ¡Theater ¡(Kalamazoo, ¡MI) ¡

Lessons ¡Learned ¡

• The ¡systemic ¡integraAon ¡of ¡evalua5on ¡throughout ¡an ¡
• rganiza5on ¡where ¡all ¡of ¡management ¡acts ¡as ¡evaluators ¡is ¡a ¡

remarkable ¡ECD ¡strategy; ¡

• IdenAfying ¡and ¡maximizing ¡opportuniAes ¡for ¡conducAng ¡and ¡

using ¡ ¡evaluaAon ¡is ¡a ¡truly ¡ECD-­‑savvy ¡strategy. ¡Ac5vi5es ¡ included: ¡

• -­‑Seeking ¡informal ¡feedback ¡as ¡patrons ¡exit ¡theater ¡lobby; ¡
• ¡-­‑Using ¡evalua5on ¡data ¡for ¡marke5ng ¡purposes; ¡
• -­‑Establishing ¡a ¡mechanism ¡where ¡staff ¡and ¡supervisors ¡could ¡

evaluate ¡each ¡other; ¡ ¡

• -­‑Evalua5ng ¡the ¡quality ¡of ¡vendors ¡and ¡soVware; ¡ ¡

Quick ¡Observations ¡ ¡on ¡the ¡Process ¡

The ¡way ¡a ¡story ¡was ¡told ¡was ¡some5mes ¡as ¡illumina5ng ¡as ¡the ¡ content ¡of ¡the ¡story. ¡ ¡ Two ¡contras5ng ¡storytellers: ¡

• ¡New ¡Zealand ¡(Maori) ¡and ¡Alaskan ¡(Na5ve) ¡began ¡telling ¡their ¡

story ¡by ¡introducing ¡themselves, ¡providing ¡backgrounds ¡and ¡ personal ¡perspecAves ¡from ¡par5cipa5ng ¡in ¡the ¡ECD ¡ac5vity. ¡ ¡

• A ¡different ¡story ¡of ¡the ¡crea5on ¡of ¡a ¡new ¡evalua5on ¡

associa5on ¡began ¡by ¡describing ¡poli.cal/economic ¡ background ¡as ¡one ¡of ¡deficit, ¡needing ¡to ¡be ¡developed ¡and ¡

• improved. ¡

¡

What’s ¡the ¡Best ¡Way ¡Forward? ¡

• Develop ¡long-­‑term ¡collaboraAve ¡relaAonships ¡with ¡funders ¡as ¡

partners ¡in ¡the ¡development ¡process. ¡ ¡

• Don’t ¡Develop ¡Capacity, ¡work ¡with ¡actors ¡who ¡are ¡WILLING ¡and ¡

MOTIVATED ¡to ¡develop ¡it ¡further ¡

• Work ¡on ¡at ¡all ¡three ¡levels ¡(individual, ¡organiza5onal ¡and ¡contextual) ¡

within ¡your ¡system ¡

• Step ¡back ¡and ¡let ¡ownership ¡emerge: ¡Home ¡grown, ¡not ¡externally ¡

driven ¡-­‑ ¡imposed ¡by ¡funders, ¡gov't ¡or ¡others ¡"forcing" ¡evalua5on ¡on ¡ an ¡ins5tu5on/gov't. ¡ ¡

• Need ¡internal ¡champions ¡who ¡are ¡leaders/decision-­‑makers ¡and ¡

external ¡champions ¡who ¡can ¡act ¡as ¡cri5cal ¡friends/coaches/mentors. ¡

What’s ¡the ¡Best ¡Way ¡Forward? ¡

¡

• Give ¡ECD ¡a ¡chance ¡to ¡take ¡hold ¡-­‑ ¡long-­‑term. ¡Nonetheless, ¡don't ¡be ¡

averse ¡to ¡change: ¡tacAcs/strategies, ¡partnerships, ¡actors, ¡policies, ¡ budge5ng, ¡training ¡methods, ¡and ¡infrastructural ¡arrangements ¡ An ¡evaluaAon ¡system ¡design ¡should ¡be ¡appropriate ¡to ¡the ¡needs ¡of ¡ the ¡insAtuAon ¡(considering ¡size, ¡complexity, ¡poli5cal ¡environment, ¡ culture, ¡etc.). ¡Consider ¡organiza5onal ¡design, ¡job ¡descrip5ons ¡ evalua5on ¡approaches ¡that ¡are ¡unique ¡to ¡meet ¡those ¡needs. ¡

• ¡Seeing ¡the ¡value ¡of ¡evaluaAon ¡enhances ¡its ¡use/usefulness: ¡

providing ¡evidence ¡for ¡policy-­‑makers ¡can ¡drama5cally ¡affect ¡ resource ¡Alloca5on ¡

• Acknowledge ¡the ¡power ¡of ¡peer-­‑to-­‑peer ¡support: ¡indigenous-­‑to-­‑

indigenous ¡

“It ¡takes ¡5me ¡for ¡an ¡organisa5on ¡to ¡find ¡its ¡ way ¡into ¡evalua5on; ¡and ¡for ¡evalua5on ¡to ¡ find ¡its ¡way ¡into ¡organisa5onal ¡func5oning. ¡ This ¡involves ¡overcoming ¡resistance, ¡ seeking ¡best ¡approaches, ¡trial ¡and ¡error, ¡ staff ¡training ¡and ¡exposure ¡and ¡eventual ¡ 'absorp5on' ¡of ¡the ¡prac5ces ¡as ¡part ¡of ¡

• rdinary ¡func5oning.” ¡

¡

Community ¡Development ¡Resource ¡Assn. ¡(CDRA), ¡South ¡Africa ¡

QUOTE ¡

Thank ¡You ¡Very ¡Much! ¡

Michele ¡Tarsilla, ¡Ph.D. ¡ E-­‑mail: ¡ mitarsi@hotmail.com ¡ ¡ Karen ¡Russon ¡ krusson@ecdg.net ¡ ¡ Please ¡follow ¡us ¡on: ¡ www.ecdg.net ¡ ¡