Project Management Training Results-Based Project - - PowerPoint PPT Presentation

Project ¡Management ¡ Training ¡

Results-­‑Based ¡Project ¡ Management ¡

Why ¡RBM? ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡Historically, ¡governments ¡have ¡focused ¡their ¡a?en@on ¡on ¡inputs ¡(what ¡ they ¡spent), ¡ac@vi@es ¡(what ¡they ¡did), ¡and ¡outputs ¡(what ¡they ¡produced). ¡ Although ¡accurate ¡informa@on ¡at ¡this ¡level ¡is ¡useful, ¡they ¡discovered ¡it ¡did ¡ not ¡tell ¡them ¡whether ¡or ¡not ¡they ¡were ¡making ¡progress ¡toward ¡solving ¡ the ¡problem ¡they ¡had ¡set ¡out ¡to ¡resolve, ¡and ¡that ¡these ¡problems ¡oIen ¡ remained ¡once ¡projects ¡were ¡completed. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Modern ¡project ¡management ¡also ¡requires ¡that ¡we ¡look ¡beyond ¡ac@vi@es ¡ and ¡outputs ¡to ¡focus ¡on ¡actual ¡results: ¡the ¡changes ¡created, ¡and ¡ contributed ¡to, ¡by ¡our ¡projects. ¡By ¡establishing ¡clearly ¡defined ¡expected ¡ results, ¡collec@ng ¡informa@on ¡to ¡assess ¡progress ¡toward ¡them ¡on ¡a ¡regular ¡ basis, ¡and ¡taking ¡@mely ¡correc@ve ¡ac@on, ¡prac@@oners ¡can ¡manage ¡their ¡ projects ¡or ¡investments ¡in ¡order ¡to ¡maximize ¡achievement ¡of ¡development ¡ results: ¡oIen ¡a ¡sustained ¡improvement ¡in ¡the ¡lives ¡of ¡people ¡in ¡developing ¡

• countries. ¡

Results-­‑Based ¡Management ¡(RBM) ¡ ¡ Monitoring ¡and ¡Evalua@on ¡(M&E) ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡In ¡recent ¡years ¡there ¡has ¡been ¡a ¡move ¡towards ¡results-­‑based ¡project ¡management ¡ where ¡project ¡assessment ¡focuses ¡on ¡outcomes ¡and ¡impacts ¡rather ¡than ¡on ¡

• utputs ¡alone. ¡ ¡Thus ¡results-­‑based ¡M&E ¡assesses ¡project ¡and ¡programme ¡

effec@veness ¡and ¡efficiency, ¡where: ¡ ¡

• Effec&veness ¡is ¡doing ¡the ¡right ¡project ¡in ¡terms ¡of ¡adding ¡value. ¡
• Efficiency ¡is ¡doing ¡the ¡project ¡right ¡– ¡maximising ¡that ¡value. ¡

Where: ¡ ¡Value ¡= ¡Benefits ¡-­‑ ¡Costs ¡ ¡ ¡ ¡ ¡ ¡ ¡By ¡iden@fying ¡in ¡advance ¡the ¡intended ¡benefits ¡of ¡a ¡project ¡and ¡how ¡we ¡can ¡ measure ¡progress, ¡we ¡can ¡be?er ¡manage ¡the ¡project ¡and ¡assess ¡whether ¡a ¡ posi@ve ¡difference ¡will ¡or ¡has ¡been ¡achieved ¡for ¡stakeholders. ¡ The ¡RBM ¡process ¡involves ¡complementary ¡ac@vi@es ¡of ¡monitoring ¡and ¡evalua&on. ¡

M&E ¡and ¡Project ¡Lifecycle ¡

¡ ¡ ¡Typically ¡the ¡three ¡M&E ¡sequen@al ¡stages ¡are: ¡

• 1. Ini&al ¡needs ¡assessment ¡– ¡to ¡determine ¡the ¡

purpose ¡of ¡the ¡project. ¡

• 2. Planning ¡-­‑ ¡ ¡to ¡determine ¡how ¡to ¡monitor ¡and ¡

evaluate ¡project ¡progress. ¡

• 3. Evalua&on ¡– ¡both ¡interim ¡and ¡final ¡reviews ¡to ¡

assess ¡how ¡well ¡the ¡project ¡is ¡achieving ¡or ¡has ¡ achieved ¡its ¡purpose. ¡

¡ ¡ ¡Throughout ¡the ¡process ¡lessons ¡are ¡learned ¡ and ¡documented. ¡ ¡ ¡ ¡

What ¡is ¡Project ¡Monitoring? ¡

¡ ¡ ¡ ¡ ¡ ¡Monitoring ¡is ¡the ¡rou@ne ¡process ¡of ¡checking ¡a ¡project’s ¡actual ¡progress ¡

against ¡its ¡planned ¡progress. ¡ ¡The ¡difference ¡between ¡planned ¡and ¡actual ¡ progress ¡is ¡called ¡variance. ¡ ¡Some ¡variance ¡is ¡usually ¡tolerable ¡depending ¡on ¡ the ¡risk ¡level ¡of ¡the ¡project. ¡ ¡ ¡ ¡ ¡ ¡Informa@on ¡collected ¡from ¡monitoring ¡has ¡these ¡main ¡purposes: ¡

1. To ¡account ¡for ¡human, ¡financial ¡and ¡material ¡resources ¡used. ¡ 2. To ¡make ¡decisions ¡about ¡the ¡future ¡of ¡the ¡project. ¡ 3. To ¡learn ¡lessons ¡to ¡help ¡with ¡the ¡management ¡of ¡future ¡projects. ¡ 4. To ¡provide ¡opportuni@es ¡for ¡project ¡beneficiaries ¡to ¡par@cipate. ¡ 5. Promote ¡and ¡celebrate ¡project ¡accomplishments. ¡

The ¡informa@on ¡thus ¡collected ¡during ¡monitoring ¡is ¡then ¡ used ¡for ¡project ¡evalua@on. ¡

What ¡is ¡Project ¡Evalua@on? ¡

¡ ¡ ¡ ¡Evalua@on ¡is ¡about ¡objec@vely ¡analysing ¡or ¡ assessing ¡the ¡informa@on ¡acquired ¡by ¡monitoring ¡ to ¡draw ¡conclusions ¡about ¡criteria ¡such ¡as: ¡

• 1. Project ¡effec@veness ¡or ¡relevance ¡– ¡determined ¡

by ¡the ¡extent ¡to ¡which ¡outcomes ¡are ¡realised. ¡

• 2. Project ¡efficiency ¡or ¡produc@vity ¡– ¡determined ¡by ¡

comparing ¡inputs ¡with ¡outputs ¡ ¡

• 3. Project ¡impact ¡– ¡resultant ¡long-­‑term ¡beneficial ¡

effects ¡or ¡results. ¡ ¡

• 4. Project ¡sustainability ¡– ¡mee@ng ¡current ¡needs ¡

without ¡compromising ¡the ¡future. ¡

RBM ¡-­‑ ¡Key ¡Elements ¡

• 1. Iden@fy ¡realis@c, ¡clear ¡and ¡measurable ¡required ¡results ¡– ¡

what ¡a ¡project ¡aims ¡to ¡achieve. ¡Define ¡these ¡results ¡at ¡ different ¡levels, ¡ ¡‘outputs’, ¡‘outcomes’ ¡and ¡‘impact’. ¡ ¡

• 2. Select ¡indicators ¡to ¡measure ¡progress ¡towards ¡each ¡output, ¡
• utcome ¡and ¡impact. ¡
• 3. Set ¡specific ¡targets ¡for ¡each ¡indicator, ¡used ¡to ¡judge ¡
• performance. ¡
• 4. Develop ¡systems ¡to ¡collect ¡data ¡on ¡actual ¡results. ¡
• 5. Compare ¡actual ¡results ¡to ¡the ¡targeted ¡results ¡to ¡iden@fy ¡
• variance. ¡
• 6. Use ¡performance ¡informa@on ¡to ¡make ¡decisions ¡about ¡the ¡

project ¡– ¡what ¡changes ¡need ¡to ¡be ¡made ¡to ¡ensure ¡benefits ¡ are ¡realised. ¡ ¡

RBM ¡– ¡Basic ¡Process ¡Steps ¡

• 1. ¡Formula&ng ¡objec&ves: ¡Iden@fying ¡in ¡clear, ¡measurable ¡terms ¡

¡ ¡ ¡ ¡the ¡results ¡being ¡sought ¡and ¡decide ¡how ¡these ¡results ¡will ¡be ¡

• achieved. ¡
• 2. ¡Iden&fying ¡indicators: ¡For ¡each ¡objec@ve, ¡specifying ¡exactly ¡what ¡

is ¡to ¡be ¡measured ¡and ¡how. ¡

• 3. ¡SeAng ¡targets: ¡For ¡each ¡indicator, ¡specify ¡the ¡expected ¡or ¡

planned ¡levels ¡of ¡result ¡to ¡be ¡achieved ¡by ¡specific ¡dates, ¡which ¡ will ¡be ¡used ¡to ¡judge ¡performance. ¡

• 4. ¡Monitoring ¡results: ¡Develop ¡a ¡performance ¡monitoring ¡system ¡to ¡

regularly ¡collect ¡data ¡on ¡actual ¡results ¡achieved. ¡

• 5. ¡Reviewing ¡and ¡repor&ng ¡results: ¡Comparing ¡actual ¡results ¡vis-­‑à-­‑

vis ¡the ¡targets ¡(or ¡other ¡criteria ¡for ¡making ¡judgements ¡about ¡ performance). ¡

Steps ¡Con@nued… ¡

• 6. ¡Integra&ng ¡evalua&ons: ¡Conduc@ng ¡other ¡evalua@ons ¡to ¡

provide ¡complementary ¡informa@on ¡on ¡performance ¡not ¡ readily ¡available ¡from ¡usual ¡performance ¡monitoring ¡systems. ¡

• 7. ¡Using ¡performance ¡informa&on: ¡Using ¡informa@on ¡from ¡

performance ¡monitoring ¡and ¡evalua@on ¡sources ¡for ¡internal ¡ management ¡learning ¡and ¡decision-­‑making, ¡and ¡for ¡external ¡ repor@ng ¡to ¡stakeholders ¡on ¡results ¡achieved. ¡ ¡

Key ¡Monitoring ¡Ques@ons ¡

1. Inputs ¡– ¡are ¡money, ¡materials, ¡plant, ¡equipment ¡and ¡exper@se ¡ available ¡on ¡@me, ¡at ¡the ¡right ¡place ¡and ¡in ¡the ¡right ¡quan@@es ¡and ¡ sa@sfactory ¡quality? ¡ 2. Ac&vi&es ¡– ¡are ¡all ¡project ¡ac@vi@es ¡(tasks ¡or ¡work ¡performed) ¡ undertaken ¡on ¡schedule? ¡ 3. Outputs ¡– ¡are ¡project ¡deliverables ¡(products ¡and ¡services) ¡ completed ¡on ¡@me, ¡within ¡budget ¡and ¡to ¡required ¡quality ¡ standards ¡(specifica@ons)? ¡ 4. Outcomes ¡– ¡are ¡appropriate ¡shorter-­‑term ¡benefits ¡achieved ¡– ¡ income ¡increased, ¡standard ¡of ¡living ¡improved, ¡jobs ¡created…? ¡ 5. Impact ¡– ¡what ¡are ¡the ¡longer-­‑term ¡benefits ¡of ¡project ¡– ¡perhaps ¡ community ¡health ¡improved, ¡reduced ¡health ¡risks ¡and ¡greater ¡ safety, ¡longevity ¡increased…? ¡

RBM ¡Flowchart ¡

Seven ¡Types ¡of ¡Monitoring ¡

1. Process ¡monitoring ¡– ¡tracks ¡the ¡use ¡of ¡inputs, ¡the ¡progress ¡of ¡ ac@vi@es ¡and ¡the ¡delivery ¡of ¡outputs ¡– ¡the ¡steps ¡involved. ¡ 2. Results ¡monitoring ¡– ¡tracks ¡if ¡the ¡project ¡is ¡on ¡target ¡to ¡achieve ¡its ¡ intended ¡results ¡(output, ¡outcomes ¡and ¡impact). ¡ 3. Compliance ¡monitoring ¡– ¡tracks ¡that ¡the ¡project ¡is ¡complying ¡with ¡ local ¡or ¡interna@onal ¡rules ¡regula@ons ¡(eg, ¡health ¡and ¡safety), ¡ grant ¡provisions ¡and ¡other ¡contractual ¡requirements. ¡ 4. Context ¡monitoring ¡– ¡tracks ¡the ¡situa@on ¡or ¡environment ¡in ¡which ¡ the ¡project ¡is ¡being ¡undertaken, ¡checking ¡for ¡external ¡risks ¡that ¡ might ¡affect ¡project ¡success. ¡ ¡“PESTLE” ¡factors. ¡ 5. Beneficiary ¡monitoring ¡– ¡tracks ¡project ¡stakeholder ¡sa@sfac@on, ¡ their ¡feedback ¡and ¡concerns. ¡ 6. Financial ¡monitoring ¡– ¡tracks ¡expenditure ¡against ¡budget. ¡ 7. Organisa&onal ¡monitoring ¡– ¡if ¡relevant, ¡tracks ¡the ¡sustainability, ¡ ins@tu@onal ¡development ¡and ¡capacity ¡building ¡of ¡the ¡project. ¡

Examples ¡of ¡Results-­‑Based ¡ Targets ¡

1. At ¡least ¡80% ¡of ¡people ¡in ¡endemic ¡areas ¡will ¡be ¡sleeping ¡ under ¡a ¡long-­‑las@ng ¡insec@cidal ¡net ¡by ¡2014. ¡

• 2. ¡ ¡ ¡ ¡ ¡Child ¡mortality ¡from ¡AIDS ¡and ¡related ¡causes ¡will ¡be ¡

decreased ¡from ¡80% ¡to ¡40% ¡by ¡2014. ¡ 3. 90% ¡of ¡iden@fied ¡orphans ¡and ¡vulnerable ¡children ¡will ¡be ¡ able ¡to ¡access ¡social ¡safety ¡packages ¡by ¡2014. ¡

• 4. ¡ ¡ ¡ ¡Female ¡enrolment ¡rate ¡in ¡primary ¡schools ¡will ¡increase ¡

from ¡55% ¡to ¡95% ¡in ¡at ¡least ¡1000 ¡primary ¡schools ¡by ¡

• 2014. ¡

Project ¡Monitoring ¡– ¡Best ¡Prac@ses ¡

• 1. Monitoring ¡data ¡should ¡be ¡accurate ¡and ¡well-­‑focused ¡for ¡

specific ¡audiences ¡and ¡uses ¡(collec@ng ¡only ¡what ¡is ¡ relevant). ¡

• 2. Monitoring ¡should ¡be ¡planned ¡and ¡systema@c. ¡
• 3. Monitoring ¡should ¡also ¡look ¡for ¡unan@cipated ¡changes ¡

with ¡the ¡project ¡– ¡issues, ¡risks ¡and ¡assump@ons. ¡

• 4. Monitoring ¡needs ¡to ¡be ¡@mely. ¡
• 5. Monitoring ¡should ¡be ¡par@cipatory ¡– ¡involve ¡key ¡
• stakeholders. ¡
• 6. Monitoring ¡informa@on ¡should ¡be ¡shared ¡with ¡

beneficiaries, ¡donors ¡and ¡any ¡other ¡relevant ¡stakeholders. ¡

Ques@ons ¡to ¡Validate ¡Project ¡ Performance ¡ ¡Indicators ¡

• 1. The ¡defini@on ¡of ¡performance ¡indicators ¡involved ¡those ¡whose ¡

performance ¡will ¡be ¡measured? ¡ ¡ ¡

• 2. Those ¡whose ¡performance ¡will ¡be ¡judged ¡by ¡the ¡indicators ¡have ¡

confidence ¡in ¡the ¡validity ¡of ¡the ¡indicators. ¡ ¡ ¡

• 3. The ¡indicator ¡describes ¡clearly ¡and ¡fully ¡how ¡the ¡achievement ¡of ¡project ¡

results ¡will ¡be ¡measured. ¡ ¡ ¡

• 4. Each ¡and ¡every ¡variable ¡included ¡in ¡the ¡indicator ¡statement ¡is ¡measurable ¡

and ¡with ¡reasonable ¡accuracy, ¡cost ¡and ¡effort. ¡ ¡ ¡ ¡ ¡ ¡

• 5. A ¡baseline ¡current ¡value ¡can ¡be ¡provided ¡for ¡each ¡and ¡every ¡variable ¡in ¡the

¡ indicator ¡statement. ¡ ¡ ¡

• 6. There ¡is ¡a ¡target ¡during ¡a ¡specified ¡@meframe ¡for ¡each ¡and ¡every ¡variable ¡

in ¡the ¡indicator. ¡ ¡ ¡

Risk ¡Management ¡

¡ ¡ ¡ ¡Without ¡project ¡risk ¡management, ¡desired ¡results ¡

may ¡not ¡be ¡realised, ¡thus ¡risk ¡management ¡needs ¡to ¡ be ¡applied ¡throughout ¡the ¡project ¡life ¡cycle. ¡ ¡ ¡ ¡ ¡Such ¡risks ¡are ¡not ¡only ¡those ¡the ¡affect ¡project ¡scope, ¡ @me, ¡cost ¡and ¡quality, ¡but ¡also ¡risks ¡to ¡benefit ¡ realisa@on ¡must ¡be ¡iden@fied, ¡priori@sed ¡and ¡ responded ¡to. ¡

What ¡about ¡Evalua@on? ¡

¡ ¡ ¡ ¡Evalua@on ¡follows ¡monitoring ¡and ¡is ¡an ¡objec@ve ¡and ¡ systema@c ¡assessment ¡of ¡an ¡on-­‑going ¡or ¡completed ¡ project, ¡typically ¡the ¡project ¡plan, ¡implementa@on ¡and ¡

• results. ¡

¡ ¡ ¡ ¡An ¡effec@ve ¡evalua@on ¡will ¡provide ¡informa@on ¡that ¡is ¡ credible, ¡@mely, ¡comprehensive ¡and ¡useful, ¡enabling ¡ lessons ¡learned ¡to ¡assist ¡with ¡decision-­‑making ¡by ¡both ¡ recipients ¡and ¡donors. ¡ ¡It’s ¡about ¡learning ¡from ¡ experience ¡during ¡and ¡aIer ¡the ¡project. ¡

Types ¡of ¡Project ¡Evalua@ons ¡

• 1. Forma&ve ¡evalua@ons ¡– ¡undertaken ¡during ¡the ¡

project ¡life ¡cycle ¡to ¡improve ¡project ¡performance. ¡

• 2. Interim ¡or ¡real-­‑@me ¡evalua@ons ¡– ¡occur ¡periodically ¡
• r ¡midway ¡through ¡the ¡project ¡to ¡check ¡progress. ¡
• 3. Final ¡evalua@ons ¡– ¡conducted ¡at ¡project ¡comple@on ¡

to ¡assess ¡how ¡well ¡the ¡project ¡achieved ¡its ¡purpose, ¡ efficiency, ¡effec@veness ¡and ¡impact. ¡

• 4. Meta ¡evalua@ons ¡– ¡used ¡to ¡check ¡the ¡effec@veness ¡

and ¡efficiency ¡of ¡evalua@on ¡process ¡itself ¡(eg, ¡did ¡the ¡ evalua@on ¡comply ¡with ¡appropriate ¡protocols, ¡ policies ¡and ¡procedures). ¡

Types ¡of ¡Evalua@ons ¡Con@nued… ¡

¡ ¡ ¡ ¡5. ¡ ¡Ex-­‑post ¡evalua@on ¡– ¡conducted ¡some ¡@me ¡aIer ¡project ¡ comple@on ¡to ¡check ¡long-­‑term ¡impact ¡and ¡sustainability. ¡ ¡ ¡ ¡ ¡6. ¡ ¡Par&cipatory ¡evalua@ons ¡– ¡conducted ¡with ¡project ¡beneficiaries ¡ and ¡other ¡key ¡stakeholders ¡in ¡order ¡to ¡build ¡their ¡support ¡and ¡

• wnership. ¡

¡ ¡ ¡ ¡7. ¡ ¡Thema&c ¡evalua@ons ¡– ¡focus ¡on ¡one ¡theme, ¡such ¡as ¡ environmental ¡impact ¡and ¡might ¡be ¡undertaken ¡across ¡a ¡number ¡of ¡

• projects. ¡

¡ ¡ ¡ ¡8. ¡ ¡Cluster ¡or ¡sector ¡evalua@ons ¡– ¡focus ¡on ¡a ¡set ¡of ¡related ¡projects. ¡ ¡ ¡ ¡ ¡9. ¡ ¡Impact ¡evalua@ons ¡– ¡focus ¡on ¡the ¡effects ¡or ¡consequences ¡of ¡the ¡ project ¡rather ¡than ¡its ¡management ¡and ¡delivery. ¡ ¡ ¡ ¡ ¡ ¡Any ¡of ¡the ¡above ¡types ¡of ¡evalua&ons ¡may ¡be ¡internal ¡(self-­‑ assessments) ¡or ¡external ¡(independent ¡assessments). ¡ ¡Internal ¡ evalua@ons ¡are ¡usually ¡cheaper ¡but ¡may ¡lack ¡some ¡credibility. ¡

Typical ¡Post-­‑Project ¡Evalua@on ¡Ques@ons ¡

¡ ¡ ¡ ¡1. ¡ ¡Impact ¡

• What ¡significant ¡changes ¡did ¡the ¡project ¡bring ¡about? ¡
• Were ¡there ¡any ¡unplanned ¡or ¡unintended ¡changes? ¡

¡ ¡ ¡ ¡ ¡2. ¡ ¡Effec@veness ¡

• Was ¡the ¡reason ¡or ¡purpose ¡for ¡the ¡project ¡realised? ¡
• Did ¡the ¡outputs ¡lead ¡to ¡the ¡intended ¡outcomes? ¡

¡ ¡ ¡ ¡ ¡3. ¡ ¡Efficiency ¡

• Were ¡items ¡available ¡on ¡@me ¡and ¡in ¡the ¡right ¡quan@@es ¡and ¡

quality? ¡

• Were ¡ac@vi@es ¡implemented ¡on ¡schedule ¡and ¡within ¡

budget? ¡

• Were ¡outputs ¡delivered ¡economically? ¡

Further ¡Evalua@on ¡Ques@ons… ¡

¡ ¡ ¡4. ¡ ¡Sustainability ¡

• Are ¡the ¡benefits ¡likely ¡to ¡be ¡maintained ¡for ¡an ¡extended ¡

period? ¡

¡ ¡ ¡5. ¡ ¡Relevance ¡

• Was ¡the ¡project ¡purpose ¡consistent ¡with ¡beneficiaries’ ¡

needs ¡and ¡expecta@ons? ¡

Evalua@on ¡Standards ¡

• Evalua@ons ¡must ¡be ¡useful ¡and ¡be ¡used. ¡
• Evalua@ons ¡must ¡be ¡accurate, ¡realis@c, ¡diploma@c ¡and ¡

undertaken ¡in ¡a ¡cost-­‑effec@ve ¡manner. ¡

• Evalua@ons ¡should ¡provide ¡a ¡comprehensive ¡and ¡

unbiased ¡assessment ¡and ¡should ¡not ¡be ¡undertaken ¡by ¡ those ¡with ¡a ¡vested ¡interest ¡in ¡the ¡project. ¡

• Evalua@on ¡ac@vi@es ¡should ¡be ¡open ¡and ¡transparent. ¡
• Stakeholders ¡should ¡be ¡consulted ¡and ¡meaningfully ¡

involved ¡in ¡the ¡process ¡wherever ¡prac@cable ¡and ¡ apprised ¡of ¡the ¡results. ¡

Reviews ¡and ¡Audits ¡

• A ¡review ¡is ¡a ¡structured ¡opportunity ¡for ¡reflec@on ¡to ¡iden@fy ¡key ¡

issues ¡and ¡risks, ¡and ¡make ¡@mely ¡and ¡informed ¡decisions ¡for ¡ effec@ve ¡project ¡implementa@on. ¡ ¡Reviews ¡are ¡oIen ¡an ¡internal ¡

• assessment. ¡ ¡While ¡monitoring ¡is ¡on-­‑going, ¡reviews ¡are ¡periodic ¡

throughout ¡the ¡project ¡life ¡cycle. ¡

• An ¡audit ¡is ¡an ¡assessment ¡to ¡verify ¡compliance ¡with ¡established ¡

policies, ¡protocols, ¡rules, ¡regula@ons, ¡procedures ¡or ¡mandates. ¡ ¡The ¡ emphasis ¡is ¡on ¡assurance ¡and ¡compliance, ¡rather ¡than ¡judgment ¡of ¡

• worth. ¡ ¡There ¡are ¡financial ¡audits ¡and ¡general ¡audits, ¡both ¡of ¡which ¡

can ¡be ¡internal ¡or ¡external. ¡ ¡Also, ¡their ¡frequency ¡will ¡vary, ¡but ¡is ¡

• Ien ¡determined ¡by ¡the ¡novelty, ¡size ¡and ¡complexity ¡of ¡the ¡project. ¡

Minimise ¡Bias ¡& ¡Maximise ¡Accuracy ¡

• Bias ¡occurs ¡when ¡the ¡accuracy ¡or ¡precision ¡of ¡

measurement ¡is ¡threatened ¡by ¡the ¡experience, ¡ percep@ons ¡and ¡assump@ons ¡of ¡the ¡reviewers ¡or ¡by ¡ the ¡tools ¡and ¡techniques ¡used ¡during ¡the ¡review ¡or ¡ audit ¡. ¡

• Accuracy ¡means ¡that ¡the ¡data ¡measures ¡what ¡it ¡is ¡

supposed ¡to ¡measure. ¡

• Precision ¡means ¡that ¡data ¡measurement ¡can ¡be ¡

repeated ¡accurately ¡and ¡consistently ¡over ¡@me ¡by ¡ different ¡people. ¡

Types ¡of ¡Bias ¡

• Selec&on ¡bias ¡– ¡not ¡a ¡representa@ve ¡sample. ¡ ¡Also ¡called ¡design ¡

bias ¡or ¡sample ¡error. ¡

• Measurement ¡bias ¡– ¡results ¡from ¡poor ¡data ¡measurement ¡due ¡to ¡

unsa@sfactory ¡collec@on ¡or ¡faults ¡with ¡the ¡collec@on ¡instrument ¡ (eg, ¡poorly ¡framed ¡ques@ons). ¡

• Processing ¡error ¡– ¡poor ¡management ¡of ¡data ¡– ¡miscoded, ¡

incorrectly ¡entered, ¡not ¡checked ¡etc. ¡

• Analy&cal ¡bias ¡– ¡poor ¡analysis ¡of ¡collected ¡data. ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡Evalua@on ¡Team ¡

Areas ¡of ¡exper@se ¡to ¡be ¡considered ¡are: ¡

• Technical ¡knowledge ¡
• Emo@onal ¡intelligence ¡
• Previous ¡experience ¡
• Knowledge ¡of ¡the ¡local ¡environment, ¡

language, ¡customs ¡and ¡na@onal ¡ situa@on. ¡

Typical ¡M&E ¡Process ¡Steps ¡

• 1. Iden@fy ¡purpose ¡and ¡scope ¡of ¡M&E ¡

interven@on. ¡

• 2. Plan ¡for ¡data ¡collec@on. ¡
• 3. Plan ¡for ¡data ¡analysis. ¡
• 4. Plan ¡for ¡repor@ng ¡results. ¡
• 5. Plan ¡for ¡M&E ¡human ¡resources ¡and ¡for ¡

their ¡capacity ¡building. ¡

• 6. Prepare ¡the ¡M&E ¡budget ¡– ¡labour ¡and ¡
• materials. ¡
• 7. Complete ¡the ¡evalua@on. ¡
• 8. Report ¡and ¡follow-­‑up ¡as ¡need ¡be. ¡

Typical ¡M&E ¡Terms ¡of ¡Reference ¡

• Introduc&on ¡– ¡brief ¡descrip@on ¡of ¡what ¡is ¡to ¡be ¡evaluated. ¡
• Objec&ves ¡– ¡why ¡the ¡evalua@on ¡is ¡to ¡be ¡undertaken. ¡
• Stakeholders ¡– ¡list ¡of ¡key ¡stakeholders. ¡
• Scope ¡– ¡issues, ¡topics ¡and ¡areas ¡to ¡be ¡evaluated. ¡
• Products ¡– ¡what ¡products ¡the ¡evalua@on ¡is ¡to ¡produce ¡– ¡findings, ¡

recommenda@ons, ¡lesson ¡learned ¡document ¡etc. ¡

• Methodology ¡– ¡how ¡the ¡evalua@on ¡will ¡be ¡conducted ¡(ques@onnaires, ¡field ¡visits, ¡

interviews ¡etc) ¡and ¡the ¡@metable ¡for ¡the ¡evalua@on. ¡

• Evalua&on ¡team ¡– ¡composi@on, ¡roles ¡and ¡responsibili@es, ¡and ¡areas ¡of ¡exper@se. ¡
• Implementa&on ¡– ¡who ¡will ¡manage ¡the ¡evalua@on, ¡sensi@vi@es ¡and ¡risks, ¡how ¡is ¡it ¡
• rganise, ¡@metable ¡and ¡progress ¡repor@ng. ¡
• Budget ¡– ¡size ¡will ¡depend ¡on ¡the ¡scope, ¡complexity ¡and ¡work ¡effort ¡of ¡the ¡

interven@on. ¡

Step ¡1 ¡– ¡Iden@fy ¡Purpose ¡and ¡Scope ¡

• 1. Iden@fy ¡the ¡project’s ¡purpose, ¡goal, ¡

assump@ons, ¡ac@vi@es, ¡outputs, ¡and ¡

• utcomes ¡– ¡typically ¡found ¡in ¡the ¡

project ¡business ¡case ¡and ¡plan. ¡

• 2. Iden@fy ¡key ¡stakeholders’ ¡informa@on ¡

needs ¡and ¡expecta@ons. ¡

• 3. Iden@fy ¡M&E ¡evalua@on ¡requirements. ¡
• 4. Iden@fy ¡major ¡M&E ¡events. ¡

Step ¡2 ¡– ¡Plan ¡for ¡Data ¡Collec@on ¡and ¡Management ¡

• Prepare ¡the ¡M&E ¡plan. ¡
• Assess ¡the ¡availability ¡of ¡relevant ¡and ¡reliable ¡secondary ¡data ¡(ie, ¡data ¡not ¡

collected ¡specifically ¡for ¡the ¡project, ¡but ¡nevertheless ¡of ¡some ¡relevance). ¡

• Determine ¡the ¡balance ¡of ¡quan@ta@ve ¡and ¡qualita@ve ¡data ¡needs. ¡
• Determine ¡data ¡collec@on ¡sources. ¡
• Decide ¡and ¡prepare ¡specific ¡data ¡collec@on ¡methods. ¡
• Pretest ¡any ¡survey ¡ques@ons. ¡
• Establish ¡stakeholder ¡communica@ons ¡and ¡feedback ¡processes. ¡
• Plan ¡for ¡data ¡management ¡– ¡it’s ¡secure ¡storage, ¡analysis, ¡distribu@on ¡and ¡
• access. ¡
• Develop ¡an ¡Indicator ¡Tracking ¡Table ¡(ITT) ¡where ¡the ¡on-­‑going ¡measurement ¡
• f ¡the ¡project ¡against ¡indicators ¡(KPIs) ¡is ¡recorded. ¡
• Use ¡a ¡risk ¡log ¡to ¡record, ¡rate ¡and ¡determine ¡responses ¡to ¡risks ¡that ¡threaten ¡

the ¡plan ¡for ¡data ¡collec@on ¡and ¡management. ¡

Step ¡3 ¡– ¡Plan ¡for ¡Data ¡Analysis ¡

• Here ¡we ¡decide ¡how ¡to ¡convert ¡the ¡raw ¡

data ¡into ¡useful ¡informa@on ¡by ¡looking ¡for ¡ trends, ¡clusters ¡or ¡other ¡rela@onships ¡ among ¡collected ¡data. ¡

• The ¡data ¡analysis ¡plan ¡shows ¡how ¡data ¡will ¡

be ¡analysed ¡and ¡iden@fies ¡roles ¡and ¡ responsibili@es ¡for ¡this ¡analysis. ¡

• Data ¡analysis ¡can ¡be ¡descrip@ve ¡(what ¡

happened) ¡or ¡interpre@ve ¡(why ¡it ¡ happened). ¡

Step ¡4 ¡– ¡Plan ¡for ¡Repor@ng ¡and ¡Use ¡ ¡

• Now ¡we ¡decide ¡how ¡informa@on ¡is ¡to ¡be ¡

provided ¡to ¡stakeholders ¡– ¡wri?en, ¡verbal, ¡ videos, ¡pamphlets, ¡posters, ¡newsle?ers, ¡press ¡ releases, ¡public ¡mee@ngs ¡etc. ¡

• Good ¡repor@ng ¡is ¡relevant, ¡useful, ¡@mely, ¡

complete, ¡reliable, ¡user-­‑friendly, ¡consistent ¡ and ¡cost-­‑effec@ve. ¡

• While ¡data ¡may ¡be ¡collected ¡regularly, ¡not ¡

everything ¡needs ¡to ¡be ¡reported ¡to ¡everyone ¡ all ¡the ¡@me. ¡

Step ¡5 ¡– ¡Plan ¡for ¡M&E ¡Human ¡Resources ¡ and ¡Capacity ¡Building ¡

• Determine ¡the ¡need ¡and ¡availability ¡of ¡

appropriate ¡M&E ¡experience ¡and ¡exper@se ¡– ¡ astude ¡and ¡ap@tude. ¡

• Decide ¡the ¡extent ¡of ¡local ¡par@cipa@on ¡– ¡

usually ¡the ¡more ¡the ¡be?er, ¡but ¡some ¡training ¡ may ¡be ¡needed. ¡

• Define ¡the ¡roles ¡and ¡responsibili@es ¡for ¡M&E ¡

persons ¡and ¡decide ¡how ¡their ¡performance ¡will ¡ be ¡assessed. ¡

Step ¡6 ¡– ¡Prepare ¡the ¡M&E ¡Budget ¡

• To ¡prepare ¡the ¡M&E ¡budget ¡we ¡cost ¡each ¡

ac@vity ¡involved ¡– ¡staffing ¡numbers, ¡office ¡ equipment, ¡sta@onery ¡and ¡supplies, ¡travel, ¡ accommoda@on, ¡con@ngencies ¡etc. ¡

• The ¡M&E ¡budget ¡should ¡be ¡included ¡in ¡the ¡

project ¡budget ¡and ¡then ¡actuals ¡should ¡be ¡ tracked ¡during ¡the ¡M&E ¡process. ¡ ¡Typically ¡ the ¡M&E ¡budget ¡is ¡about ¡5% ¡of ¡the ¡project ¡

• budget. ¡

Step ¡7 ¡– ¡Complete ¡the ¡Evalua@on ¡ ¡

• The ¡evalua@on ¡is ¡undertaken ¡– ¡in ¡effect ¡it’s ¡a ¡

project ¡within ¡the ¡project. ¡

• Once ¡completed, ¡a ¡draI ¡evalua@on ¡report ¡is ¡

prepared, ¡circulated ¡for ¡comments, ¡edited, ¡ proofread ¡and ¡published. ¡

• For ¡report ¡recommenda@ons ¡to ¡be ¡useful ¡

they ¡need ¡to ¡be ¡clear ¡and ¡specific ¡and ¡ include ¡@meframes. ¡ ¡They ¡should ¡be ¡ expressed ¡as ¡goals. ¡

Step ¡8 ¡– ¡Follow-­‑Up ¡

¡ ¡ ¡ ¡Final ¡step ¡is ¡to ¡follow ¡up ¡the ¡evalua@on ¡and ¡ check ¡the ¡extent ¡to ¡which ¡any ¡ recommenda@ons ¡are ¡implemented. ¡

Measuring ¡Impact ¡

¡ ¡ ¡ ¡ ¡The ¡measurement ¡of ¡impact ¡is ¡some&mes ¡difficult. ¡ ¡ ¡

¡However, ¡we ¡must ¡s@ll ¡a?empt ¡to ¡assess ¡impact. ¡ ¡It ¡is ¡an ¡important ¡part ¡ ¡of ¡showing ¡accountability ¡for ¡what ¡we ¡have ¡set ¡out ¡to ¡achieve. ¡ ¡Typically, ¡impact ¡is ¡about ¡longer-­‑term ¡changes, ¡and ¡some@mes ¡it ¡may ¡ ¡take ¡months ¡or ¡even ¡years ¡for ¡such ¡changes ¡to ¡become ¡apparent. ¡ ¡Furthermore, ¡it ¡can ¡be ¡difficult ¡to ¡a?ribute ¡observed ¡changes ¡to ¡a ¡project ¡ ¡ ¡or ¡interven@on ¡versus ¡other ¡factors. ¡ ¡For ¡example, ¡if ¡we ¡measure ¡changes ¡ ¡ ¡(or ¡no ¡changes) ¡in ¡psychological ¡well-­‑being ¡following ¡a ¡psychosocial ¡ ¡ ¡project, ¡is ¡this ¡due ¡to ¡the ¡project ¡or ¡to ¡other ¡factors ¡such ¡as ¡an ¡outbreak ¡ ¡ ¡of ¡dengue ¡fever ¡or ¡an ¡economic ¡recession? ¡ ¡ Thus, ¡we ¡need ¡to ¡appreciate ¡that ¡some ¡changes ¡may ¡not ¡be ¡the ¡ ¡ consequence ¡of ¡the ¡project. ¡ ¡There ¡may ¡be ¡other ¡factors ¡that ¡cause ¡ ¡ change, ¡par@cularly ¡in ¡the ¡longer-­‑term. ¡ ¡Also, ¡some ¡changes ¡as ¡ ¡ a ¡consequence ¡of ¡the ¡project ¡cause ¡other ¡unexpected ¡changes. ¡

Results-­‑Based ¡Repor@ng ¡

1. What ¡was ¡achieved ¡and ¡what ¡were ¡the ¡indicators ¡of ¡ success? ¡ 2. How ¡did ¡actual ¡results ¡compare ¡to ¡expected ¡results? ¡ 3. Quan@fy ¡achievement ¡wherever ¡possible. ¡ 4. Illuminate ¡findings ¡with ¡quotes, ¡tes@monials, ¡photos, ¡

• etc. ¡

5. What ¡were ¡the ¡reasons ¡for ¡any ¡over ¡or ¡under ¡ achievement? ¡ 6. Were ¡there ¡any ¡unforeseen ¡problems ¡or ¡opportuni@es ¡? ¡ 7. Wherever ¡possible ¡involve ¡others ¡(partners, ¡ stakeholders, ¡beneficiaries). ¡ 8. By ¡presen@ng ¡credible, ¡reliable ¡and ¡balanced ¡ informa@on, ¡we ¡can ¡produce ¡effec@ve ¡results-­‑based ¡ reports ¡with ¡recommenda@ons. ¡