Assessing Impacts of International Volunteer Cooperation Daniel - - PowerPoint PPT Presentation

Assessing Impacts of International Volunteer Cooperation

Daniel Buckles, Jacques Chevalier and Philippe Fragnier

Session Overview

• Presentation on IA
• CoP Example
• Hands-on practice
• Closing discussion on

experiences of CoP

Impact Assessment: Why this topic?

• Innovation with IVC programs undocumented
• Impacts?
• Impacts of different approaches?
• Reasons?
• dominance of narrow accountability frameworks
• narrow range of Impact Assessment (IA) methods
• not adapted to IVC

What is impact assessment?

Monitoring and Evaluation

• Time frame of results

(immediate, intermediate, ultimate/final)

• System boundaries (people

and goals)

• Causality (linear cause-

effect / involving multiple factors and actors

Impact Assessment

• Years after participation
• After years of hosting
• Regional/national
• HIV rates to gender relations
• Education/income/cultural shifts

Design to fit purpose and context

Weight given to each aspect may vary, depending on purpose and context No IA methodology, only IA questions Tools to discuss:

• IA purpose
• IA context
• IA questions?
• IA questions?
• IA questions?

Meaningful IA brings together collaborative fact-finding, interpretation and action Tools to:

• Tap into real diversity of

views

• Mobilize relevant evidence
• Co-create and share the

story

• Combine rigor with care

• Exploring the

problems

• Knowing the

actors

• Assessing the
• ptions
• Understanding

systems

Attribution and Contribution

Photo: Michel Huneault, Bolivie

• Mid-program review
• 13 countries, 120

partners, 65 cooperation projects

• Various sectors

(health, economy, basic education

HIV/AIDS prevention and treatment in Burkina Faso

• Intervention
• National and Canadian

volunteers

• 7 Partner organizations
• Two year period
• Reduce incidence of HIV/

AIDS

• Observed changes in the

domain (various sources)

• Outreach
• Support and care
• Leadership and governance
• Gender equity
• Engagement in policy

dialogue

• Magnitude of change

moderate

Intervention scope

• Jointly interacting with
• thers
• Moderate scale
• Indirect contribution
• Moderate obstacles

Overall result

• Observed change
• moderate
• Default scenario
• no progress
• Overall result positive and

significant

• distance between default and
• bserved change

Methodology of the intervention

• Rationale/credible means
• Gaps in use of resources
• Very deliberate and

methodical

• Evidence used is good

Final Judgment and Recommendations

• Judgment
• In light of all factors and

actors, the contribution of the intervention to meaningful change is moderate

• Recommendations
• Reinforce work on prevention
• Consolidate gains on mother-

to-child transmission, through national volunteers

• Build capacities to raise funds

Fédération Nununa Burkina Faso

Ø Majeur Ø Modéré Ø Faible Ø Aucun Ø Recul De 2009 à 2011, Uniterra a contribué au renforcement des capacités institutionnelles de la Fédération Nununa, réseau de coopératives qui regroupre 4600 productrices de beurre de karité. Plusieurs autres organisations nationales ou internationales les appuient également. La collaboration avec Uniterra a permis des résultats documentés pour la semi-industrialisation : 1. Augmentation du revenu annuel des femmes et du membership de Nununa.2. Réduction significative de la pénibilité et du temps de production. 3. Réduction des quantités de bois et d’eau pour la production; protection des arbres de karité, gestion des eaux usées et des déchets solides. Nununa appuyée par plusieurs partenaires dont Uniterra a mis en place des équipements et amélioré les techniques de transformation qui ont permis l’augmentation des revenus moyens des productrices. Des études de faisabilité, de marché, le développement de nouveaux produits, la gestion des impacts environnementaux ont été appuyés par des volontaires. La transformation de l’Union en Fédération de coopératives a demandé beaucoup de travail et de persuasion aux leaders. Les résultats globaux sont significatifs. Les dirigeants de Nununa considèrent leur démarche efficace et efficiente (3) car toutes les étapes de la semi-industrialisation ont été planifiées, réalisées et suivies avec soin malgré quelques variations au niveau des coûts. Ils s’attribuent ainsi un mérite élevé (3) dans la réduction des coûts de production, la standardisation de la qualité du beurre et l’augmentation des volumes. Ils donnent à Uniterra un mérite moyen (2) confirmant l’utilité de l’appui des volontaires. Considérant les résultats de cette phase pilote de semi- industrialisation et de gestion durable des ressources et des déchets, Nununa souhaite développer son unité à plus grande échelle afin d’accroitre encore la production et les revenus des

• femmes. On demande à Uniterra de contribuer avec d’autres

volontaires spécialisés et d’être plus souple pour autoriser la prolongation de certains mandats.

0,5 1 1,5 2 2,5 3

Portée de l'intervention

Série1 Série1 2 3 3 3 Rôle Proximité Échelle Obstacles

0,5 1 1,5 2 2,5 3 Efficacité Efficience Délibéré Vérifiable

Méthode

Série1

Main Lessons

• Most interventions show moderate to small

contributions to meaningful change

• Partners recognize contribution of volunteers to

capacity building, when combined with other supports

• Organizations more professional, better

governed, more gender equity

• Timing of volunteer contributions has

significant impact on results

16

… main lessons

• Various insights emerging from evidence mobilized

and the reasoning shared among participants

• Adjustments to plans and more realistic and

evidence-based engagement with donors

• Staff and partners appreciated the technique; more

reflexive and additional thinking compared to only assessing indicators; but more demanding and complex

17

Impact Assessment Motivations

• When you do impact

assessment, what is the main motivation(s) behind it?

• Experienced with IA –

place an X in figure reflecting motivation(s)

• Never involved in IA –

place an O in figure reflecting perception

The Socratic Wheel

The Socratic Wheel

Socratic Learning

Skill area Initial rating Expected rating Expected progress Initial rating revised Final rating Real progress A B B – A C D D – C Business planning 2 8 6 1 5 4 Advocacy 4 8 4 6 8 2 Safety 6 6 5 6 1

Wheel Design Options

• Assess profiles, set priorities, monitor progress, evaluate

final results?

• Several wheels to represent and compare?
• Spokes for criteria or activities (against criteria)?
• Individual, subgroup or collective assessments?
• Criteria generated, negotiated, supplied?
• Use indicators or progress markers?
• Weighting of criteria?

Experiences from the Community of Practice