Mentorship in Program Evaluation for Early-Career Public - - PDF document

1 ¡ ¡

Mentorship in Program Evaluation for Early-Career Public Administrators

By Karine Levasseur and Andrea D. Rounce University of Manitoba A paper presented to the Canadian Association for Programs in Public Administration (CAPPA) Fourth Annual Research Conference in Public Management and Public Policy on May 25 - 26, 2015 at Glendon College, York University in Toronto, ON. Abstract Working with the Government of Manitoba, the authors attempt to bridge theory and practice in program evaluation for early career public servants employed by the provincial government. Tasked with completing an evaluation of a community-based program, the researchers have worked with four junior policy analysts to develop, manage, conduct, and report on the evaluation. The researchers acted as mentors to the analysts, providing direction and guidance, and the analysts have conducted the bulk of the evaluation. This case study provides an opportunity to learn about the challenges of and opportunities for building policy capacity. Introduction Policy capacity is defined by Bakvis (2000: 73) as the “intellectual dimension of governance that is the capacity of the system to think through the challenges it faces.” Thought to be an essential aspect of how governments operate — and essential to the prevention of policy failure — concerns have been raised in recent years that the policy capacity of governments across Canada has declined in part because of public sector reforms and a greater reliance on ideology to inform decisions (Savoie 2003: 1). While scholarly attention has increased in recent years, much of the policy capacity literature measures or assesses the stock of policy capacity that exists within governments and increasingly in non- governmental actors such as non-profit organizations (see, as examples, Baskoy, Evan and Shields 2011; Evans and Wellstead 2013; Howlet and Oliphant 2010; and, Wellstead and Stedman 2010). While measuring and assessing the stock of policy capacity is crucial to the identification of broad trends and the ability to discern strategic areas for intervention, there is an opportunity to critically assess how policy capacity can and should be nurtured. While there is some literature on this important aspect of policy capacity (see Bakvis 2000; Craft and Howlett 2012: 9 as examples), more research is needed. This paper contributes to our understanding of how policy capacity can be built through specific training

• pportunities for bureaucrats. To do so, the paper relies on a case study that involved the Government of

Manitoba whereby the authors served as mentors to early career civil servants in the area of program

• evaluation. The paper begins with a discussion of the state of policy capacity and, more specifically a

discussion on policy capacity building that is conceptually grounded within adult learning theory. It then

• utlines the case study, and ends with an assessment of lessons learned.

Conceptual framework: Building policy capacity through adult learning theory

2 ¡ ¡

Policy capacity, as measured in the literature, is time specific. This means, in effect, that measurement of policy capacity is specific to that moment in time. Yet, this is despite the reality that policy capacity is fluid, and even fleeting in some situations. The sudden departure of numerous key staff members can lower the policy capacity within a department, division or branch considerably and vice versa. So, measures of policy capacity are snapshots of what capacity exists within a specific unit, department or government at a particular moment in time. Given this, how then can policy capacity be built knowing that it is fluid – what is here today may be gone tomorrow and what was missing today can be eventually replaced? Rebuilding capacity can occur at different scales. At the macro level, attempts to rebuild policy capacity may occur through large-scale initiatives that cut across all facets of government. In his review of rebuilding policy capacity at the federal level in Canada, Bakvis (2000) indicates that two such attempts

• ccurred in the early- to mid-1990s: Policy Research Initiative (PRI) and a Deputy Minister Task Force

known as Le Releve. The PRI sought to nurture relationships between government departments and the external community, which included the academic community, as a means to build policy capacity through shared research (Bakvis 2000: 90). While the PRI looked outwards to build policy capacity, La Releve looked inwards. Bakvis (2000: 88) notes that while La Releve was focused on human resources management, it “nonetheless [was] closely related to policy capacity in relation to the recruitment and renewal of policy expertise”. Policy capacity can also be built at the micro level too within a specific department, division or branch targeting specific staff members. This may be a more optimal approach given that governments may not afford large government-wide initiatives given the fiscal challenges stemming from the 2008 recessionary

• pressures. Policy capacity building at this level provides specific opportunities to learn the necessary

skills, gain knowledge and apply their skills and knowledge. It is at this level of rebuilding policy capacity that out case study is focused. The framework to understand and assess opportunities to build policy capacity is rooted in adult learning

• theory. The study of how adults learn is better known as andragogy and is differentiated from its better

known counterpart — pedagogy — the study of how children learn. While adult learning can be conceived differently, this paper defines adult learning as a process where Malcolm Knowles (1980: 25) suggests: “In its broadest sense, the term describes a process — the process of adult learning. In this sense it encompasses practically all experiences of mature men and women by which they acquire new knowledge, understanding, skills, attitude, interests or values. It is a process that is used by adults for their self-development, both alone and with others, and it is used by institutions

• f all kinds for the growth and development of their employees, members and clients.”

As a process, adult learning is rooted in collaboration and equality between the teacher and the adult learner rather than command-and-control approaches. The five assumptions that make-up adult learning theory in the Knowles (1980: 44-45) tradition include the following: Assumption #1: Adults are self-directed While children are dependent for their learning, adult learners are independent, and as such they desire to engage in self-directed learning. Knowles (1984: 56) comments that “[a]dults have a self-concept of being responsible for their own decisions…They resent and resist situations in which they feel others are imposing their wills on them”. He further comments that this movement from dependency to self-direction is a normal aspect of the maturation process (1980: 43), but it is important for teachers to recognize that adults want to be actively involved in their learning and ensure that they create opportunities for self-

3 ¡ ¡

directed learning. An important observation about the use of the language ‘teachers’ is important here. Knowles (1980: 48) concedes that the teacher is a title, but a teacher actually engages in very little

• teaching. He notes, “Andragogy assumes that a teacher cannot really ‘teach’ in the sense of ‘make a

person learn’, but that one person can only help another person learn.” This leads to the next assumption. Assumption #2: Social learning is an important aspect of adult learning. Social learning recognizes that individuals — not just the teacher — have unique experiences and knowledge to share. In this sense, adult learners learn through their peers and others beyond the teacher. Relatedly, learning is achieved through the reliance of different styles of learning such as group or reflective learning (see Knowles 1984: 53). Assumption #3: Adults bring a wealth of experiences to their learning opportunities Knowles (1984: 57) reminds us that “adults come into an educational activity with both a great volume and a different quality of experiences from youth [b]y virture of simply having lived longer.” As a result, adults learners want to draw on their lived experiences and use them to leverage more learning for both themselves and their colleagues. The implication of this assumption for teachers, then, is the use of “experiential techniques…such as group discussion, simulation exercises, problem-solving activities, case method, and laboratory methods” (Knowles 1984: 57). A further implication of this assumption according to Knowles (1980: 57) is that learning occurs in safe, respectful and supportive environments to allow the adult learners to actively share their experiences and how they may relate to the topic of study and encourage them to contribute to the project by expressing ideas. Assumption #4: Adults are problem-centred and goal-specific Adult learners experience greater values when learning focuses on problems in their community and everyday life. Knowles (1984: 58) comments that “adults become ready to learn those things they need to know and be able to do in order to cope effectively with their real-life situations.” The implication for teaching, then, is to ensure that teaching materials are relevant with hands-on application in order to develop skills and nurture confidence. Further, learning can be overwhelming so developing specific goals or milestones becomes an important aspect of working with adult learners. Assumption #5: Adults are motivated to learn Adult learners are motivated to learn by what Knowles (1984: 61) refers to as “external motivators” such as “better jobs, promotions, higher salaries”. However, he also notes that the “most potent motivators are internal pressures [such as] the desire for increased job satisfaction, self-esteem [and] quality of life” (1984: 61). These assumptions form the basis for how the mentorship process unfolded. However, there are a variety

• f models in which these assumptions can work. The mentorship model used in the case study discussed

below is the competency model whereby the mentors provide ongoing constructive and supportive feedback about the progress of the mentee (Wong and Premkumar 2007). In this model, the mentee is an active partner in the research. Therefore, while the mentor provides support, feedback and comments throughout the project, the mentee is responsible for actively participating in the project (for example, bringing ideas to the table, identifying challenges, executing the work, proposing prescriptive solutions) and taking the lead on data analysis and reporting. This model is in comparison to other mentorship models such as the apprentice model where the mentor simply observes the mentor and the reflective model where the mentee concentrates on self-reflection of their performance and progress (Wong and Premkumar 2007). Case study: Government of Manitoba

4 ¡ ¡

Manitoba’s civil service includes 15,133 staff as of March 31, 2013 (including 14,611 regular, term, technical, and departmental staff; 494 casual employees; and 28 contract employees) (Manitoba Civil Service Commission 2013, 4). As with other public services in Canada, many of these staff are eligible to retire in the next few years. Thomas and Brown (2010, 246) have reported that almost half of the entire public service will be in a position to retire by 2016. One of the key issues facing the civil service is how to build, develop, and retain policy capacity. The Provincial Auditor reported in 2001 that policy capacity in the public service, including program evaluation, needed significant improvement (Office of the Provincial Auditor 2001): Absence of a systematic approach to policy evaluation prevails. Departments identified the following constraints to post policy implementation evaluation: time, cost, data availability/collection, and challenges of conclusive results (e.g., attributing certain outcomes to specific government policies/programs). Notwithstanding such challenges and constraints and the general view among senior management that systematic policy evaluation is not necessary, nevertheless, to not engage in post policy implementation evaluation is to function in a vacuum of

• information. In the absence of evaluation information, government resources may be misdirected.

Creative solutions to this problem need to be sought (55). Post-2001, Manitoba moved to address the issues raised by the Auditor, committing to furthering policy capacity within the public service. By 2009, Clerk of the Executive Council Paul Vogt had suggested “that the solution to limited policy capacity was to have managers reach out to the delivery ranks to obtain policy ideas”, emphasizing the connection between policy and operations (Thomas and Brown 2010, 246) – as well as the need for the public service to work with those outside of government. Starting in 2009/10, investments in learning opportunities for staff that focus on formal experiences (like the training done through the Organization and Staff Development arm of the Civil Service Commission) have declined, reflecting in part the adjustment of departmental spending during the economic downturn (Manitoba Civil Service Commission 2013, 43). Most program evaluation involving Government of Manitoba funds is conducted by external consultants, but there is interest in developing further capacity around program evaluation within the public service. In 2014, the Government of Manitoba identified a need for an evaluation of one of its funded programs that is delivered by a local non-profit organization. In short, a program evaluation was required, but rather than contract out the program evaluation to a third-party (for example, a market research firm), senior civil servants opted to use the program evaluation as a means to develop internal policy capacity. That is, rather than contract out the work, senior civil servants deliberately designed the project so that junior civil servants – four in total – would actually execute the program evaluation under the guidance and supervision of the authors. The program to be evaluated was in the pilot phase, and provided a unique suite of services designed to support employability and citizenship for some of the most disadvantaged people in Winnipeg. Based on a community economic development model, this program developed out of community needs for government-issued identification, banking and financial management supports, and driver’s license training that would be affordable and meet the needs of people in difficult circumstances. While the pilot program was funded primarily by two government departments, it was created in partnership with key community organizations.

5 ¡ ¡

Preliminary feedback on the program had been positive, but government and the community agencies involved were interested in formalizing an evaluation in order to inform decision-making and service delivery going forward. There was interest in mapping out a way to help build some capacity within government while drawing on the resources available in the external-to-government community. An RFP was issued by Government, providing an overview of the evaluation framework as well as the required mentorship component. The proposals submitted were vetted by a committee of government and community members involved in the program (including three of the four policy analysts who would be working on the evaluation), and the group recommended a proposal for the project that could combine the theory of program evaluation with hands-on experience in doing evaluation. In a purely contractual arrangement with government, consultants often will have one person or a small group of people tasked with ensuring oversight of the evaluation process and providing advice where

• needed. In this case, there was one person tasked with being the primary point of contact, along with a

Steering Committee comprising program managers, community partners, and government

• representatives. Adding the four policy analysts to the evaluation team meant that their two supervisors

(from two different departments) also needed to have a connection to the evaluation process. It was important to discuss early on in the process (and throughout) who would have responsibility for what components of the evaluation. The Steering Committee provided a critical way for the evaluation team to ensure that the work they were doing (including developing logic models for the program, the methodology to be used, how best to work with community members, and the findings and recommendations) met the needs of government and of the community partners. The evaluation team was made up of the two researchers and four early-career Manitoba policy analysts who were chosen by government for this learning opportunity. None of the four policy analysts (PAs) had significant experience with program evaluation, but all four were exposed to program evaluation through their work. As a beginning step, the authors developed and provided an extensive questionnaire to the PAs in order to better understand their knowledge, skills, experience, concerns, and interests in program evaluation and research more broadly (see Appendix A). The two supervisors also completed an assessment of the PAs knowledge, skills, and experience. Both questionnaires provide a baseline understanding, allowing for the researchers to re-administer the questionnaires post-evaluation to assess any changes. The responses also allowed the researchers to better tailor the learning experience to the realities of the four PAs and their supervisors. Teaching program evaluation can make use of many techniques, but generally uses both academic materials and applied work wherever possible. Experiential learning, whether working directly on an existing project or planning an evaluation for a project without being in a position to implement the evaluation provides students with the ability to apply what they are learning, and to bridge theory and

• practice. To introduce the PAs to the evaluation process, all undertook assigned reading on program

evaluation as well as completing the Tri-Council Policy Statement on the Ethical Conduct for Research Involving Humans (TCPS2) online training. They gathered all available information on the program background, building an understanding of how and why the program developed as well as how it was

• perating. While the researchers had developed a methodological approach for the evaluation in their
• riginal proposal, the team worked together to create logic models for each component of the program

(as well as for the overall program) and outlined the key approaches and groups of people who would be crucial for the evaluation’s success. Regular meetings of the team were held to allow opportunities for discussion, research, and questioning. The PAs met amongst themselves as well, building a strong project team.

6 ¡ ¡

The methodological approach for this evaluation included focus groups of program participants, interviews with key stakeholders internal to government, in partnering community organizations, and of current and past staff/managers in the program. The PAs developed, tested, and implemented a focus group recruiting instrument, moderator’s guide, and interview questions for different groups of key informants. One of the goals of this evaluation project was to help build policy capacity, while also recognizing that government employees were very likely to deal with consultants undertaking evaluations on behalf of government and less likely to be doing evaluations themselves internally. As the mentors for this project, we also needed to ensure that we managed potential conflicts of interest before they could arise, particularly when it came to ensuring the safety of program participants. Thus, when it came to planning, recruiting for, and conducting focus groups, the researchers had determined in the proposal stage that they would work with a Manitoba-based research company with extensive experience in these areas. Probe Research Inc. worked with the evaluation team to develop a focus group recruiting/screening tool, a moderator’s guide, to do training and some role-playing, and to conduct the focus groups. Three of the PAs were able to co-conduct focus groups with participants, after ground rules were clearly established by the Probe Research Inc. facilitator. Ethical considerations were paramount at every stage in this process. Recruiting was done by an external-to-government company (Probe Research Inc.) in order to maintain separation between the program funders and participants, and to minimize actual or perceived coercion. Focus group participants were told that although the co-moderators were government employees, they did not have decision-making authority for the program and were there to learn more about how the program could be strengthened for future clients. Participants were provided with an incentive to be part of the focus group, chosen specifically so that it would not impact other sources of funding (such as Employment and Income Assistance which is the provincial welfare program in Manitoba). The groups themselves were held in the community, at different times in the day to accommodate diverse needs. Bus tickets and on-site childcare were provided to minimize any negative impacts associated with focus group participation. Interviews with key informants from government, community partner referral agencies, other community partners, and program staff/management were conducted by the evaluation team, usually in groups of

• two. The first interviews were done by the researchers, with the PAs observing and taking notes. The

PAs took over from there, undertaking the bulk of the interviews. It was vital to again manage any potential conflicts of interest or coercion, so all interviews were assessed in advance and conducted by the PAs/researchers that would not be in a conflict situation. For example, interviews with staff members from the program being evaluated were conducted by the researchers alone. Once the focus groups, interviews, and program data collection were complete, analysis began. Components of the analysis were assigned to the PAs and researchers, and weekly meetings and additional writing sessions were scheduled to allow for the team to work through the report writing and analysis efficiently and collectively. The draft report will ultimately be presented to, reflected on, and approved by the Steering Committee. Ethical considerations are rarely far from the surface in program evaluation work, and analysis and report writing are not exempt. Program evaluators external to government do not necessarily have to deal with the same pressures that face those within the public service, but working together, it was possible to ensure that the evaluation report remains honest while meeting the needs of the community partners and government. This process was ultimately designed to address two governmental needs: one, for a thorough, rigorous, and legitimate evaluation of a pilot program; and two, to provide a training opportunity for talented early-

7 ¡ ¡

career public servants – helping also to build capacity within the public service. At the end of this process, the PAs will have additional experience, knowledge, and training in the following:

• program evaluation broadly;
• development of logic models;
• ethical conduct of research (including minimizing risks for participants, identifying and addressing

potential conflicts of interest, );

• how to ask for, compare, and analyze program-related data;
• working with government officials, consultants, and community organizations;
• applied research, including focus groups and key informant interviews;
• managing the logistics of research processes (scheduling, recruiting, etc);
• managing quantitative and qualitative research processes and data;
• presenting results and recommendations;
• writing reports that meet the needs of government and community organizations;
• team-building;
• time management (particularly balancing multiple competing priorities); and
• flexibility.

For this project to be successful, it is also important to evaluate the learning outcomes for the analysts. Recalling that we constructed a baseline questionnaire that required the analysts and their supervisors to assess their knowledge, skills, abilities, and interests in program evaluation before beginning the evaluation, these questionnaires will be repeated with the analysts and the supervisors once the evaluation is completed. The questionnaire will then again be completed by the analysts and their supervisors at six months and twelve months post-evaluation, in order to determine the lasting impact and implementation opportunities for these new/developed skills. Findings and analysis There are three key findings related to this case study that scholars and practitioners will want to assess in determining whether this model for building policy capacity is appropriate. The first finding relates to the logistics of planning and executing this policy capacity building model and how difficult it is for consultants

• utside government to work with government structures and processes. A prime example of this difficulty

is the fact that electronic files such as data files or word document files could not be easily shared outside government so this necessitated more complicated arrangements to share files. To be sure, this challenge is not unique to this case study and is not different from any other collaborative effort. Another logistical challenge relates to staff turnover. At the start of the project, four junior policy analysts across two departments were assigned to complete the program evaluation working as a team under

• supervision. However, one of the policy analysts was unable to complete the assigned task after three

months into the project for personal reasons. The workload had to be re-shuffled after this departure and this, in effect, meant an increased workload for the remaining policy analysts. With increased workloads, there were also competing pressures for time to consider. During the course of the project — as is found in every aspect of government — numerous tasks were required of the three remaining policy analysts from preparing urgent briefing notes to preparing for budget day to dealing with stakeholder demands. While the project began with a commitment of 12 hours hour per week per policy analyst. However, with loss of one of the policy analysts and increasing demands — often urgent — this caused some delays in moving the project forward.

8 ¡ ¡

The loss of one of the policy analysts is not the only example of staff turnover. During the middle of the project, the senior staff person for the project who was also a champion of building internal policy capacity within government was promoted and moved to another department. Moreover, there was a staff change within the organization being evaluated during the middle of the project. These examples of staff turnover represent a loss of institutional memory from which to draw on for the evaluation, but more importantly they also represent a loss to the project in that every time a staff member was lost, a re-orientation to the project was required. The second key finding relates to the actual building of new skills, knowledge and experience. While the evaluation is now complete, the next step is to assess the impact of this learning opportunity on policy

• capacity. This assessment includes key informant interviews with the policy analysts working on the

evaluation and their supervisors. It also includes re-issuing the skills assessment survey at the end of the project, and again at six months and 12 months upon completion of the project. The rationale for re- issuing the skills assessment survey six and 12 months after the completion of the project relates to the principle that adult learners must be able to apply their learning. By re-issuing the skills assessment survey, we can measure how this learning opportunity contributed to new skills and knowledge, and their ability to contribute to their department. While policy capacity needs to be measured now that the project is complete so as to compare it to the baseline data, we have seen the development of new skills and knowledge in the interim. So, from a policy capacity building perspective, we are seeing improvements. Even if these three policy analysts never undertake a lead role on a program evaluation, they now understand the process and they should be better at dealing with organizations in an evaluation framework. Further, if the policy analysts work with external consultants who are contracted to complete a program evaluation, they will be better at working with them and should be more critical of the findings. This should, at least, allow for more meaningful reporting and implementation of evaluation findings. The policy analysts should also be in a position to better integrate evaluation into the public policy process rather than just treating it as an ‘add-

• n’ after formulation and implementation. To be sure, this is a very difficult thing to measure and it may

not be captured in the skills assessment survey, but certainly these points will be raised during the key informant interviews with the policy analysts and their supervisors. The last finding relates to sustainability. While new knowledge has been gained and new skills developed, the challenge becomes the ability for the policy analysts to continue to put into practice what they learned. So, how does a government provide this opportunity to sustain the knowledge and skills after the mentorship has ceased? This is an important point because investing in new knowledge and skills requires sustained practice otherwise the skills become rusty. Governments entertaining this model must be committed to creating long-term learning plans for employees to prevent this from occurring. Concluding remarks The overarching question resulting from this case study is whether this model for building policy capacity is worthwhile. Keeping in mind that more assessment of the skills and knowledge learned needs to

• ccur, we can say, preliminarily, that from our perspective it is a worthwhile endeavour. In discussions

with the policy analysts, there is also a similar feeling, but again, more will be known upon the completion

• f the key informant interviews and the re-issuing of the skills assessment survey. To be sure, there are

likely many different types of models to build policy capacity and this model needs to be judged against those models. Moreover, governments need to critically assess whether there is merit in building policy capacity because it may be possible that it is more financially feasible to hire a consultant with the expertise,

9 ¡ ¡

resources and ability to conduct a program evaluation more quickly and possibly at a lower cost given that mentoring is quite labour intensive. So while an external consultant can possibly complete the evaluation more quickly and with fewer expenses, what it means is that policy capacity is being built external to government. This model described here builds internal policy capacity, but there are real possibilities for delays given the competing demands for staff time and the other challenges described

• above. In our estimation, this model worked well overall in large part because of the commitment of the

Province of Manitoba and the unwavering dedication and motivation of the policy analysts, their supervisors and senior civil servants in seeing the evaluation completed. While this project is being conducted with early career public servants as continuing knowledge development, it is anticipated that it could be expanded to provide opportunities for MPA students as well. The team teaching, mentorship approach shows all indications of being highly effective in this applied, experiential setting that allows for a true bridge of theory and practice.

10 ¡ ¡

Bibliography Bakvis, Herman. 2000. “Country Report – Rebuilding Policy Capacity in the Era of the Fiscal Dividend: A Report from Canada.” Governance: An International Journal of Policy and Administration 13 (1): 71-103. Baskoy, Tuna, Bryan Evans and John Shields. 2011. “Assessing policy capacity in Canada’s public services: Perspectives of deputy and assistant deputy ministers.” Canadian Public Administration 54 (2): 217-234. Craft, Jonathan and Michael Howlett. 2012. “Subsystems Structuring, Shifting Mandates and Policy Capacity: Assessing Canada’s Ability to Adapt to Climate Change.” Canadian Political Science Review 6 (1): 3-14. Evans, Bryan and Adam Wellstead. 2013. “Policy Dialogue and Engagement between Non-Governmental Organizations and Government: A Survey of Processes and Instruments of Canadian Policy Workers.” Central European Journal of Public Policy 1: 60-87. Manitoba Civil Service Commission. 2013. Annual Report 2012-2013. Winnipeg, MB: Government of

• Manitoba. http://www.gov.mb.ca/csc/publications/annrpt/pdf/2012-13_annualrpt_en-fr.pdf

Howlett, M. and S. Oliphant. 2010. “Environment Research Organizations and Climate Change Policy Analytical Capacity: An Assessment of the Canadian Case.” Canadian Political Science Review 4 (2-3): 18-35. Knowles, Malcolm. 1980. The Modern Practice of Adult Education: From Pedagogy to Andragogy. New York: Cambridge The Adult Education Company. Knowles, Malcolm. 1984. The Adult Learner: A Neglected Species, Third Edition. Houston, TX: Gulf Publishing. Office of the Provincial Auditor. 2001. “Report on a Review of the Policy Development Capacity Within Government Departments”. Winnipeg, MB: Author. http://www.oag.mb.ca/wp- content/uploads/2011/06/REVIEWPLCDVLP_NOV01.pdf Savoie, D. 2003. “Strengthening the Policy Capacity of Government”. Unpublished document. Thomas, Paul G. with Curtis Brown. 2010. “The Past, Present, and Future of the Manitoba Civil Service” in Manitoba Politics and Government: Issues, Institutions, and Traditions, pp. 227-256, edited by Paul J. Thomas and Curtis Brown. Winnipeg, MB: University of Manitoba Press. Wellstead, Adam and Richard Stedman. 2010. “Policy Capacity and Incapacity in Canada's Federal Government: The intersection of policy analysis and street-level bureaucracy”. Public Management Review 12 (6): 893 - 910. Wong, A.T. and K. Premkumar. 2007. “An Introduction to Mentoring Principles, Processes, and Strategies for Facilitating Mentoring Relationships at a Distance.” Available online: http://www.usask.ca/gmcte/mentoring/PDFPart2.pdf Accessed March 26, 2015

11 ¡ ¡

APPENDIX A: Baseline Survey

CB ¡Evaluator ¡Survey ¡-­‑ ¡PAs ¡

Introduction ¡

This ¡survey ¡has ¡been ¡provided ¡to ¡you ¡for ¡your ¡role ¡in ¡the ¡evaluation ¡of ¡Citizens ¡Bridge. ¡One ¡of ¡the ¡ goals ¡of ¡this ¡evaluation ¡is ¡to ¡increase ¡policy ¡capacity ¡(including ¡skills ¡in ¡program ¡evaluation) ¡within ¡ Employment ¡Manitoba, ¡defined ¡in ¡the ¡Canadian ¡literature ¡as ¡“the ¡access ¡to ¡resources, ¡networks ¡and ¡ skills ¡to ¡engage ¡in ¡public ¡policy ¡analysis”. ¡ ¡It ¡will ¡likely ¡take ¡between ¡20 ¡and ¡30 ¡minutes ¡to ¡

• complete. ¡ ¡

This ¡survey ¡will ¡be ¡used ¡by ¡the ¡evaluation ¡mentors ¡on ¡this ¡project ¡to ¡establish ¡a ¡baseline ¡ assessment ¡of ¡your ¡knowledge, ¡skills, ¡and ¡usage ¡of ¡tools ¡for ¡program ¡evaluation. ¡This ¡will ¡help ¡us ¡to ¡ tailor ¡this ¡learning ¡opportunity ¡to ¡suit ¡your ¡identified ¡skills ¡and ¡interests ¡as ¡much ¡as ¡possible. ¡This ¡ survey ¡will ¡be ¡repeated ¡upon ¡completion ¡of ¡the ¡evaluation, ¡in ¡order ¡to ¡identify ¡any ¡changes ¡in ¡your ¡ skill, ¡knowledge, ¡and ¡confidence ¡levels ¡gained ¡over ¡the ¡course ¡of ¡the ¡evaluation ¡project. ¡Your ¡ individual ¡responses ¡will ¡be ¡kept ¡confidential ¡by ¡Andrea ¡Rounce ¡and ¡Karine ¡Levasseur. ¡ ¡We ¡will ¡ report ¡all ¡responses ¡in ¡aggregate ¡to ¡the ¡evaluation ¡team, ¡including ¡the ¡project ¡lead ¡and ¡your ¡direct ¡

• supervisor. ¡ ¡All ¡questions ¡are ¡required ¡in ¡order ¡to ¡ensure ¡that ¡the ¡researchers ¡have ¡the ¡information ¡

they ¡need ¡to ¡build ¡the ¡best ¡educational ¡experience ¡for ¡you ¡that ¡is ¡possible. ¡ ¡Please ¡complete ¡this ¡ survey ¡before ¡Wednesday, ¡November ¡12, ¡2014 ¡(end ¡of ¡day). ¡If ¡this ¡timing ¡won't ¡work ¡for ¡you, ¡ please ¡contact ¡Andrea ¡or ¡Karine ¡as ¡soon ¡as ¡possible. ¡ ¡In ¡addition, ¡please ¡contact ¡either ¡Andrea ¡ Rounce ¡or ¡Karine ¡Levasseur ¡if ¡you ¡have ¡any ¡questions ¡about ¡this ¡survey! ¡

Knowledge ¡Levels ¡

Through ¡your ¡work ¡and ¡educational ¡pursuits, ¡you ¡have ¡gained ¡knowledge ¡in ¡a ¡variety ¡of ¡areas. ¡ Please ¡answer ¡the ¡following ¡questions, ¡thinking ¡about ¡what ¡you ¡currently ¡know ¡about ¡the ¡following ¡ subjects/topics. ¡Please ¡note, ¡these ¡questions ¡relates ¡only ¡to ¡your ¡self-­‑assessed ¡knowledge ¡ ¡and ¡not ¡ whether ¡you ¡have ¡actually ¡undertaken ¡any ¡of ¡these ¡tasks. ¡

Knowledge ¡

Using ¡the ¡categories ¡below, ¡how ¡would ¡you ¡assess ¡your ¡knowledge ¡in ¡the ¡following ¡areas? ¡ Reminder: ¡this ¡question ¡relates ¡to ¡your ¡self-­‑assessed ¡knowledge, ¡not ¡whether ¡or ¡not ¡you ¡have ¡ actually ¡undertaken ¡any ¡of ¡these ¡activities. ¡ ¡ Not ¡ knowledgeable ¡ about ¡ Somewhat ¡ ¡ knowledgeable ¡ about ¡ Knowledgeable ¡ about ¡ Very ¡ knowledgeable ¡ about ¡ Don't ¡ Know ¡ Understanding ¡ government ¡ ¡ ¡ ¡ ¡ ¡

12 ¡ ¡ structures, ¡ responsibilities, ¡and ¡

• perations ¡

Quantitative ¡ research ¡ methodologies ¡ ¡ ¡ ¡ ¡ ¡ Frequency ¡ distributions ¡ ¡ ¡ ¡ ¡ ¡ Bivariate ¡analysis, ¡ including ¡ contingency ¡tables, ¡ chi-­‑square ¡analysis, ¡ t-­‑tests, ¡bivariate ¡ regression ¡analysis ¡ ¡ ¡ ¡ ¡ ¡ Multivariate ¡ analysis, ¡including ¡ regression ¡analysis, ¡ multivariate ¡ crosstabulations ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡ Focus ¡groups ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡ Interviews ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡ Content ¡analysis ¡ ¡ ¡ ¡ ¡ ¡ Ethical ¡principles ¡ related ¡to ¡applied ¡ research ¡ ¡ ¡ ¡ ¡ ¡ Tri-­‑Council ¡Policy ¡ Statement ¡2 ¡ (governing ¡research ¡ ethics) ¡ ¡ ¡ ¡ ¡ ¡ Research ¡ethics ¡for ¡ vulnerable ¡ populations ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡ analysis ¡using ¡Excel ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡ ¡ ¡ ¡ ¡ ¡

13 ¡ ¡ analysis ¡using ¡SPSS ¡ Quantitative ¡data ¡ analysis ¡using ¡ another ¡software ¡ program ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡data ¡ analysis ¡using ¡a ¡ software ¡program ¡ ¡ ¡ ¡ ¡ ¡ Identify ¡the ¡

• bjectives ¡of ¡a ¡

program ¡evaluation ¡ ¡ ¡ ¡ ¡ ¡ Develop ¡research ¡ questions ¡ ¡ ¡ ¡ ¡ ¡ Create ¡a ¡logic ¡model ¡ to ¡support ¡a ¡ program ¡evaluation ¡ ¡ ¡ ¡ ¡ ¡ Identify ¡inputs, ¡

• utputs, ¡and ¡
• utcomes ¡to ¡form ¡

the ¡basis ¡for ¡ evaluating ¡a ¡ program's ¡activities ¡ and ¡impacts ¡ ¡ ¡ ¡ ¡ ¡ Gather ¡and ¡review ¡ existing ¡data: ¡ literature ¡ ¡ ¡ ¡ ¡ ¡ Gather ¡and ¡review ¡ existing ¡data: ¡ statistical ¡data ¡ ¡ ¡ ¡ ¡ ¡ Collect ¡primary ¡data ¡ ¡ ¡ ¡ ¡ ¡ Assess ¡the ¡validity, ¡ reliability, ¡and ¡ trustworthiness ¡of ¡ the ¡data ¡ ¡ ¡ ¡ ¡ ¡ Analyze ¡and ¡ interpret ¡data ¡ ¡ ¡ ¡ ¡ ¡ Draw ¡conclusions ¡ from ¡data ¡ ¡ ¡ ¡ ¡ ¡

14 ¡ ¡ Make ¡ recommendations ¡ based ¡on ¡evidence ¡ ¡ ¡ ¡ ¡ ¡ Prepare ¡report ¡on ¡ program ¡evaluation ¡ findings ¡ ¡ ¡ ¡ ¡ ¡ Manage ¡ communications ¡ within ¡a ¡team ¡ ¡ ¡ ¡ ¡ ¡ Work ¡with ¡ community-­‑based ¡

• rganizations ¡on ¡a ¡

project ¡ ¡ ¡ ¡ ¡ ¡ Work ¡in ¡a ¡team ¡on ¡a ¡ defined ¡project ¡ ¡ ¡ ¡ ¡ ¡ Work ¡with ¡ vulnerable ¡ populations ¡ ¡ ¡ ¡ ¡ ¡ Present ¡ research/evaluation ¡ findings ¡ ¡ ¡ ¡ ¡ ¡

Research ¡and ¡Evaluation ¡Skills ¡

Through ¡your ¡work ¡and ¡educational ¡pursuits, ¡you ¡have ¡developed ¡skills ¡that ¡you ¡have ¡applied. ¡ Please ¡answer ¡the ¡following ¡questions, ¡thinking ¡about ¡the ¡skills ¡that ¡you ¡developed ¡and ¡have ¡ applied ¡either ¡in ¡school ¡or ¡work ¡situations. ¡

Research ¡and ¡Evaluation ¡Skills ¡

Using ¡the ¡categories ¡below, ¡how ¡would ¡you ¡assess ¡your ¡research ¡and ¡evaluation ¡skills ¡in ¡the ¡ following ¡areas? ¡These ¡questions ¡below ¡relate ¡to ¡your ¡self-­‑assessed ¡skill ¡level, ¡not ¡whether ¡or ¡not ¡ you ¡have ¡actually ¡undertaken ¡any ¡of ¡these ¡activities. ¡ ¡ Low ¡ skill ¡ level ¡ Medium-­‑ Low ¡skill ¡ level ¡ Medium ¡ skill ¡level ¡ Medium-­‑ High ¡skill ¡ level ¡ High ¡ skill ¡ level ¡ Don't ¡ Know ¡ Understanding ¡government ¡ structures, ¡responsibilities, ¡and ¡

• perations ¡

¡ ¡ ¡ ¡ ¡ ¡

15 ¡ ¡ Quantitative ¡research ¡ methodologies ¡ ¡ ¡ ¡ ¡ ¡ ¡ Frequency ¡distributions ¡ ¡ ¡ ¡ ¡ ¡ ¡ Bivariate ¡analysis, ¡including ¡ contingency ¡tables, ¡chi-­‑square ¡ analysis, ¡t-­‑tests, ¡bivariate ¡ regression ¡analysis ¡ ¡ ¡ ¡ ¡ ¡ ¡ Multivariate ¡analysis, ¡including ¡ regression ¡analysis, ¡multivariate ¡ crosstabulations ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡Focus ¡ groups ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡Interviews ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡Content ¡ analysis ¡ ¡ ¡ ¡ ¡ ¡ ¡ Ethical ¡principles ¡related ¡to ¡ applied ¡research ¡ ¡ ¡ ¡ ¡ ¡ ¡ Tri-­‑Council ¡Policy ¡Statement ¡2 ¡ (governing ¡research ¡ethics) ¡ ¡ ¡ ¡ ¡ ¡ ¡ Research ¡ethics ¡for ¡vulnerable ¡ populations ¡ ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡analysis ¡using ¡ Excel ¡ ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡analysis ¡using ¡ SPSS ¡ ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡analysis ¡using ¡ another ¡software ¡program ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡data ¡analysis ¡using ¡a ¡ software ¡program ¡ ¡ ¡ ¡ ¡ ¡ ¡ Identify ¡the ¡objectives ¡of ¡a ¡ program ¡evaluation ¡ ¡ ¡ ¡ ¡ ¡ ¡ Develop ¡research ¡questions ¡ ¡ ¡ ¡ ¡ ¡ ¡ Create ¡a ¡logic ¡model ¡to ¡support ¡a ¡ program ¡evaluation ¡ ¡ ¡ ¡ ¡ ¡ ¡ Identify ¡inputs, ¡outputs, ¡and ¡

• utcomes ¡to ¡form ¡the ¡basis ¡for ¡

¡ ¡ ¡ ¡ ¡ ¡

16 ¡ ¡ evaluating ¡a ¡program's ¡activities ¡ and ¡impacts ¡ Gather ¡and ¡review ¡existing ¡data: ¡ literature ¡ ¡ ¡ ¡ ¡ ¡ ¡ Gather ¡and ¡review ¡existing ¡data: ¡ statistical ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Collect ¡primary ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Assess ¡the ¡validity, ¡reliability, ¡and ¡ trustworthiness ¡of ¡the ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Analyze ¡and ¡interpret ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Draw ¡conclusions ¡from ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Make ¡recommendations ¡based ¡on ¡ evidence ¡ ¡ ¡ ¡ ¡ ¡ ¡ Prepare ¡report ¡on ¡program ¡ evaluation ¡findings ¡ ¡ ¡ ¡ ¡ ¡ ¡ Manage ¡communications ¡within ¡a ¡ team ¡ ¡ ¡ ¡ ¡ ¡ ¡ Work ¡with ¡community-­‑based ¡

• rganizations ¡on ¡a ¡project ¡

¡ ¡ ¡ ¡ ¡ ¡ Work ¡in ¡a ¡team ¡on ¡a ¡defined ¡ project ¡ ¡ ¡ ¡ ¡ ¡ ¡ Work ¡with ¡vulnerable ¡ populations ¡ ¡ ¡ ¡ ¡ ¡ ¡ Present ¡research/evaluation ¡ findings ¡ ¡ ¡ ¡ ¡ ¡ ¡

Use ¡of ¡Research ¡and ¡Evaluation ¡Skills ¡

So ¡far ¡we've ¡asked ¡you ¡about ¡your ¡knowledge ¡and ¡skill ¡level ¡in ¡key ¡research ¡and ¡evaluation ¡ techniques ¡and ¡practices. ¡ ¡Thinking ¡about ¡these ¡skills, ¡please ¡indicate ¡how ¡often ¡you've ¡used ¡these ¡ skills ¡in ¡your ¡past ¡work ¡and ¡educational ¡experiences. ¡

Use ¡of ¡Research ¡and ¡Evaluation ¡Skills ¡

Using ¡the ¡categories ¡below, ¡how ¡would ¡you ¡assess ¡how ¡often ¡you've ¡used ¡your ¡research ¡and ¡ evaluation ¡skills ¡in ¡the ¡following ¡areas? ¡ ¡ ¡ Never ¡ Rarely ¡ Occasionally ¡ Frequently ¡ Always ¡ Don't ¡

17 ¡ ¡ Know ¡ Understanding ¡government ¡ structures, ¡responsibilities, ¡and ¡

• perations ¡

¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡research ¡ methodologies ¡ ¡ ¡ ¡ ¡ ¡ ¡ Frequency ¡distributions ¡ ¡ ¡ ¡ ¡ ¡ ¡ Bivariate ¡analysis, ¡including ¡ contingency ¡tables, ¡chi-­‑square ¡ analysis, ¡t-­‑tests, ¡bivariate ¡ regression ¡analysis ¡ ¡ ¡ ¡ ¡ ¡ ¡ Multivariate ¡analysis, ¡including ¡ regression ¡analysis, ¡multivariate ¡ crosstabulations ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡Focus ¡groups ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡Interviews ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡methods: ¡Content ¡ analysis ¡ ¡ ¡ ¡ ¡ ¡ ¡ Ethical ¡principles ¡related ¡to ¡ applied ¡research ¡ ¡ ¡ ¡ ¡ ¡ ¡ Tri-­‑Council ¡Policy ¡Statement ¡2 ¡ (governing ¡research ¡ethics) ¡ ¡ ¡ ¡ ¡ ¡ ¡ Research ¡ethics ¡for ¡vulnerable ¡ populations ¡ ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡analysis ¡using ¡ Excel ¡ ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡analysis ¡using ¡ SPSS ¡ ¡ ¡ ¡ ¡ ¡ ¡ Quantitative ¡data ¡analysis ¡using ¡ another ¡software ¡program ¡ ¡ ¡ ¡ ¡ ¡ ¡ Qualitative ¡data ¡analysis ¡using ¡a ¡ software ¡program ¡ ¡ ¡ ¡ ¡ ¡ ¡ Identify ¡the ¡objectives ¡of ¡a ¡ program ¡evaluation ¡ ¡ ¡ ¡ ¡ ¡ ¡ Develop ¡research ¡questions ¡ ¡ ¡ ¡ ¡ ¡ ¡ Create ¡a ¡logic ¡model ¡to ¡support ¡a ¡ ¡ ¡ ¡ ¡ ¡ ¡

18 ¡ ¡ program ¡evaluation ¡ Identify ¡inputs, ¡outputs, ¡and ¡

• utcomes ¡to ¡form ¡the ¡basis ¡for ¡

evaluating ¡a ¡program's ¡activities ¡ and ¡impacts ¡ ¡ ¡ ¡ ¡ ¡ ¡ Gather ¡and ¡review ¡existing ¡data: ¡ literature ¡ ¡ ¡ ¡ ¡ ¡ ¡ Gather ¡and ¡review ¡existing ¡data: ¡ statistical ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Collect ¡primary ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Assess ¡the ¡validity, ¡reliability, ¡and ¡ trustworthiness ¡of ¡the ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Analyze ¡and ¡interpret ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Draw ¡conclusions ¡from ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ Make ¡recommendations ¡based ¡on ¡ evidence ¡ ¡ ¡ ¡ ¡ ¡ ¡ Prepare ¡report ¡on ¡program ¡ evaluation ¡findings ¡ ¡ ¡ ¡ ¡ ¡ ¡ Manage ¡communications ¡within ¡a ¡ team ¡ ¡ ¡ ¡ ¡ ¡ ¡ Work ¡with ¡community-­‑based ¡

• rganizations ¡on ¡a ¡project ¡

¡ ¡ ¡ ¡ ¡ ¡ Work ¡in ¡a ¡team ¡on ¡a ¡defined ¡ project ¡ ¡ ¡ ¡ ¡ ¡ ¡ Work ¡with ¡vulnerable ¡populations ¡ ¡ ¡ ¡ ¡ ¡ ¡ Present ¡research/evaluation ¡ findings ¡ ¡ ¡ ¡ ¡ ¡ ¡

Research ¡and ¡Evaluation ¡Skills ¡

As ¡you ¡know, ¡program ¡evaluation ¡draws ¡on ¡many ¡different ¡skills ¡and ¡abilities. ¡ ¡These ¡skills ¡and ¡ abilities ¡can ¡be ¡understood ¡in ¡terms ¡of ¡competencies, ¡including ¡some ¡of ¡those ¡identified ¡by ¡the ¡ Province ¡of ¡Manitoba ¡related ¡to ¡analysis, ¡interpersonal ¡communication, ¡and ¡others. ¡ ¡The ¡next ¡five ¡ questions ¡address ¡your ¡self-­‑assessed ¡abilities ¡in ¡core ¡competencies ¡relating ¡to ¡research ¡and ¡

• evaluation. ¡ ¡As ¡part ¡of ¡the ¡overall ¡survey, ¡these ¡will ¡help ¡to ¡establish ¡a ¡baseline ¡understanding ¡of ¡

your ¡skills, ¡abilities, ¡and ¡experiences. ¡

19 ¡ ¡

Core ¡Competency: ¡Analysis ¡

Research ¡and ¡evaluation ¡requires ¡strong ¡analytical ¡skills ¡at ¡all ¡points ¡in ¡the ¡process. ¡ ¡A ¡core ¡ competency ¡ ¡outlined ¡in ¡the ¡Corporate ¡Competency ¡Catalogue, ¡Province ¡of ¡Manitoba ¡is ¡analysis, ¡ defined ¡as ¡“Observes, ¡identifies, ¡organizes ¡and ¡interprets ¡information ¡to ¡understand ¡the ¡work ¡ environment, ¡situations, ¡concerns ¡and ¡opportunities.” ¡ ¡Using ¡the ¡categories ¡below, ¡how ¡would ¡you ¡ assess ¡your ¡skills ¡in ¡the ¡following ¡areas ¡of ¡"analysis"? ¡ ¡ ¡ Poor ¡ Fair ¡ Good ¡ Very ¡ Good ¡ Don't ¡ Know ¡ Gathering ¡relevant ¡information ¡and ¡organize ¡it ¡in ¡a ¡ logical ¡manner ¡ ¡ ¡ ¡ ¡ ¡ Drawing ¡conclusions ¡based ¡on ¡an ¡assessment ¡of ¡the ¡ information ¡ ¡ ¡ ¡ ¡ ¡ ¡ Identifying ¡factors ¡that ¡reveal ¡substantial ¡complexity ¡

• r ¡underlying ¡issues ¡

¡ ¡ ¡ ¡ ¡ Recognizing ¡patterns ¡and ¡concerns ¡and ¡assess ¡their ¡ implications ¡ ¡ ¡ ¡ ¡ ¡

Core ¡Competency: ¡Interpersonal ¡Communication ¡

Successful ¡program ¡evaluation ¡requires ¡us ¡to ¡listen ¡to, ¡talk ¡with, ¡and ¡understand ¡the ¡people ¡we ¡ work ¡with. ¡ ¡ ¡Another ¡core ¡competency ¡outlined ¡in ¡the ¡Corporate ¡Competency ¡Catalogue, ¡Province ¡of ¡ Manitoba ¡is ¡the ¡ability ¡to ¡communicate ¡interpersonally ¡and ¡is ¡defined ¡as ¡“Listens ¡effectively ¡and ¡ expresses ¡ideas, ¡both ¡verbally ¡and ¡non-­‑verbally, ¡to ¡achieve ¡understanding.” ¡ ¡Using ¡the ¡categories ¡ below, ¡how ¡would ¡you ¡assess ¡your ¡skill ¡in ¡the ¡following ¡areas ¡of ¡"interpersonal ¡communication"? ¡ ¡ Poor ¡ Fair ¡ Good ¡ Very ¡ Good ¡ Don't ¡ Know ¡ Listening ¡and ¡relaying ¡information ¡clearly ¡to ¡others ¡ ¡ ¡ ¡ ¡ ¡ Using ¡effective ¡listening ¡techniques ¡ ¡ ¡ ¡ ¡ ¡ Anticipating ¡others’ ¡communication ¡needs ¡and ¡change ¡ communication ¡style ¡to ¡meet ¡those ¡needs ¡ ¡ ¡ ¡ ¡ ¡ Contributing ¡to ¡an ¡organizational ¡culture ¡that ¡values ¡ good ¡interpersonal ¡skills ¡ ¡ ¡ ¡ ¡ ¡

20 ¡ ¡

Research ¡and ¡Evaluation ¡Skills ¡ Core ¡Competency: ¡Communicating ¡in ¡Writing ¡

Communicating ¡with ¡program ¡clients, ¡stakeholders, ¡and ¡team ¡members ¡is ¡a ¡requirement ¡ throughout ¡a ¡program ¡evaluation ¡process. ¡ ¡Another ¡core ¡competency ¡outlined ¡in ¡the ¡Corporate ¡ Competency ¡Catalogue, ¡Province ¡of ¡Manitoba ¡is ¡the ¡ability ¡to ¡communicate ¡in ¡writing ¡and ¡is ¡defined ¡ as ¡“Expresses ¡ideas ¡in ¡writing ¡in ¡a ¡clear, ¡concise ¡and ¡organized ¡manner ¡for ¡a ¡variety ¡of ¡audiences.” ¡ ¡ Using ¡the ¡categories ¡below, ¡how ¡would ¡you ¡assess ¡your ¡skills ¡in ¡the ¡following ¡areas? ¡ ¡ ¡ Poor ¡ Fair ¡ Good ¡ Excellent ¡ Don't ¡ Know ¡ Producing ¡reports ¡ ¡ ¡ ¡ ¡ ¡ Producing ¡routine ¡material ¡(for ¡example, ¡Briefing ¡ Notes) ¡ ¡ ¡ ¡ ¡ ¡ Producing ¡complex ¡written ¡materials ¡for ¡diverse ¡ audiences ¡ ¡ ¡ ¡ ¡ ¡ Ensuring ¡quality ¡of ¡written ¡materials ¡ ¡ ¡ ¡ ¡ ¡

Core ¡Competency: ¡Political ¡Acumen ¡

Evaluation ¡and ¡research ¡that ¡involves ¡partnerships ¡with ¡community ¡groups, ¡other ¡government ¡ departments, ¡and ¡other ¡stakeholders ¡benefits ¡from ¡the ¡ability ¡to ¡assess ¡the ¡political, ¡social, ¡and ¡ cultural ¡environment. ¡ ¡Another ¡core ¡competency ¡outlined ¡in ¡the ¡Corporate ¡Competency ¡Catalogue, ¡ Province ¡of ¡Manitoba ¡is ¡the ¡ability ¡to ¡demonstrate ¡political ¡acumen ¡and ¡is ¡defined ¡as ¡“Uses ¡ knowledge ¡of ¡situations, ¡systems, ¡and ¡cultures ¡inside ¡and ¡outside ¡an ¡organization ¡to ¡identify ¡ potential ¡impacts ¡and ¡to ¡influence ¡decisions.” ¡ ¡Using ¡the ¡categories ¡below, ¡how ¡would ¡you ¡assess ¡ your ¡skills ¡in ¡the ¡following ¡areas? ¡ ¡ ¡ Poor ¡ Fair ¡ Good ¡ Excellent ¡ Don't ¡ Know ¡ Interacting ¡appropriately ¡with ¡employees ¡and ¡ stakeholders ¡at ¡various ¡positions ¡in ¡light ¡of ¡

• rganizational ¡culture ¡

¡ ¡ ¡ ¡ ¡ Understanding ¡that ¡one’s ¡actions ¡can ¡impact ¡others ¡and ¡ how ¡decisions ¡can ¡be ¡influenced ¡ ¡ ¡ ¡ ¡ ¡ Using ¡resources ¡(for ¡example, ¡networks) ¡to ¡solve ¡ problems ¡and ¡advance ¡opportunities ¡ ¡ ¡ ¡ ¡ ¡ Leveraging ¡networks ¡to ¡achieve ¡objectives ¡ ¡ ¡ ¡ ¡ ¡

21 ¡ ¡

Core ¡Competency: ¡Presentation ¡Skills ¡

Communicating ¡the ¡results ¡of ¡research ¡and ¡evaluation ¡helps ¡to ¡increase ¡the ¡likelihood ¡of ¡its ¡impact. ¡ ¡ Another ¡core ¡competency ¡outlined ¡in ¡the ¡Corporate ¡Competency ¡Catalogue, ¡Province ¡of ¡Manitoba ¡is ¡ the ¡ability ¡to ¡present ¡formally ¡and ¡informally ¡and ¡is ¡defined ¡as ¡“Presents ¡prepared ¡information ¡in ¡a ¡ clear ¡and ¡organized ¡manner ¡to ¡a ¡variety ¡of ¡audiences ¡using ¡appropriate ¡delivery ¡tools.” ¡ ¡ ¡ ¡Using ¡the ¡ categories ¡below, ¡how ¡would ¡you ¡assess ¡your ¡skills ¡in ¡the ¡following ¡areas? ¡ ¡ ¡ Poor ¡ Fair ¡ Good ¡ Excellent ¡ Don't ¡ Know ¡ Presenting ¡using ¡appropriate ¡resources, ¡vocabulary ¡ and ¡non-­‑verbal ¡language ¡ ¡ ¡ ¡ ¡ ¡ Preparing ¡and ¡presenting ¡material ¡clearly ¡ ¡ ¡ ¡ ¡ ¡ Developing ¡an ¡interactive ¡presentation ¡that ¡meets ¡the ¡ needs ¡of ¡the ¡audience ¡ ¡ ¡ ¡ ¡ ¡ Delivering ¡a ¡presentation ¡in ¡light ¡of ¡intense ¡scrutiny ¡ ¡ ¡ ¡ ¡ ¡

Program ¡Evaluation: ¡Experiences ¡

Please ¡tell ¡us ¡about ¡your ¡experiences ¡doing ¡a ¡program ¡evaluation ¡. ¡ ¡ ¡ ¡

Program ¡Evaluation: ¡Reading ¡Reports ¡

Please ¡tell ¡us ¡about ¡your ¡experiences ¡reading ¡the ¡results/report ¡of ¡a ¡program ¡evaluation. ¡ ¡ ¡ ¡

Program ¡Evaluation: ¡Working ¡with ¡Consultants ¡

Please ¡tell ¡us ¡about ¡your ¡experiences ¡managing ¡or ¡dealing ¡with ¡consultants ¡conducting ¡a ¡program ¡ evaluation ¡. ¡ ¡ ¡ ¡

Program ¡Evaluation: ¡Existing ¡Strengths ¡

What ¡do ¡you ¡feel ¡are ¡your ¡strengths ¡in ¡relation ¡to ¡conducting ¡a ¡program ¡evaluation ¡(i.e. ¡use ¡of ¡a ¡ statistical ¡software ¡package ¡for ¡analysis ¡or ¡developing ¡logic ¡model). ¡ ¡ ¡ ¡

22 ¡ ¡

Program ¡Evaluation: ¡Gaining ¡Experience ¡

What ¡has ¡stopped ¡you ¡from ¡obtaining ¡more ¡program ¡evaluation ¡experience? ¡ ¡ ¡ ¡

Program ¡Evaluation: ¡Concerns ¡

Do ¡you ¡have ¡any ¡fears ¡or ¡concerns ¡related ¡to ¡your ¡knowledge, ¡skills ¡or ¡ability ¡to ¡undertake ¡a ¡ program ¡evaluation ¡with ¡mentorship? ¡ ¡ ¡

Program ¡Evaluation: ¡Goals ¡

What ¡knowledge ¡or ¡skills ¡do ¡you ¡particularly ¡want ¡to ¡develop ¡further? ¡ ¡ ¡ ¡

Additional ¡Questions/Thoughts/Ideas ¡for ¡Us ¡

Is ¡there ¡anything ¡that ¡we've ¡missed ¡that ¡you ¡think ¡we ¡should ¡know? ¡ ¡Are ¡there ¡any ¡questions ¡that ¡ you'd ¡like ¡to ¡have ¡answered? ¡ ¡If ¡you ¡have ¡any ¡questions ¡or ¡comments, ¡please ¡indicate ¡below! ¡ ¡ ¡ Thank ¡you ¡for ¡taking ¡the ¡time ¡to ¡complete ¡this ¡survey! ¡ ¡Karine ¡and ¡Andrea ¡are ¡very ¡much ¡looking ¡ forward ¡to ¡working ¡with ¡you ¡all ¡on ¡this ¡project! ¡

Name ¡

Please ¡let ¡us ¡know ¡who ¡you ¡are, ¡so ¡that ¡we ¡can ¡ensure ¡that ¡we ¡know ¡how ¡best ¡to ¡involve ¡you ¡in ¡the ¡ project! ¡ ¡Please ¡note ¡that ¡Karine ¡and ¡Andrea ¡will ¡be ¡using ¡this ¡information ¡to ¡tailor ¡your ¡learning ¡ experience ¡in ¡the ¡best ¡way ¡possible. ¡ ¡We ¡will ¡be ¡reporting ¡on ¡the ¡results ¡of ¡the ¡survey, ¡but ¡only ¡in ¡

• aggregate. ¡ ¡Your ¡name ¡will ¡not ¡be ¡linked ¡to ¡any ¡of ¡the ¡results ¡presented. ¡

¡ ¡ ¡