Slik brukes norske bistandsevalueringer
Siden 2006 har evalueringsavdelingen i Norad fått gjennomført nærmere 60 ulike evalueringer som har tatt for seg norsk bistand og ulike norskstøttede prosjekter. Studien Use of Evaluations in the Norwegian Development Cooperation System ser på hvordan disse evalueringene er blitt brukt – og hvilke lærdommer ulike aktører har fått ut av disse.
- I mange tilfelle får vi vite at evalueringene blir diskutert og påvirker fremtidig innretting av bistanden. Ganske ofte fører de også til endringer i pågående programmer, sier fungerende avdelingsdirektør Hans Peter Melby i evalueringsavdelingen.
- Evalueringer er til for å gjøre bistanden bedre. Blir de ikke brukt, gjør de ingen nytte, slår Melby fast.
Åpne seminarer
Studien fant at evalueringsavdelingen i Norad, som jobber under en egen instruks fra Utenriksdepartementet, har en rekke tiltak for å øke anvendeligheten og faktisk bruk av evalueringene.
Et viktig tiltak i denne forbindelse er avdelingens konsultasjoner med sentrale aktører når evalueringsprogrammet skal settes. Dette sikrer at det er interesse for de temaene som avdelingen velger å evaluere.
Evalueringsavdelingen har også etablert et system for å spre funnene i evalueringsrapportene gjennom blant annet åpne seminarer. Videre fant studien at evalueringsavdelingen har hatt suksess med å dele sine rapporter på en rekke nettsider som har fokus på utvikling og/eller evaluering og forskning.
Lite brukervennlige
Samtidig trekker studien frem flere forhold som hindrer bedre bruk og læring fra evalueringene. Studien fastslår at noen av rapportene ikke er brukervennlige. Akademiske fremfor handlingsorienterte evalueringsrapporter, fulle av sjargong og forkortelser gjør det vanskeligere for mulige brukere å finne frem til den viktigste informasjonen omgående.
Andre forhold som trekkes frem, er at anbefalingene som gis i evalueringene i noen tilfeller verken er praktiske eller spesielt målrettede.
En annen årsak som hindrer god utnyttelse av evalueringer for læring og beslutninger, som kom frem i en spørreundersøkelse evalueringsavdelingen i Norad gjennomførte og delte med konsulentene i løpet av denne studien, er at teamene for evalueringene oppfattes som lite relevante for ansvarlige forvaltningsenheter, det vil si de som jobber med prosjektene.
Andre årsaker er at evalueringene kommer på feil tidspunkt, for eksempel etter at avgjørende beslutninger på temaet er tatt, eller rett og slett at de som forvalter bistanden har for liten tid å bruke på evalueringene.
Noen av aktørene som deltok i spørreundersøkelsen uttrykte bekymring for at gjengangere blant konsulentfirmaene som utfører evalueringene, bidrar til et noe begrenset bilde av temaene som gjennomgås, selv om det ifølge konsulentene bak denne studien, ikke finnes sterke bevis for dette.
Anbefalinger
Studien kommer med en rekke anbefalinger til evalueringsavdelingen i Norad og Utenriksdepartementet.
Blant annet blir evalueringsavdelingen anbefalt å sørge for rapporter som er lettere å lese, med korte oppsummeringer av evalueringsfunn, og klarere og mer faktabaserte anbefalinger. Ifølge studien bør avdelingen vurdere å utgi toårige oversikter for oppfølging av evalueringene, og sørge for at å engasjere interessentene bedre underveis i evalueringen.
Melby finner at konklusjoner og anbefalinger i denne studien er både rimelige og nyttige.
- Anbefalingene hjelper oss til å gjøre evalueringene bedre og mer relevante for bistandsforvaltningen. Samtidig bør en huske at også allmenheten er vår målgruppe. Noen evalueringer som ikke umiddelbart oppleves som nyttige for bistandsforvaltningen, kan likevel peke på forhold som er lite kjent for andre og stimulere til en mer opplyst offentlig bistandsdebatt.
Direkterapportering til Stortinget?
Utenriksdepartementet, sammen med Norad, anbefales å følge opp evalueringene innen gjeldende tidsfrister for oppfølgingsplaner og -rapporter, blant annet gjennom å stille tydeligere krav til avdelingsledere og la gjennomføring bli en del av grunnlaget for å vurdere deres arbeid.
Studien anbefaler også departementet å utgi en årlig oversikt over hvordan anbefalinger er fulgt opp og sende disse til Stortinget, publisere suksesshistorier om god bruk av evalueringer, som et middel til å oppnå bedre utnyttelse av evalueringene og vurdere å etablere faste møter med evalueringsavdelingen for å diskutere bruk og oppfølging av evalueringene.
En annen anbefaling er at departementet bør vurdere om evalueringsavdelingen i Norad skal rapportere direkte til Stortinget.
- Kampen om bistandsforvaltningens tid og oppmerksomhet er hard. Derfor må vi sørge for at evalueringsresultatene gjøres lettere tilgjengelige. Vi gjør noe i dag, men vi må gjøre mer. Flere korte oppsummeringer, kanskje. Sosiale media. Det haster med å prøve ut mer av dette, oppsummer Melby.
Rapporten - Use of Evaluations in the Norwegian Development Cooperation System (Norad Evaluering 8/2012) - ble offentliggjort på et åpent seminar i Norad 18. april 2013.